Re: [技術]別老扯什麼Hadoop了，你的數據根本不夠大

看板Soft_Job作者YunJonWei (楊宗緯)時間10年前 (2013/09/20 16:55)推噓7(7推 0噓 22→)

留言29則, 11人參與討論串3/3 (看更多)

※ 引述《realmeat (真肉)》之銘言： : ※ 引述《Lordaeron (Terry)》之銘言： : : 譯文: http://geek.csdn.net//news/detail/2780 : : 原文: http://www.chrisstucchio.com/blog/2013/hadoop_hatred.html : 控制map-reduce是一回事 : 搞懂整個map-reduce每個步驟怎進行是一回事 : 能夠控制map-reduce每個環節是另一回事 : 用map-reduce控制hbase又是另一回事 : 使用hdfs是一回事 : 了解hdfs架構又是一回事 : 搞懂hdfs跟map-reduce之間的關連又是一回事 : 搞懂hdfs跟hbase name server之間的關連又是一回事 : 設定job tracker是一回事 : 控制scheduler又是另一回事 : 讓map-reduce 有效率的執行也是一回事 : mapreduce跟mapred也是不同一件事啊 (爆 : 大象書其實也沒有寫太多細節的事, : 能幾個字就說完hadoop, 也真的頗神奇 (笑 : 不過他真的很難用 (無奈這篇說得很好啊。很多人根本不去了解細節，就在靠別人的二手發言去學習。我在剛開始碰 MapReduce時，拿經典的字數計算來當教材，實在搞不懂 MapReduce 的概念與資料庫 Group 運算的做法有什麼不同更覺得 Hadoop/MapReduc/HDFS 不就是十幾年前流行過的分散式系統而已嗎? 把工作拆成小工作到各節點，最後再彙總。這概念不就是 Divide and Conquer 而已嗎。我也不知道為何中間要有 Shuffle phase，直接兩階段 Devide and Conquer不就好。更不知道為何不在 Map階段就做掉所有的事情，分那麼多階段幹嘛。於是我一開始根本就不鳥 Hadoop 的 MapReduce 與 HDFS，直接在我自己的分散式環境下用自己的方式把工作拆到多個節點去做。幾乎等於自己在做一套專用的分散式批次處理環境。後來自己慢慢摸，發現一些瓶頸，例如擴充的瓶頸、效能的瓶頸，回頭重看 MapReduce 才知道其中的奧妙與觀念的重點。 Hadoop/MapReduce/HDFS 的確不適用於所有情形。但是也沒原文說得那麼扯，把 MapReduce劣化成用SQL Group by語法。原文很多內容真的看看笑笑就好。 Hadoop 解決了很多你自己在搞分散式系統時會遇到的擴充、管理、效能瓶頸。而且把這些問題包起來，你永遠看不到，讓人覺得他沒什麼，其他工具隨便就能取代一樣。這觀念就好像，你不懂Facebook，然後說Facebook沒什麼，隨便自己寫個互動網頁也能取代一樣。 -- ※ 發信站: 批踢踢實業坊(ptt.cc) ◆ From: 59.102.185.21

推

typepeter

09/20 16:56, , 1^F

09/20 16:56, 1^F

推

finalcoffee

09/20 17:10, , 2^F

09/20 17:10, 2^F

推

CGary

09/20 17:20, , 3^F

09/20 17:20, 3^F