[技術] 別再扯hadoop (?)

看板Soft_Job作者 (真肉)時間12年前 (2013/09/21 22:41), 編輯推噓6(6推 0噓 33→)
留言39則, 10人參與, 最新討論串1/1
針對連結文中的人 他也說過他還卡在寫作job(map-reduce)碰到一堆泛型泛到不知道怎寫code的情況 導致大部份時間都在兜程式碼跟除錯, 然後hadoop發生錯誤又很難debug, 因為錯誤訊息不完整, 其實這也是一開始最難入手的部份 可以知道他hadoop還沒碰到很深, 沒熟到可以任意控制, 他缺少的是一個hadoop專門顧問, 我的第一篇回文只是把我碰過到的問題幾個大項條列出來, 僅只是工作內容的一部份, 這樣就被說扯一堆專業名詞, 想要控制job(map-reduce)的人 請先把那些問題釐清, 有幫助的, 換句話說, 想好好控制job, 這些都是會碰到的課題, 啥都不懂, 你又怎知道他的極限? hadoop真的沒那麼強, 大多台面上看的到的應用根本沒辦法使用, 但台面下使用者看不到的資料, 量又大又難搞就很好運用, 資料的總運算量超過一定程度到需要分散處理的時候就可以考慮了, -- 去除情緒性字眼, 專業發文 =.=+ -- ※ 發信站: 批踢踢實業坊(ptt.cc) ◆ From: 61.231.90.27
→
09/21 22:47, , 1F
為了避免再度沒有交集的吵起來，抱歉得先用版規一鎖文～Orz
09/21 22:47, 1F
→
09/22 03:19, , 2F
請大家繼續回歸主題討論～～有違規的部份請回報板務處理～
09/22 03:19, 2F
→
09/22 12:59, , 3F
要吵架私信好嗎.....
09/22 12:59, 3F
推
09/22 13:53, , 4F
有一次研討會跟一位研究生問問他hadoop用什麼技巧map-reduce
09/22 13:53, 4F
→
09/22 13:54, , 5F
結果回給我一句廢話. 我想也是,可能很多細節都藏起來了,表面
09/22 13:54, 5F
→
09/22 13:54, , 6F
只用好語言及library就OK. LinQ也差不多.
09/22 13:54, 6F
→
09/22 13:55, , 7F
基本上我同意哈杜並沒有某些人吹捧的那樣神通廣大
09/22 13:55, 7F
推
09/22 15:33, , 8F
我覺得Hadoop的發展有點像Ethernet XD
09/22 15:33, 8F
→
09/22 15:35, , 9F
滿多演算法在HADOOP上是不適合的，也因為這樣大家努力
09/22 15:35, 9F
→
09/22 15:36, , 10F
改善他 這樣才有PAPER出啊 XD XD
09/22 15:36, 10F
推
09/22 15:39, , 11F
Hadoop要跑的快很複雜 沒記錯有五十幾個參數可以調 XD
09/22 15:39, 11F
→
09/22 15:43, , 12F
大家別傷和氣啦 他就是一套工具 not one fits all
09/22 15:43, 12F
→
09/22 15:50, , 13F
回樓上的 Hadoop是利用P2P發展出來DHT來做的
09/22 15:50, 13F
→
09/22 15:51, , 14F
現在P2P技術已經是everywhere了 XD XD
09/22 15:51, 14F
→
09/22 15:53, , 15F
請大家不要想到P2P就想到BTXD P2P is more than that XD
09/22 15:53, 15F
→
09/22 16:12, , 16F
其實我並不是hadoop的教徒, 只是工作上要使用他罷了
09/22 16:12, 16F
→
09/22 16:12, , 17F
別人說它強到啥程度, 我根本就沒在理會
09/22 16:12, 17F
→
09/22 16:13, , 18F
我只專注在能把它發揮到啥種程度
09/22 16:13, 18F
→
09/22 17:16, , 19F
is this good web site? http://hadoop.apache.org/
09/22 17:16, 19F
→
09/22 17:30, , 20F
or PZ help me figure out right way of Hadoop.
09/22 17:30, 20F
推
09/22 19:22, , 21F
Thanks ~~~
09/22 19:22, 21F
※ 編輯: realmeat 來自: 61.228.21.188 (09/23 00:14)
→
09/23 07:10, , 22F
吵架吵贏是有什麼用
09/23 07:10, 22F
→
09/23 07:11, , 23F
連英文都看不懂
09/23 07:11, 23F
→
09/23 09:13, , 24F
還蠻爽的
09/23 09:13, 24F
→
09/23 09:28, , 25F
你對我們沒有用
09/23 09:28, 25F
→
09/23 10:11, , 26F
分散式引戰 hawarp
09/23 10:11, 26F
→
09/23 10:23, , 27F
真肉引戰還自己承認
09/23 10:23, 27F
推
09/23 20:08, , 28F
覺得原生的Hadoop麻煩可以花錢試試看MapR 據說不錯XD
09/23 20:08, 28F
→
09/23 23:28, , 29F
戰沒有問題，人身攻擊才有問題。
09/23 23:28, 29F
→
09/23 23:30, , 30F
我說如果啊。 如果講的是負面的事實 那算不算人身攻擊
09/23 23:30, 30F
推
09/24 14:18, , 31F
Thanks again, i get it. now i more clear that.
09/24 14:18, 31F
→
09/27 13:34, , 32F
@viable 我就不回答假設性問題了 XD
09/27 13:34, 32F
→
09/27 15:56, , 33F
連這都答不出來啊
09/27 15:56, 33F
→
09/27 15:57, , 34F
誇張
09/27 15:57, 34F
→
10/02 10:28, , 35F
@viable 謝謝指教～
10/02 10:28, 35F
→
10/22 07:20, , 36F
版工,你跟我有梁子大家都知的.
10/22 07:20, 36F
→
10/22 07:21, , 37F
但一個人連基本的英文程度都沒有, 還說到多強,讀原始碼
10/22 07:21, 37F
→
10/22 07:23, , 38F
的,還自HIGH 贏呢
10/22 07:23, 38F
→
10/22 07:25, , 39F
碰到一堆泛型不知怎麼CODE 的文章, 還望英文高人指出呢.
10/22 07:25, 39F
‣ 更多 realmeat 的文章
文章代碼(AID): #1IFR0q1m (Soft_Job)