[技術]別老扯什麼Hadoop了，你的數據根本不夠大

看板Soft_Job作者 (Terry)時間12年前 (2013/09/18 12:13), 編輯推噓4(4推 0噓 17→)
留言21則, 9人參與, 最新討論串1/3 (看更多)
譯文: http://geek.csdn.net//news/detail/2780 原文: http://www.chrisstucchio.com/blog/2013/hadoop_hatred.html 名言: MapReduce explained in 41 words: Goal: count the number of books in the library. Map: You count up shelf #1, I count up shelf #2. (The more people we get, the faster this part goes. ) Reduce: We all get together and add up our individual counts. HADOOP 多神奇呢....... -- ※ 發信站: 批踢踢實業坊(ptt.cc) ◆ From: 42.70.181.62
→
09/18 13:54, , 1F
喔
09/18 13:54, 1F
→
09/18 14:06, , 2F
這本來就不是很適合大多的商業模型, 原po也不用太強調
09/18 14:06, 2F
→
09/18 14:06, , 3F
有些資料處理也沒更好的方法時, 也只能靠他了 (笑
09/18 14:06, 3F
→
09/18 16:42, , 4F
mapreduce explained in 2 words: map, reduce
09/18 16:42, 4F
推
09/18 18:35, , 5F
當你要跑一個耗時24小時才能結束的工作,又不想耗腦力去想搜
09/18 18:35, 5F
→
09/18 18:36, , 6F
尋或建索引等演算法時,MapReduce是你的好朋友.
09/18 18:36, 6F
→
09/18 18:37, , 7F
親身經歷,當你學會寫MapReduce code而且寫好了在跑了,另一個
09/18 18:37, 7F
→
09/18 18:37, , 8F
人可能連啥改善搜尋或索引演算法都還在苦思想不出.
09/18 18:37, 8F
→
09/18 19:02, , 9F
cpper大說道我痛處，cpper大有沒有好介少使hadoop更上手?
09/18 19:02, 9F
推
09/18 19:16, , 10F
推連結的文章，但是不推L的評論
09/18 19:16, 10F
推
09/18 19:19, , 11F
大象書就夠完整了
09/18 19:19, 11F
→
09/18 20:46, , 12F
隨便找都可以找到一件工作, 3 天都跑不完的.
09/18 20:46, 12F
→
09/18 21:08, , 13F
不過cpper的說法, 剛好也應了原作的說法而已.
09/18 21:08, 13F
推
09/19 11:03, , 14F
這篇文純以資料量來看決定，雖然多數時候都是這樣沒錯
09/19 11:03, 14F
→
09/19 11:03, , 15F
不過沒考慮到資料量相對小但卻很耗 cpu 的工作
09/19 11:03, 15F
→
09/19 11:04, , 16F
我手邊的測試，32 core 的機器用了 8 台，處理 8TB 資料
09/19 11:04, 16F
→
09/19 11:04, , 17F
依工作內容不同，大概也花了 40 ~ 80 分鐘不等
09/19 11:04, 17F
→
09/19 22:07, , 18F
mapreduce太慢了 國外很多都已經進入data streamming
09/19 22:07, 18F
→
09/19 22:08, , 19F
的領域了
09/19 22:08, 19F
→
09/20 15:39, , 20F
做什麼事, 拿什麼工具, 不會有一個工具通吃的.
09/20 15:39, 20F
→
09/20 15:40, , 21F
都是case by case的.
09/20 15:40, 21F
‣ 更多 Lordaeron 的文章
文章代碼(AID): #1IEIXL2N (Soft_Job)
討論串 (同標題文章)
以下文章回應了本文：
完整討論串 (本文為第 1 之 3 篇)：
排序： 最新先 | 最舊先 | 留言數
在新視窗開啟完整討論串 (共3篇)
‣ 更多 Lordaeron 的文章
文章代碼(AID): #1IEIXL2N (Soft_Job)