看板 [ java ]
討論串[問題] 資料量很大的處理
共 2 篇文章
內容預覽： 開啟 | 關閉 | 只限未讀
首頁
上一頁
1
下一頁
尾頁
#1
[問題] 資料量很大的處理
推噓8(8推 0噓 28→)留言36則，0人參與, 最新作者johnhao1206 (Ya大熊)時間12年前 (2012/03/08 21:37), 編輯資訊
0
0
0
內容預覽:
現在正在寫一個程式處理一個極大的文章 (256MB). 目前寫的方法是硬把他存到二維陣列之中再去做處理. 基本的格式是這樣. id data1 data2 data3 .... 現在困擾的是要去找到對應id的資料去做處理的時候. 搜尋整個array需要花費相當多的時間 (也要考慮記憶體的問題). 上
(還有1462個字)
#2
Re: [問題] 資料量很大的處理
推噓1(1推 0噓 3→)留言4則，0人參與, 最新作者n3oanderson (wake up ...)時間12年前 (2012/03/11 22:17), 編輯資訊
0
0
0
內容預覽:
第一眼看起來可以用Hadoop MapReduce處理. - 資料更動不頻繁 (HDFS write-once-read-multiple times). - 資料格式 key value pair. key ... ... ... value1 ... valueN (一筆 record). ..
(還有848個字)
首頁
上一頁
1
下一頁
尾頁