看板 [ java ]
討論串[問題] 大資料量導致記憶體不足
共 3 篇文章
內容預覽： 開啟 | 關閉 | 只限未讀
首頁
上一頁
1
下一頁
尾頁
#3
Re: [問題] 大資料量導致記憶體不足
推噓2(2推 0噓 1→)留言3則，0人參與, 最新作者mgtsai時間15年前 (2011/02/15 18:52), 編輯資訊
0
0
0
內容預覽:
你的問題，不單單是 Java 平台的問題，使用任何語言實作，都有類似的狀況. 要解你這個問題，首先得要分析你所使用的 distance function (norm). 不同的 distance function 所需的解法會不太一樣. 我先回答幾個推文中所提到的狀況. 五百萬筆資料，又要跑 k-m
(還有2022個字)
#2
Re: [問題] 大資料量導致記憶體不足
推噓1(1推 0噓 13→)留言14則，0人參與, 最新作者Lordaeron (Terry)時間15年前 (2011/02/13 10:28), 編輯資訊
0
0
0
內容預覽:
還不簡單, 這邊一定很多人可以回答你的.. 請你改成64 bit OS, 改成64 bit JDK.. 再去買44G memory 回來插就好了.. 因為就算是double 也要吃38G 多的記憶體.. 如果你的板子不能support 44G RAM, 哪就換電腦吧.. --. ※ 發信站: 批踢踢
#1
[問題] 大資料量導致記憶體不足
推噓3(3推 0噓 12→)留言15則，0人參與, 最新作者jyleef (龍蝦)時間15年前 (2011/02/13 00:42), 編輯資訊
0
0
0
內容預覽:
我的資料量大約有五百萬筆(小於). 然後每一筆要分為45欄. 所以陣列宣告下去等於 5百萬*45 (型態會用到String 或 double(二選一)). 已經有將記憶體配置改成 -Xmx1575 (已經是最大了) → 無解. 也有想過要改用分批讀取再寫入的方式. 可是之後要跑 k-means 演算
(還有82個字)
首頁
上一頁
1
下一頁
尾頁