作者查詢 / iwantstronge

總覽項目: 發文 | 留言 | 暱稱
作者 iwantstronge 在 PTT [ java ] 看板的留言(推文), 共12則
限定看板:java
首頁
上一頁
1
下一頁
尾頁
Re: [問題] 想在Scala的RDD物件中更新變量
[ java ]4 留言, 推噓總分: +2
作者: popcorny - 發表於 2017/03/20 22:39(8年前)
1Fiwantstronge: 感謝回覆,其實我會想轉成HashMap主要是時間效率好03/21 10:56
2Fiwantstronge: 如果資料量太大是否就只能以RDD來處理?lookup()之03/21 10:57
3Fiwantstronge: 類的~~ 但是時間效率很差~03/21 10:58
Re: [問題] 想在Scala的RDD物件中更新變量
[ java ]5 留言, 推噓總分: 0
作者: ogre0403 - 發表於 2017/03/20 18:12(8年前)
1Fiwantstronge: 感謝~ 我太糾結於要把容器傳出來這件事上,擅用RDD的03/21 08:30
2Fiwantstronge: api會簡單很多, 不過有個問題是我在後續操作必須要03/21 08:30
3Fiwantstronge: 提取RDD的元素,例如用lookup()函數,但是這個函數顯03/21 08:31
4Fiwantstronge: 然是O(n),在時間效率上很差,我能想到的是先把RDD存03/21 08:32
5Fiwantstronge: cache03/21 08:36
[問題] 想在Scala的RDD物件中更新變量
[ java ]7 留言, 推噓總分: +2
作者: iwantstronge - 發表於 2017/03/20 17:50(8年前)
1Fiwantstronge: 對了,我知道在迴圈前加collect可以辦到,但是檔案很03/20 18:00
2Fiwantstronge: 大,用collect的話記憶體無法負荷~ 或是有沒有類似03/20 18:01
3Fiwantstronge: collect的方法,但是只存hashmap出來??03/20 18:02
7Fiwantstronge: 感謝建議~ 我找到癥結了~03/21 08:27
首頁
上一頁
1
下一頁
尾頁