[問題] 有關讀入文件檔案時記憶體的問題

看板Python作者 (青柳立夏)時間8年前 (2017/10/16 22:33), 8年前編輯推噓3(3推 0噓 3→)
留言6則, 4人參與, 8年前最新討論串1/1
最近常用JUPYTER讀取大量文件檔 必須讀取出1GB的TXT檔案 再作處理後就會變得更大 目前光是暫時只開400多MB出來作業 從工作管理員可以看到 記憶體使用率都過90%逼近100% 然後電腦所有動作就變得超級頓+卡卡 >"< 我的記憶體是一條8G ,電腦是64位元win 10 因為對硬體相關一竅不通 想問一下 如果我把記憶體全插滿比如4條8G甚至4條16G 會讓我讀取檔案比較順利 重點是電腦不要一直頓嗎~@@ 因為記憶體一買下去就是好幾千塊 想問問是否可以從這邊獲得改善 XD 非常感謝！！ -- ※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 114.25.43.35 ※ 文章網址: https://www.ptt.cc/bbs/Python/M.1508164418.A.0F6.html ※ 編輯: doasgloria (114.25.43.35), 10/16/2017 22:34:17
推
10/17 00:15, 8年前 , 1F
應該可以
10/17 00:15, 1F
推
10/17 02:20, 8年前 , 2F
處理到下一步的時候上一部的資料就能del掉
10/17 02:20, 2F
推
10/17 11:26, 8年前 , 3F
個人覺得1g以上已經算超大資料了 可能要搭配hadoop會比
10/17 11:26, 3F
→
10/17 11:26, 8年前 , 4F
較好處理
10/17 11:26, 4F
→
10/17 12:51, 8年前 , 5F
主要要看你要做什麼處理，很多時候不需要資料一口氣都
10/17 12:51, 5F
→
10/17 12:51, 8年前 , 6F
全部放在記憶體內
10/17 12:51, 6F
‣ 更多 doasgloria 的文章
文章代碼(AID): #1PvCD23s (Python)