[問題]pandas memory error

看板Python作者 (sofia)時間7年前 (2016/07/15 15:47), 7年前編輯推噓0(008)
留言8則, 4人參與, 最新討論串1/1
由於小弟在處理一份相當大的data 但是在用pandas讀取時就出現memory error 想請問高手怎麼解決 感恩~~~ -- ※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 111.80.62.90 ※ 文章網址: https://www.ptt.cc/bbs/Python/M.1468568858.A.B4D.html ※ 編輯: asd3456722 (111.80.62.90), 07/15/2016 15:48:14

07/15 15:54, , 1F
資料多大?系統記憶體多少?虛擬記憶體有多少?
07/15 15:54, 1F

07/15 15:54, , 2F
可不可以批次分量處理?
07/15 15:54, 2F

07/15 16:11, , 3F
data 1.1G csv.file
07/15 16:11, 3F

07/15 16:16, , 4F

07/15 17:38, , 5F
試著用iterator分批處理
07/15 17:38, 5F

07/17 00:21, , 6F
應該是你處理的方式有 我試過用pandas處理過大量的資
07/17 00:21, 6F

07/17 00:21, , 7F
料 沒發生memory error
07/17 00:21, 7F

07/17 00:22, , 8F
處理資料的方式有問題
07/17 00:22, 8F
文章代碼(AID): #1NY9KQjD (Python)