[問題] 完全新手問題 有關csv產出

看板Python作者 (美江)時間5年前 (2018/09/22 01:18), 5年前編輯推噓0(0推 0噓 15→)
留言15則, 7人參與, 5年前最新討論串1/2 (看更多)
手邊有一大筆資料 1千多萬的資料 第一欄位 為商品代碼 之後欄位為這商品的其 他資料 總共有一千多萬筆資料 要將一個大的 csv檔根據第一欄的商品代碼 根據商品代碼另 存為csv檔 由於沒寫過程式 爬文慢慢寫出 以下東西 但感覺錯了 用小筆資料跑 明顯的跑錯只開了 根據商品別開csv 但csv內沒讀取到資料 https://i.imgur.com/Tl2oDh9.jpg
-- ※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 1.161.133.180 ※ 文章網址: https://www.ptt.cc/bbs/Python/M.1537550310.A.123.html
→
09/22 01:27, 5年前 , 1F
可以改用pandas的dataframe來做 可能會好做一點
09/22 01:27, 1F
→
09/22 01:47, 5年前 , 2F
你的y是有csv副檔名的，if y in fcolumn1可能找不到東
09/22 01:47, 2F
→
09/22 01:47, 5年前 , 3F
西？
09/22 01:47, 3F
→
09/22 02:15, 5年前 , 4F
有好的解決方法嗎？
09/22 02:15, 4F
→
09/22 02:15, 5年前 , 5F
如果一次跑太多筆資料 要怎麼防呆
09/22 02:15, 5F
→
09/22 02:19, 5年前 , 6F
把y改成column1應該就行了？ 不知道你想做的是不是這
09/22 02:19, 6F
→
09/22 02:19, 5年前 , 7F
樣
09/22 02:19, 7F
是的 小資料可以跑了 但原始資料跑不了 不知道如何 解決 就是讀完一筆資料後 跳下一 筆 ※ 編輯: meichiang (1.161.133.180), 09/22/2018 11:15:23
→
09/22 11:25, 5年前 , 8F
可以試看看pandas
09/22 11:25, 8F
→
09/22 12:27, 5年前 , 9F
跑不了是跑不完嗎？還是跑完沒結果？這不一樣
09/22 12:27, 9F
→
09/22 12:29, 5年前 , 10F
這寫法是全部都讀到memory做，一千多萬筆是有點多，有可
09/22 12:29, 10F
→
09/22 12:29, 5年前 , 11F
能吃不下，還要看一筆有多大
09/22 12:29, 11F
第一筆資料都跑不完 直接index out of rang ※ 編輯: meichiang (1.161.133.180), 09/22/2018 16:14:21
→
09/26 09:43, 5年前 , 12F
你要不要檢查一下CASHVALUE.csv這個檔案，看有沒有某一
09/26 09:43, 12F
→
09/26 09:44, 5年前 , 13F
行是空白沒資料的。因為for in應該是不會有index out
09/26 09:44, 13F
→
09/26 09:46, 5年前 , 14F
of range，比較有可能是在fline.split(',')[1]這裡出錯
09/26 09:46, 14F
→
10/19 15:42, 5年前 , 15F
不做巢狀資料庫嗎？
10/19 15:42, 15F
‣ 更多 meichiang 的文章
文章代碼(AID): #1RfIVc4Z (Python)
‣ 更多 meichiang 的文章
文章代碼(AID): #1RfIVc4Z (Python)