[問題] 大型文字檔修改,怎樣才最快...(不限方法

看板java作者 (小黑炭)時間14年前 (2011/10/04 07:23), 編輯推噓5(507)
留言12則, 7人參與, 最新討論串1/2 (看更多)
我有兩個文字檔案,長得非常類似 A.txt 01 02 03 04 05 06 .... B.txt 01 02 03 .... 兩個檔案的筆數相同 莫約 700多萬行 現在想要將 B.txt 的 01欄 貼到 A.txt的 01欄 但是碰到瓶頸 orz.. 現在想到的方法有兩個 1. String = BufferedReader.readLine(); 讀一筆 之後 split 取代掉 [0] 位置之後 寫出去 產生新的 A.txt 但是這樣執行效率非常緩慢... 2. 使用 ArrayList 將所有筆數塞進去 結果會 out of Memory... 想知道有沒有甚麼辦法是最快的.... 想好久想不出來 T^T -- ※ 發信站: 批踢踢實業坊(ptt.cc) ◆ From: 140.124.61.39 ※ 編輯: love112302 來自: 140.124.61.39 (10/04 15:24)

10/04 15:29, , 1F
怎麼辦... 我會想塞資料庫...... [核爆]
10/04 15:29, 1F

10/04 15:41, , 2F
有趣的想法 @@@@@ 可以來試試看 感覺會很快
10/04 15:41, 2F

10/04 15:44, , 3F
Split()非常的慢,只換01行的話應該可以有其他方法
10/04 15:44, 3F

10/04 15:49, , 4F
to PsMonkey 可是我有很多個檔案 這樣我就要自己匯入?
10/04 15:49, 4F

10/04 16:23, , 5F
都 split 了,多塞個資料庫而已,多個檔案就多個 table
10/04 16:23, 5F

10/04 16:24, , 6F
另外記得,幾十筆再 execute() 一次,效率快上好幾倍
10/04 16:24, 6F

10/04 23:07, , 7F
都想嘗試資料庫了...你何不直接用 excel...
10/04 23:07, 7F

10/04 23:13, , 8F
印象中 Excel 碰到 10 萬列等級的量的數據就處理不來了~
10/04 23:13, 8F

10/04 23:36, , 9F
嗯~他只給我一百萬多一點的數量 =__=
10/04 23:36, 9F

10/05 10:16, , 10F
Excel 不是只能 65535 個 row
10/05 10:16, 10F

10/06 12:17, , 11F
問:每筆資料都是固定長度嗎?
10/06 12:17, 11F
每一筆資料長度都是固定的 但是每一個檔案的筆數不一樣 Q_Q 同樣檔案名稱的兩個檔案筆數會一樣 ※ 編輯: love112302 來自: 140.124.61.39 (10/08 17:31)

10/30 09:52, , 12F
裝hadoop寫map/reduce (誤
10/30 09:52, 12F
文章代碼(AID): #1EYhHtWC (java)
文章代碼(AID): #1EYhHtWC (java)