[請益] 超大data匯入MySQL (總共約 200GB)
文章有點長，首先感謝各位大大肯看這篇幫我解決問題
新手發問，有哪裡不對請多包含 @_@
---正題---
因為一些原因，我必須建置一個資料量非常大的database，有個大table姑且叫作tableA
我已經把tableA的data切成許多.sql檔先存在server裡，所有.sql 總共大小80GB
一開始匯入很快，後來越來越慢.越...來......越.........慢..........
tableA的sql現在已經匯入12%
大約算一下，現在每+1% 約要花16.3小時，tableA全好大概要60天
對於這麼多又大的SQL檔有沒有什麼方法加快速度？
有沒有其他解決辦法，請高手幫幫忙 感激不盡
---相關資料---
版本: MySQL v5.0.18
OS: Linux cluster x64
硬碟: 6.9TB (夠裝)
tableA完成12%時 我用phpMyAdmin看tableA大小有23.9GB (資料8.4GB + 索引14.2GB)??
所以預估全好會有200GB
我匯入的方法 把data切成600個sql檔
mysql -u root -p密碼
\. tableA_001.sql
\. tableA_002.sql
\. tableA_003.sql
.
.
.
\. tableA_600.sql
sql檔格式範例
INSERT INTO `tableA` (`read_sn`, `sign`, `genome_sn`, `location`, `type1`,
`loc1`, `type2`, `loc2`) VALUES
(1, '+', 86639, 1133, 'C', 9, 'N', 0),
(1, '-', 86681, 2078, 'G', 26, 'N', 0),
(3, '-', 86702, 34, 'G', 33, 'C', 34),
(4, '-', 86702, 18, 'N', 0, 'N', 0),
(5, '-', 86613, 718, 'C', 23, 'T', 28),
(5, '-', 86702, 2, 'G', 1, 'A', 14),
.
.
.
(167389, '+', 86673, 122235, 'N', 0, 'N', 0);
--
※ 發信站: 批踢踢實業坊(ptt.cc)
◆ From: 163.25.118.131
推
12/11 11:26, , 1F
12/11 11:26, 1F
推
12/11 12:42, , 2F
12/11 12:42, 2F
推
12/11 23:55, , 3F
12/11 23:55, 3F
討論串 (同標題文章)
以下文章回應了本文：
完整討論串 (本文為第 1 之 2 篇)：