Re: [SQL ] 將SQL資料轉成txt檔?

看板Database作者soon (coming)時間13年前 (2012/08/12 00:27)推噓1(1推 0噓 7→)

留言8則, 3人參與討論串3/5 (看更多)

※ 引述《TeemingVoid (TeemingVoid)》之銘言： : ※ 引述《zxc321 (堅持到底 )》之銘言：不好意思，借討論串趁機請教一下各位前輩小弟最近也遇到類似的問題，關於資料庫 Data 的大量匯出/匯入但由於是個資料庫門外漢...@@" 需求是用程式(C#)從 server，依條件撈出資料後寫入檔案將檔案傳給 client 後，同樣用C#控制匯入資料庫這邊先假設資料庫都是 SQL Server 2008 Express 原本作法：是用前人寫好的方法匯出資料、轉換成 sql statement 並寫入檔案所以內容是大量的 DELETE FROM table_name WHERE condition = con; INSERT INTO table_name(fields) VALUES (value); 接收端收到檔案後用 System.Data.SqlClient.SqlCommand.ExecuteNonQuery() 一行行執行結果執行時間被評為不可接受QQ (小弟剛又實測了十遍，10萬筆資料 DELETE 後 INSERT 約都耗時25~27秒左右) 後來摸索一陣子，也找到了上篇提到 SQL Server 提供的 BCP 公用程式 http://goo.gl/doRy3 (MSDN) 果然不論是匯出或匯入的速度都相當令人滿意同樣 10萬筆資料，匯出平均 1.1秒，匯入平均 2.5秒而且也容許由C#端來控制，組出字串後當作SQL statement一樣執行就好大概像這樣 exec xp_cmdShell 'bcp database..table_name out output_file -T -S.\SQLEXPRESS' exec xp_cmdShell 'bcp database..table_name in source_file -T -S.\SQLEXPRESS' 同時 BCP 也可以匯出表結構的format檔案，在匯入時搭配使用但...... 以上是當匯入表都無資料(或不要舊資料就TRUNCATE掉)時的美好情形可以利用 BCP 進行快速的匯出/匯入假使是需要 UPDATE 的情況，仍然要一筆筆 DELETE 掉，再進行 BCP 匯入這部份小弟還沒找出方法解決 T^T 所以以上算是第一個想請教的問題(INSERT 可用 BCP 匯入取代，那 DELETE 呢？) 第二個問題是上面曾提到，先假設資料庫是使用 SQL Server 2008 Express 那如果資料來源是 Oracle 呢？ (一種小弟就被擺平了還變兩種... orz) 亦即匯出來源有可能是 MSSQL/Oracle 其中一種匯入資料庫也要相容兩種資料庫 @@ 上面提到前人給的匯出方法其實就是用程式從 Oracle 撈出資料後依表結構轉成 SQL statement 處理一些字元轉換跟類型對映後，就可以餵給MSSQL執行，也算是一種相容方式只是會在大量資料處理上遇到效能問題很想知道這方面有沒有兩全其美的方式！實在由於小弟之前沒好好學資料庫，很多觀念上都不清楚，拉里拉雜打了不少還希望有前輩願意提點一下關鍵字或是方向之前也在考慮要在 DB 板還是 C# 板詢問剛好看到這串討論就厚顏借用一下感謝您的閱讀！ -- ※ 發信站: 批踢踢實業坊(ptt.cc) ◆ From: 58.99.47.202

→

ken1325

08/12 02:49, , 1^F

08/12 02:49, 1^F

那請問有保留非重複部份資料的方式嗎 @@? 目前我是卡在 BCP 前要把鍵值重複的資料先 DELETE 掉避免匯入失敗但是又不能直接 TRUNCATE 把沒重複的也清除了 ※ 編輯: soon 來自: 58.99.47.202 (08/12 13:55)

推

TeemingVoid

08/13 16:31, , 2^F

08/13 16:31, 2^F

→

TeemingVoid

08/13 16:31, , 3^F