[問題] 資料同步的技巧請益
我目前在維護一支同步程式.是從SQL Server同步資料到DB2.
在不考慮利用SQL Server所提供的服務的考量下(因為SQL Server是別人家的).我的處理
方式是這樣:
1.把資料讀進Data Table裡.(SqlClient)
2.依序將Data Table裡的資料寫進DB2裡(ODBC)
因為資料量不大(約十分鐘運行一次,每次約5~10筆),這種處理方式一直還OK.
不致於出什麼問題
不過最近發生了一個狀況,就是來源端突然丟出萬筆資料進行同步.我的程式也很忠實的把
資料讀進來.還好伺服器上的記憶體還夠用,不過這種狀況雖為突發.但也讓我思考了下一
版本的同步程式應該如何處理.
可想而知完全利用離線資料的方式處理是要修改了.原本是想改用data reader的方式處理
,但是萬筆資料如果占用連線時間,所耗費的成本也很高.(來源端應該也不允許).是不是
有什麼經驗可以分享?就是在處理類似的情況時,程式應該如何撰寫比較適當?
平台:.Net 1.1
語言:C#
來源資料庫:SQL Server 2000 (無管理權)
目的資料庫:DB2 8 (有管理權)
--
--
※ 發信站: 批踢踢實業坊(ptt.cc)
◆ From: 61.60.127.18
※ bbser:轉錄至看板 Database 06/04 10:04