[問題] CP指令(NFS下)的效能問題

看板Linux作者wzbird (大鳥)時間15年前 (2010/10/29 00:57)推噓5(5推 0噓 6→)

留言11則, 7人參與討論串1/4 (看更多)

小弟最近在備份一台機器的資料,好幾T,環境是區網遇到一些問題,想說丟出來讓大家討論一下 1. 一開始google到rsync, rsync的好處相當多,而且那台機器的資料的確也是每天會變動的所以rsync的特性相當的適合但是因為資料實在太大,rsync2.X版遇到這種上T的量會直接掛掉,在建立檔案list階段,還沒有開始傳輸就會錯誤跳出這個問題可以在最新的3.0.7版解決,大量的資料照樣能吃但是...非常非常慢..慢到哭,沒有實際測量,但是應該每秒幾K而已還有一個方法啦,就是不要一次丟一整包太大的給他吃可以分成好幾(百)次來執行,一次可能rsync部分資料夾就好不過這樣實在很不直覺,雖然可以寫script來處理,但是..我還沒寫..XD 2. 我這樣玩了幾天rsync發現一件事, rsync好像(也還沒有數據證實)只有一邊是空的(我準備了另一台完全空的機器), 從來源rsync到空的那邊,這種情況才會很慢,假設兩邊資料其實都差不多了只是要rsync差異的時候,"感覺"速度還好,可以接受因為一開始rsync雖然爆慢,但是我還是有完整rsync過部分資料第二次rsync他們的時候,感覺就很快 3. 所以想到了另一個方法,第一次的時候先直接CP過去,等完成了之後,每天再rsync差異我用得方法是直接用mount IP:/directoy /mnt 把來源monut到備份機上,所以這時走得應該是NFS 然後直些用CP複製要備份資料過來沒想到,還是爆慢..這個我有量過,一秒不到2MB,雖然跟rsync比起來已經快到流淚了但是比我預期的還慢很多,有人知道可能的原因嗎? 是NFS的關係嗎? 我想過如果用SMB不知道會不會比較快,但是稍微GOOGLE過以後有人說SMB比NFS還慢,不知道有沒有人經驗或是這種情況有沒有更好的方式 4. 另外 CP資料的時候是透過script觀察df -m的數字來測量的我發現那個數字是會波動的,比如我如果量"可用空間" 理論上應該是一直遞減才對啊但是我的log卻顯示他是會波動的例如 123408 123405 123402 123405 << 123405 123400 123395 123397 123395 123393 123390 123392 << 123388 . . . 這個問題讓我很好奇,為什麼一直寫入資料的情況下,會是波動的? -- ※ 發信站: 批踢踢實業坊(ptt.cc) ◆ From: 220.135.46.75

推

ago1414

10/29 06:13, , 1^F

10/29 06:13, 1^F

→

ago1414

10/29 06:14, , 2^F

10/29 06:14, 2^F

推

nknudragon

10/29 08:11, , 3^F

10/29 08:11, 3^F