討論串(共5篇) - 在cluster上多node同時寫入一個檔案 - 看板Programming

看板 [ Programming ]

討論串在cluster上多node同時寫入一個檔案

共 5 篇文章

排序：最新先 | 最舊先 | 留言數 | 推文總分

內容預覽：開啟 | 關閉 | 只限未讀

首頁

尾頁

Re: 在cluster上多node同時寫入一個檔案

推噓0(0推 )留言0則，0人參與作者chjong (東你個大頭啦)時間16年前 (2009/07/22 15:56)資訊

內容預覽:

這要看你用的是那一種檔案系統不同的語義會不太一樣. 如果是IBM的GPFS 那麼這個系統可以根據使用的範圍來鎖動. --. ※ 發信站: 批踢踢實業坊(ptt.cc). ◆ From: 129.2.103.10.

Re: 在cluster上多node同時寫入一個檔案

推噓2(2推 )留言2則，0人參與作者sorryChen (陳揚和)時間16年前 (2009/06/01 04:32)資訊

內容預覽:

感謝回覆, 其實我的需求更簡單, 因為不同process要寫的檔案內容其實相同. (不需要合併, 任何一份就好),而且等沒關係, 只要不要讀到還沒建好的. 或是大家一起建結果檔是壞的.... 我原本是想問說..File system應該會有預先的保護機制... 如果有的話就不用自己擔心. 如果沒有,

Re: 在cluster上多node同時寫入一個檔案

推噓0(0推 )留言0則，0人參與作者yauhh (喲)時間16年前 (2009/05/31 16:06)資訊

內容預覽:

都一同寫入目的檔,或是讓等待的程序寫入暫存檔,不是都一樣要等嗎?. 如果讓它們寫入不同的檔案,並在某檔案內做個計數或等一段夠長的時間,. 大家都寫完之後,再合併這些檔案,這樣如何呢?. --. ※ 發信站: 批踢踢實業坊(ptt.cc). ◆ From: 59.112.229.75.

Re: 在cluster上多node同時寫入一個檔案

推噓2(2推 )留言2則，0人參與作者sorryChen (陳揚和)時間16年前 (2009/05/31 14:57)資訊

內容預覽:

感謝學長詢問, 其實我不需要同時寫一個檔. 只是怕很多node執行相同的程式時會出錯. 如果file system沒有保護的機制就必須要自己加. 由於這個檔是個公用index. 原本的機制是存在就讀入不存在就建. 但如果有多個相同的程式在執行時. 就可能一個在建時另一個process以為已經

(還有33個字)

在cluster上多node同時寫入一個檔案

推噓1(1推 )留言1則，0人參與作者sorryChen (陳揚和)時間16年前 (2009/05/31 03:40)資訊

內容預覽:

目前為止還沒有爛掉過...雖然可能是時間差的問題. 寫的時間還滿長的需要200秒左右. 還是 File system 有保護機制兩個node同時開了檔案要寫. 會先放在記憶體或寫成一個tmp檔最後在改名.... 這樣的保護機制大部分system都會有嗎?. --. ※ 發信站: 批踢踢實業坊

首頁

尾頁