[問題] 有辦法把多個job包起來變成一個跑嗎?

看板Linux作者 (pete)時間13年前 (2013/03/03 11:56), 編輯推噓0(0推 0噓 13→)
留言13則, 4人參與, 最新討論串1/1
是這樣的 假設我有一各job(n) 裡面的參數n假設是0~9 然後一各job假設需要4個cpu(如果機器是4核心的) 那就是一各node 可是我希望可以把job0~job9 合起來變成job_total 然後一次submit出去可以跑job0~job9 (總共用掉40顆cpu 或是10個node) 因為我目前是在公用的cluster server上跑 上面的規範就是一次只能submit兩各job 這樣我等於每次都只能submit job0~job1 或是 job2~job3(共8顆cpu) 其他變成是在idle 因為cluster 是用pbs quening 我想說把多各job包在一起 然後丟到可以依次跑比較多顆的system上 這樣我等於是省四倍的時間.... 有人可以告訴我我這樣的想法是否可行?? 打包的方法又要怎麼做? 或是有其他的方法也不吝賜教 感恩!!! -- ※ 發信站: 批踢踢實業坊(ptt.cc) ◆ From: 118.160.184.140 ※ 編輯: peter308 來自: 118.160.184.140 (03/03 11:57)
→
03/03 14:34, , 1F
如果可以改程式,我是覺得改程式比較快,工作參數接受一次執
03/03 14:34, 1F
→
03/03 14:35, , 2F
行跑多個結果, 本來是job 1 和 job 2改成一次 job 1 2
03/03 14:35, 2F
→
03/03 14:35, , 3F
甚至更多
03/03 14:35, 3F
→
03/03 14:36, , 4F
推完再看一次,發現沒符合需求,總時間沒節省.
03/03 14:36, 4F
→
03/03 14:38, , 5F
但是若系統只限制process,沒限制thread,用上面改程式的方
03/03 14:38, 5F
→
03/03 14:38, , 6F
法,或許可以2個processes,但有8個thread,然後看看thread
03/03 14:38, 6F
→
03/03 14:39, , 7F
會不會被schedule到不同CPU
03/03 14:39, 7F
→
03/03 15:19, , 8F
有人正在用pidgin+msn(on jabber)嗎？
03/03 15:19, 8F
→
03/03 15:19, , 9F
推錯Orz
03/03 15:19, 9F
→
03/04 16:37, , 10F
我有想過改程式... 可是我想要的作法是程式不變然後改參
03/04 16:37, 10F
→
03/04 16:37, , 11F
數 再把不同參數的數個job結合成一個...
03/04 16:37, 11F
→
03/04 16:38, , 12F
這樣可以在cluster 上用更多資源...
03/04 16:38, 12F
→
03/06 00:07, , 13F
看Oracle Grid Engine(Sun Grid Engine)合用冇？
03/06 00:07, 13F
‣ 更多 peter308 的文章
文章代碼(AID): #1HCidZXb (Linux)