Re: [問題] cluster雙CPU設定

看板Linux作者 (走走)時間9年前 (2015/06/23 21:18), 編輯推噓1(105)
留言6則, 2人參與, 最新討論串2/2 (看更多)
非常非常感謝版上各位高手的幫助 試了很久之後發現 很有可能不是子機設定的問題 是程式本身平行化的問題 以至於雖然分配了更多的thread 可是效能卻無法提升 另外想請教一下 我們的 scripts檔是這樣子寫的 echo "#!/bin/sh" >> "$homename"scripts.txt echo "#PBS -N "$filename"" >> "$homename"scripts.txt echo "#PBS -e "$filename".err" >> "$homename"scripts.txt echo "#PBS -o "$filename".txt" >> "$homename"scripts.txt echo "#PBS -q s2" >> "$homename"scripts.txt echo "#PBS -l nodes=s2:ppn=12" >> "$homename"scripts.txt echo "cd "$homename"" >> "$homename"scripts.txt echo "./intel.exe" >> "$homename"scripts.txt ppn = 12 的地方是說要分12個thread給程式去運算 可是我發現 若是我讓他ppn = 6 依照我的理解應該是分配六個thread去算 可是執行的結果 他依然是使用12個thread 請問這樣子是正常的嗎? 若是有問題的 那麼是機器設定的問題 還是我丟進去跑的程式的問題呢? ※ 引述《yqwu (走走)》之銘言: : 標題: [問題] cluster雙CPU設定 : 時間: Thu Jun 18 15:34:11 2015 : : 想要請教一下 : 之前舊的實驗室cluster的子機 本來都是用六核心單CPU : : 最近買了新的子機 是兩個六核心的CPU : 可是安裝完成之後 跑起來的效能和單CPU的一樣 : : 想請教一下 : cluster雙CPU有需要做甚麼特別的設定 : 才能順利用雙CPU做平行計算呢 : : 我們是使用openmp的平行化方式 : : 謝謝 : : : -- : 每年的耶誕節 我只許一個願 : 我希望 我愛的人 有一天能夠愛我 : 其實 一個人的生活也不算太壞 : 只要自己想得開的話 : : -- : ※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 140.112.182.160 : ※ 文章網址: https://www.ptt.cc/bbs/Linux/M.1434612854.A.B20.html : 推 soem: 個人認為你這樣描述資訊過少,若有點CPU資訊,以及你觀察到 06/18 20:51 : → soem: 的狀況會比較容易理解你遇到的問題。 06/18 20:51 : → yqwu: cpu是 2* XEON E5-2620 比上兩年前買的i7 6核心 型號忘了 06/18 23:22 : → yqwu: 簡單來說就是兩個CPU和一個CPU跑完一組平行計算的時間一樣 06/18 23:23 : → yqwu: 所以我在想是不是新的電腦設定錯誤 06/18 23:23 : 推 WolfLord: 一般來講,你只要啟動的是SMP KERNEL就夠了,至於平行 06/18 23:34 : → WolfLord: 演算的效能並不是單純你用了哪一個KIT就一定能凸顯的 06/18 23:35 : → WolfLord: 多核心程式需要注意的很多,但單純從您的說法裡面可以 06/18 23:36 : → WolfLord: 推測的資訊其實很貧乏:是否有適當分割演算,演算是否 06/18 23:37 : → WolfLord: 有不當的相依關連,甚或邏輯性的等待拴鎖等等..... 06/18 23:37 : → tjjh89017: 搞不好ram吃滿了,所以沒有辦法跑那麼快XD 06/18 23:38 : → tjjh89017: 之前就有遇過ram吃滿,CPU沒有辦法跑出理論GFlops 06/18 23:38 : 應該不會是這個問題 : 就我知道的 我們學長之前開發的程式不太吃ram : 所以應該不是ram的問題 : → WolfLord: 如果你的計算程式只是一般的單一流程計算程式,那不管 06/18 23:39 : → WolfLord: 少個核:都不會實質增加你的演算速度的。這種程式需要 06/18 23:40 : → WolfLord: 是像 Carry 那種暴力蠻牛(核心時脈與實質核心演算速度 06/18 23:41 : → WolfLord: )處理器 06/18 23:42 : 我們的計算程式有經過平行化處理 : 但是不能夠跨node (openmp) : 我之前自己有測試過 4核心的cpu 和6核心的cpu開了HT比較 : 執行的時間大概是3:1 也就是6核心cpu速度有快三倍 : 所以後來買了一台新的雙cpu的電腦 結果跑起來沒有比單顆的快覺得很納悶 : 買之前有請廠商測試過 : 他報給我的速度的確有快一倍 : 可是自己裝好了來用又沒有 : 要問他們怎麼設定 他們又說要收錢Orz : 推 KAOKAOKAO: 編譯的時候有正確link嗎? 06/19 19:02 : 這個不是很懂 : 推 suyuan: 為什麼不把原始碼丟出來呢?不要浪費大家的時間用猜的 06/19 20:37 : 抱歉 其實我也算是個電腦白癡 很多地方不是很懂 : 請問大概是要什麼原始碼呢 : 丟上cluster跑的程式嗎 : : 實在對這方面不是很熟 : 十分感謝各位熱心的回答 : ※ 編輯: yqwu (1.163.54.181), 06/19/2015 20:56:43 : → shihchiang: 既然都平行了怎不用顯卡跑 06/20 00:38 : openmp好像只能用cpu平行化的樣子 : 推 WolfLord: 先確認你是不是用SMP核心起動OS吧 06/20 02:02 : 我來google一下看看這個怎麼確認 : → sunneo: cat /proc/cpuinfo看看,32bit kernel只到8 cores 06/21 20:21 : 是指主機的嗎? : ※ 編輯: yqwu (1.171.169.95), 06/21/2015 22:13:03 : 推 WolfLord: cat /proc/version 看看有沒有標示SMP啊~ 06/21 23:57 : → yqwu: 原來是這樣看 感謝!! 有標示SMP 06/22 08:46 : → yqwu: 請問會是主機centos版本太舊的問題嗎 目前5.4 06/22 13:50 : → jjooeeyy: 跑的時候有確定每個cpu跟cores都有被用到? 06/22 16:46 : → WolfLord: 那 ps 看看執行續有沒有分裂(同程式多個PID)如果沒有 06/22 19:57 : → WolfLord: 程式寫得有問題,如果有,可能要檢查看看是否有互相卡 06/22 19:58 : → WolfLord: 卡關的邏輯判斷式 06/22 19:59 : → tjjh89017: try this 06/22 20:22 : → tjjh89017: export OMP_NUM_THREADS=12 06/22 20:22 -- 每年的耶誕節 我只許一個願 我希望 我愛的人 有一天能夠愛我 其實 一個人的生活也不算太壞 只要自己想得開的話 -- ※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 1.171.178.111 ※ 文章網址: https://www.ptt.cc/bbs/Linux/M.1435065536.A.06D.html

06/24 20:34, , 1F
正常。因為ppn不是幾個thread的意思。thread的控制在環境
06/24 20:34, 1F

06/24 20:34, , 2F
變數
06/24 20:34, 2F

06/25 17:13, , 3F
那請問要怎麼設定分配給JOB幾個thread啊
06/25 17:13, 3F

06/25 17:13, , 4F
除了環境變數 有其他的關鍵字嗎 想去查察看怎麼做
06/25 17:13, 4F

06/25 23:03, , 5F
環境變數都設好 剩下的就是你要解的問題跟程式怎麼寫了
06/25 23:03, 5F

06/25 23:04, , 6F
程式邏輯或演算法問題 這個版就幫不了你了
06/25 23:04, 6F
文章代碼(AID): #1LYLp01j (Linux)
討論串 (同標題文章)
文章代碼(AID): #1LYLp01j (Linux)