[請益] 8張Titan X server的供電與散熱

看板PC_Shopping作者 (阿儒)時間7年前 (2016/08/11 02:05), 7年前編輯推噓77(77推 0噓 87→)
留言164則, 69人參與, 最新討論串1/3 (看更多)
大家好, 目前我們實驗室打算購入一台能插8張GPU的server, 大部分的元件都跟一般的server沒什麼不同, 如Intel Xeon E5-2667V4 x 2, 256GB 2400MHz DDR4 memory等, 但最擔心的點是我們打算插8張剛上市的NVidia Titan X GPU, 不知道散熱跟供電會不會有問題, 因為目前實驗室最多只有同時插三張K80而已. 這台機器花了600K左右, 如果拿到不會動我就死了= =+ 麻煩請各位前輩指導一下. 基本上除了GPU外, 其它東西都是廠商建議的配置, 由廠商直接出貨, 而GPU因為現在NVidia獨賣, 沒有任何的廠商叫的到貨, 只好自己從NVidia買, 因為擔心有問題, 目前只先買了六張Titan X, 如果沒問題會再追加兩張, 不然只好跟多的兩張GTX 1080將就著用. 一張Titan X要吃掉250W, 8張就要2000W. 詢問過廠商, 這台很多人買回去插8張舊版的Titan X, 沒有問題, 我查了一下舊版的Titan X也是250W. 機器的單子上面, Power項目是寫: "3x 1600W AC 80+ Platinum efficiency hot-swap power supplies", 感覺意思是3顆1600W且可以熱插拔的Power, 4800W的供電應該是夠了吧？ 不知道理解有沒有錯誤？ 另外就是廠商說空冷就行, 水冷可能也塞不進去, 我們的server會放在24小時冷氣無限供應的機房裡, 不知道會不會過熱而降頻呢？ 因為身邊最多也只有人用過插4張Titan X的, 版上神人很多, 不知道有沒有前輩能夠指教一下呢？ 謝謝！ -- ▂▃▄▃▂ ◢ ˙ ◣ ˙ ▅ ▉▃ /◤ 喵喵~~~~ ▊▏◣╲ˍ ╱▎ -- ※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 18.62.21.215 ※ 文章網址: https://www.ptt.cc/bbs/PC_Shopping/M.1470852330.A.340.html
推
08/11 02:09, , 1F
實驗室的設備還得自己搞感覺挺累人的
08/11 02:09, 1F
因為主要就我一個人用, 老師也不知道怎樣對我來說最好用, 就叫我自己組...
推
08/11 02:11, , 2F
好奇你們是什麼實驗室？
08/11 02:11, 2F
一個很普通的小實驗室而已...
推
08/11 02:15, , 3F
有錢的實驗室(？
08/11 02:15, 3F
推
08/11 02:22, , 4F
有錢的小實驗室
08/11 02:22, 4F
推
08/11 02:24, , 5F
什麼類型的實驗室啊 我實驗室都把錢拿去買化學品了
08/11 02:24, 5F
推
08/11 02:26, , 6F
很普通的小實驗室(有錢)
08/11 02:26, 6F
推
08/11 02:27, , 7F
來這邊就是要
08/11 02:27, 7F
阿...歪樓了= =+ 研究需要, 沒有辦法, 散盡家財買的... 並沒有很有錢...
推
08/11 02:28, , 8F
是否要改水冷
08/11 02:28, 8F
廠商是說前人插8張舊的Titan X, 空冷就足夠了 (因為我們放在機房裡), 而且因為我們是自己買GPU的, 廠商一定不願意幫我們改, 我們自己也不知道怎麼用... 況且再加上水冷的總花費@@
推
08/11 02:35, , 9F
供電沒問題 散熱要看機箱配置
08/11 02:35, 9F
廠商是說這個機箱就是專門為了8張GPU設計的, 因為Titan X一個就要吃兩個slot, 所以機箱有16個slot. 不過你也知道, 為了賣東西, 什麼都說的出來...orz
推
08/11 02:35, , 10F
HPC 沒有人在搞水冷的... 機房裡沒在講究靜音
08/11 02:35, 10F
→
08/11 02:35, , 11F
風量都比大的, 空調夠力就沒問題
08/11 02:35, 11F
機房裡吵的像是飛機要起飛一樣XDD
推
08/11 02:43, , 12F
工業扇準備一台 系統過熱時開上蓋對它吹
08/11 02:43, 12F
機房裡面確實是有幾台, 不過我沒看他們被插上插頭過...
→
08/11 03:01, , 13F
都用K80了 好Tesla P100不買嗎
08/11 03:01, 13F
Tesla的價錢實在是太芭樂了, 當初買K80是有不得以的苦衷, 現在不可能再考慮Tesla系列XDDD
推
08/11 03:03, , 14F
我們學校實驗室是i73770配630QQ
08/11 03:03, 14F
推
08/11 03:32, , 15F
德克斯特的實驗室？
08/11 03:32, 15F
推
08/11 03:50, , 16F
上水冷阿 參考https://youtu.be/LXOaCkbt4lI
08/11 03:50, 16F
→
08/11 03:53, , 17F
08/11 03:53, 17F
推
08/11 04:07, , 18F
為什麼那麼多人要實驗室的環境上水冷?漏水爆了你賠?
08/11 04:07, 18F
→
08/11 04:08, , 19F
機房的SERVER是你家電腦一樣你沒事就會透過側板看他
08/11 04:08, 19F
→
08/11 04:08, , 20F
有沒有漏水嗎?
08/11 04:08, 20F
推
08/11 04:09, , 21F
從冷氣出風孔拉管線?
08/11 04:09, 21F
推
08/11 04:17, , 22F
\LN2/ \LN2/ \LN2/
08/11 04:17, 22F
→
08/11 04:18, , 23F
話說linus的伺服器也是用水冷就是了
08/11 04:18, 23F
推
08/11 04:22, , 24F
別弄水冷，除非爆管你賠得起
08/11 04:22, 24F
推
08/11 04:30, , 25F
別水冷 還有風險
08/11 04:30, 25F
完全沒想過水冷的風險. 還好有上來問...
推
08/11 04:35, , 26F
tesla p100 貴titan x沒多少阿
08/11 04:35, 26F
Tesla P100我剛看了一下官網, "The Tesla P100 is available now, only in the NVIDIA® DGX-1™ system— purpose-built for deep learning." 單賣好像要等到2017第一季, 價錢也還未知. 有人用DGX-1的售價推估了一下Tesla P100的價格, 一張至少300K台幣... DGX-1天價阿= =+ NVidia有捐一台給我們學校, 但獎落誰家還未知...
推
08/11 04:54, , 27F
機房有空調就靠機箱裝暴力扇去吹，那有人用水冷或工
08/11 04:54, 27F
→
08/11 04:54, , 28F
業電扇
08/11 04:54, 28F
→
08/11 04:58, , 29F
人家裝水冷表演性大於實用性，不很在意可靠度，出事
08/11 04:58, 29F
還有 99 則推文
還有 17 段內文
推
08/11 12:01, , 129F
伺服器機殼應該前後都是整排風扇
08/11 12:01, 129F
→
08/11 12:01, , 130F
只要裡面進出風口單一方向就好，也就是層流
08/11 12:01, 130F
→
08/11 12:03, , 131F
沒有耶 哪來這麼多空間啊 @@ 通常裝在硬碟背板後面
08/11 12:03, 131F
→
08/11 12:04, , 132F
靠大風壓硬吹... chassis 前後的空間可是很珍貴的
08/11 12:04, 132F
推
08/11 12:35, , 133F
啊～本來想說你會有神秘門路可以先搶到貨QAQ
08/11 12:35, 133F
→
08/11 12:38, , 134F
偷偷說，這種機器不會直接從cpu拉pcie線路到gpu
08/11 12:38, 134F
→
08/11 12:38, , 135F
都會經過PLC switch
08/11 12:38, 135F
→
08/11 12:38, , 136F
打錯字…PLX
08/11 12:38, 136F
推
08/11 12:41, , 137F
不是標準規格4U的伺服器嗎? 平躺那種
08/11 12:41, 137F
→
08/11 12:41, , 138F
伺服器的機殼空間真的很多的
08/11 12:41, 138F
→
08/11 12:50, , 139F
先看看照片就知道要塞多少東西了... 前後都滿的
08/11 12:50, 139F
→
08/11 12:51, , 140F
兩家設計很類似, 都是硬碟背板後面兩排風扇
08/11 12:51, 140F
→
08/11 12:53, , 141F
前面空間全部都硬碟用光, 後面則是全高雙槽卡+電源
08/11 12:53, 141F
→
08/11 12:54, , 142F
好有趣的需求 是要用GPU算什麼東西阿?
08/11 12:54, 142F
因為實驗的計算量很大, 多幾張GPU可以大幅降低所花的時間XD ※ 編輯: denru01 (18.139.7.118), 08/11/2016 14:38:10
→
08/11 15:39, , 143F
都要噴銀子了 廠商還能給你模稜兩可的答案？ XD
08/11 15:39, 143F
推
08/11 16:27, , 144F
看起來很像搞深度學習的
08/11 16:27, 144F
→
08/11 16:28, , 145F
有問題可站內信問我
08/11 16:28, 145F
推
08/11 17:40, , 146F
其實空冷就夠囉！室溫冷氣開19~22度!
08/11 17:40, 146F
→
08/11 17:42, , 147F
以前顧網路ATM機器，機框風扇超強....
08/11 17:42, 147F
推
08/11 19:26, , 148F
YouTube有個人linustechtips有組過類似你的需求
08/11 19:26, 148F
推
08/11 20:52, , 149F
比利時安特衛普大學也是這樣作，你可以去他們那看
08/11 20:52, 149F
→
08/11 20:52, , 150F
看
08/11 20:52, 150F
推
08/11 20:54, , 151F
08/11 20:54, 151F
謝謝, 我之前組一台四張的也是長的類似是這樣. 八張給桌機等級的配備跑應該會很悲劇.
→
08/11 22:52, , 152F
PSU看起來是265長的CRPS規格， 它網站說的Non-Redun
08/11 22:52, 152F
→
08/11 22:52, , 153F
dancy是指可以上到3*1600=4800W, 就算是2+1的Redund
08/11 22:52, 153F
→
08/11 22:52, , 154F
ancy也有2*1600=3200W可以用，看一下上面的網友算
08/11 22:52, 154F
→
08/11 22:52, , 155F
的也是夠用了。在插滿3台PSU的情況下也不用擔心PSU
08/11 22:52, 155F
→
08/11 22:52, , 156F
載太重什麼的。不過在這種應用下建議PSU五年到了就
08/11 22:52, 156F
→
08/11 22:52, , 157F
差不多該換新了…
08/11 22:52, 157F
那我也安心了. 五年很夠了XDDDD
推
08/12 04:12, , 158F
叫nvidia幫忙了阿美國就別客氣拉
08/12 04:12, 158F
→
08/12 04:12, , 159F
看了這設備真的留口水 在台灣大概cluster慢慢串了QQ
08/12 04:12, 159F
推
08/12 04:56, , 160F
台灣國立大學實驗室會配這種機器？
08/12 04:56, 160F
推
08/12 10:22, , 161F
貴的是 GPU 啊... 準系統+CPU+RAM+HD/SSD 不到 1/3
08/12 10:22, 161F
其實其它部分也佔了一大半... ※ 編輯: denru01 (18.139.7.118), 08/12/2016 10:32:54
推
08/12 11:48, , 162F
原PO方便在文章原文列出全部的清單嗎？
08/12 11:48, 162F
推
08/13 02:11, , 163F
電源2+1應該就夠，基本上server出貨前都經過測試，
08/13 02:11, 163F
→
08/13 02:11, , 164F
實驗室室溫不要太誇張空冷一定夠的
08/13 02:11, 164F
‣ 更多 denru01 的文章
文章代碼(AID): #1NgspgD0 (PC_Shopping)
討論串 (同標題文章)
以下文章回應了本文 (最舊先)：
完整討論串 (本文為第 1 之 3 篇)：
排序： 最舊先 | 最新先 | 留言數
在新視窗開啟完整討論串 (共3篇)
‣ 更多 denru01 的文章
文章代碼(AID): #1NgspgD0 (PC_Shopping)