[菜單] 45K LLM模型微調伺服器升級

看板PC_Shopping作者時間4月前 (2023/12/18 15:06), 4月前編輯推噓7(7推 0噓 38→)
留言45則, 8人參與, 4月前最新討論串1/1
已買/未買/已付訂金（元)：未買 預算/用途：原有的單張3090 24GB顯卡微調較大的語言模型已經不太夠用，需要再加一張30 90。家用平台PCIE頻寬似乎最多只支援到兩組PCIE 4.0 x8，希望直接升級到EPYC平台較不 會有頻寬瓶頸的問題，不過電源、機殼不太知道如何選擇，再麻煩大家推薦一下了，謝謝！ CPU (中央處理器)：AMD EPYC 7302 $4387 (淘寶拆機) MB (主機板)：技嘉 MZ32-AR0 E-ATX $6983 (淘寶拆機) RAM (記憶體)：美光16G 2RX8 PC4-3200AA ECC REG *8 $6258 (淘寶拆機，QVL支援) VGA (顯示卡)：EVGA 3090 FTW3 沿用EVGA 3090 FTW3 $20000 (二手) Cooler (散熱器)：待填 SSD (固態硬碟)：沿用 HDD (硬碟)：無 PSU (電源供應器)：待填 CHASSIS (機殼)：待填 MONITOR (螢幕)：沿用 Mouse/KB (鼠鍵)：沿用 OS (作業系統)：Ubuntu 其它 (自填)：無 總價 (未稅/含稅)：37628+待填 ----- Sent from JPTT on my OnePlus IN2015. -- ※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 223.138.135.117 (臺灣)
推
12/18 15:22, 4月前 , 1F
感覺CPU跟記憶體都省過頭了
12/18 15:22, 1F
→
12/18 15:28, 4月前 , 2F
怎麼說你ram比Vram小那麼多 那裡出瓶頸
12/18 15:28, 2F
→
12/18 15:29, 4月前 , 3F
都不奇怪 而且Epyc的核心常常需要做一些
12/18 15:29, 3F
→
12/18 15:30, 4月前 , 4F
打雜的IO 還是多一點比較好
12/18 15:30, 4F
推
12/18 15:30, 4月前 , 5F
他的RAM應該是16G*8吧
12/18 15:30, 5F
→
12/18 15:34, 4月前 , 6F
err..應該是
12/18 15:34, 6F
推
12/18 15:38, 4月前 , 7F
電源機殼你可以考慮兩顆1000W加條雙電源
12/18 15:38, 7F
→
12/18 15:38, 4月前 , 8F
啟動線配雙電源倉的機殼，或是直接買有連
12/18 15:38, 8F
→
12/18 15:38, 4月前 , 9F
動啟動功能的雙電源(Antec OC-link之類的
12/18 15:38, 9F
→
12/18 15:38, 4月前 , 10F
)
12/18 15:38, 10F
推
12/18 15:46, 4月前 , 11F
有ATX3.0的1600W應該夠
12/18 15:46, 11F
推
12/18 15:50, 4月前 , 12F
兩顆1000W非ATX3.0應該比一顆1600W ATX3.
12/18 15:50, 12F
→
12/18 15:50, 4月前 , 13F
0便宜啦
12/18 15:50, 13F
→
12/18 15:51, 4月前 , 14F
那1U機殼配伺服器電源不知道會不會更划
12/18 15:51, 14F
→
12/18 15:51, 4月前 , 15F
算
12/18 15:51, 15F
→
12/18 15:53, 4月前 , 16F
但原有那張顯卡不是鼓風扇可能會有風道
12/18 15:53, 16F
→
12/18 15:53, 4月前 , 17F
的問題？
12/18 15:53, 17F
→
12/18 15:53, 4月前 , 18F
有1U機殼放得下兩張3090的？
12/18 15:53, 18F
→
12/18 15:55, 4月前 , 19F
1U高度才4.4公分 怎麼可能裝得下
12/18 15:55, 19F
→
12/18 15:55, 4月前 , 20F
如果你有機櫃的話，往伺服器機殼找是沒問
12/18 15:55, 20F
→
12/18 15:55, 4月前 , 21F
題啊，不過新品都很貴，大概就還是要去用
12/18 15:55, 21F
→
12/18 15:55, 4月前 , 22F
淘的吧
12/18 15:55, 22F
→
12/18 15:55, 4月前 , 23F
應該要找4U或5U才有機會啦
12/18 15:55, 23F
→
12/18 16:07, 4月前 , 24F
散熱找貓頭鷹NH-U9 TR4-SP3應該就能壓16
12/18 16:07, 24F
→
12/18 16:07, 4月前 , 25F
核了
12/18 16:07, 25F
→
12/18 16:09, 4月前 , 26F
如果你機殼買到5U高度 散熱器可以看U12S
12/18 16:09, 26F
→
12/18 16:09, 4月前 , 27F
或U14S，4U高度我記得會差一點裝不下
12/18 16:09, 27F
→
12/18 16:10, 4月前 , 28F
不然就是一樣找對岸拆機塔散 但server塔
12/18 16:10, 28F
→
12/18 16:10, 4月前 , 29F
散轉速通常較高 很吵
12/18 16:10, 29F
推
12/18 16:13, 4月前 , 30F
不過我看了一下預算，你電源加上去就差不
12/18 16:13, 30F
→
12/18 16:13, 4月前 , 31F
多沒預算了，CPU散熱倒是還好，反正貓頭
12/18 16:13, 31F
→
12/18 16:13, 4月前 , 32F
鷹SP3腳位的隨便挑應該都夠，反倒是顯卡
12/18 16:13, 32F
→
12/18 16:13, 4月前 , 33F
散熱比較困難
12/18 16:13, 33F
→
12/18 16:26, 4月前 , 34F
你有雙槽的3090就塞得進1U
12/18 16:26, 34F
→
12/18 16:27, 4月前 , 35F
但沒事別這樣搞自己，又不是寸土寸金
12/18 16:27, 35F
→
12/18 16:29, 4月前 , 36F
FTW 2.75槽 沒救
12/18 16:29, 36F
→
12/18 16:30, 4月前 , 37F
5U就裝得下幾乎所有塔散了，TS140P都行
12/18 16:30, 37F
了解那就是淘寶再找看看4U 5U的機箱了，顯卡散熱可能就用高轉速的機箱風扇了
→
12/18 17:06, 4月前 , 38F
x8和x16跑不出差異吧
12/18 17:06, 38F
看評測3090似乎已經達到PCIE3.0=PCIE4.0 x8的上限了，主要是也想保留升級空間，不然之 後vram不夠還要再換平台 ※ 編輯: jeff85898 (111.83.89.118 臺灣), 12/18/2023 17:42:38
→
12/18 17:42, 4月前 , 39F
對了 你有切成x8看看是不是真的有瓶頸嗎
12/18 17:42, 39F
→
12/18 17:43, 4月前 , 40F
我記得耶穌測4090跑4.0x8也折損不到5%
12/18 17:43, 40F
→
12/18 17:46, 4月前 , 41F
瓶頸是在顯卡 LLM用3090遲早燒起來
12/18 17:46, 41F
→
12/18 17:46, 4月前 , 42F
換一張6000A吧！
12/18 17:46, 42F
之後如果有預算再加一張吧 因為現在的主機板沒有支援x16拆分 第二張卡只能跑x4 想說就一次換到 mz32-ar0 了 有四 組PCIE 4.0 x16 ※ 編輯: jeff85898 (111.83.89.118 臺灣), 12/18/2023 19:35:47
推
12/19 07:22, 4月前 , 43F
現在3090兩萬買得到嗎？
12/19 07:22, 43F
→
12/20 12:15, 4月前 , 44F
看起來是買不到…先買張3060湊一下vram
12/20 12:15, 44F
→
12/20 12:15, 4月前 , 45F
吧
12/20 12:15, 45F
‣ 更多 jeff85898 的文章
文章代碼(AID): #1bV--4Vq (PC_Shopping)