[菜單] 500K/1000K 機器學習 Audio/Vision 用兩臺

看板PC_Shopping作者 (入贅桧月家，我妻彩花)時間3年前 (2020/06/10 12:43), 3年前編輯推噓2(2推 0噓 17→)
留言19則, 4人參與, 3年前最新討論串1/1
前幾天的文章可能沒有說明清楚，購入的是兩臺機器 一臺是vision部門使用的，另外一臺是audio部門使用的。 大家可以看到兩臺機器對VRAM的需求完全不同。 Vision的機器是完全我經手的 model: Supermicro 4029GP-TVRT CPU (中央處理器)：Intel Xeon Silver 4216 x 2 MB (主機板)：Supermicro X11DGO-T RAM (記憶體)：DDR4 RDIMM 2666Mhz 32G x 14 VGA (顯示卡)：nVidia Tesla V100 SXM2 32G x 2 SSD (固態硬碟)：M.2 480G SATA Intel OPtane D4800X 375G RAID ：LSI MegaRaid 9460 4GB cache HDD ： ST2400MM0129 2.4TB SAS x 10 PSU (電源供應器)：2200W x 4 總價 (未稅/含稅)：USD 35800 因為Vison這邊用戶有八九位，將來GPU安裝完八塊後，是會有二十位同事 在使用這臺機器，所以硬碟採取了傳統模式，利用SSD cache加速。 另外由於適用的trainning場景batch size比較大，所以VRAM單塊就配置很大了。 將來利用NVLink和PCIe p2p都會有比較好的表現。這邊特別提一下，我們使用 的調度器horovod有支援多GPU分發。 而audio組他們實在等不及AMD到貨，所以還是購入了Intel產品。 CPU (中央處理器)：Intel Gold 5218R x 2 MB (主機板)：Supermicro X11DPG-OT-CPU RAM (記憶體)：32G DDR4 3200Mhz RDIMM x4 VGA (顯示卡)：nVidia RTX 2080Ti 11G x 4 SSD (固態硬碟)：Intel DC P4510 8T PSU (電源供應器)：2000W x 4 其它 (自填)：NVLink bridge 3 Slot x 2 總價 (未稅/含稅)：USD 17500 左右 他們最多就三位在用這臺機器，所以規格就比較陽春。另外因為batch size比較小， 其實一塊顯示卡就足夠了。 : 推 hotdogee : 這價格我會拿單路Epyc+4張TITAN RTX 06/08 12:20 : → hotdogee : 雙路epyc一樣是128條pcie，需要超過64核才會用雙路 06/08 12:22 : → hotdogee : 這單雙路16通道卻只拿4條記憶體跑雙通道也太浪費 06/08 12:28 : → hotdogee : 是雙路EPYC主機板不OK而已吧，因為沒什人用 06/08 12:30 : → hotdogee : 單路主機板很好買 06/08 12:30 可惜遲了一步 : 推 a2470abc : ram夠嗎？ 好奇如果是跑影像 資料量長蠻快的 06/09 02:20 : → a2470abc : 本來想提NUMA的問題 但是看到AMD交不出來就了了 06/09 02:21 Vision那臺是RAM大很多，其實RAM的作用主要是圖片讀取成HSV的cache會放在RAM中， 也就是Linux shm中 而您看到的是audio的機器，我是不熟悉他們的場景。 至於NUMA，如果沒有虛擬化或者PCIe過CPU搬運，似乎問題不大。 -- 你比較喜歡哪一個? 當年不是黨國大老但是被江浙財團捧紅的中國帥哥 跟同樣擁兵一方的諸侯約會裁軍結果半途諸侯們爽約，平常有在寫日記的莊嚴男人開始發飆 別國調侃是不是中國總統，義正詞嚴的說著我是民族的燈塔的威嚴老先生 -- ※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 154.13.28.249 (美國) ※ 文章網址: https://www.ptt.cc/bbs/PC_Shopping/M.1591764190.A.DDD.html
推
06/10 16:14, 3年前 , 1F
A100一樣是一張一萬鎂，這時間點買V100感覺虧大了
06/10 16:14, 1F
→
06/10 16:17, 3年前 , 2F
準備收二手V100洋垃圾
06/10 16:17, 2F
本來計劃就是撿洋垃圾或者中古貨 Tesla A100是安不上去的，SXM4的form factor，主機板也會比較貴，其實根本買不到
→
06/10 16:34, 3年前 , 3F
如果不一定需要用到8GPU訓練1個模型，8張V100的錢
06/10 16:34, 3F
→
06/10 16:36, 3年前 , 4F
可以換成買16張RTX8000-48GB，雙GPU同時訓練8個模型
06/10 16:36, 4F
→
06/10 16:39, 3年前 , 5F
整體速度會更快
06/10 16:39, 5F
目前業務規模是一個模型一張V100正好足夠，但是隨着dataset增加，如果VRAM更大是最好? F。 兩個slot是個問題。
→
06/10 17:49, 3年前 , 6F
這麼專業用途，上電蝦....？！
06/10 17:49, 6F
回饋嘛，也不想被紅心芭樂抄襲，後面英文會到reddit上
→
06/10 18:04, 3年前 , 7F
Amazon常常可以撿到一張5k鎂的RTX8000
06/10 18:04, 7F
→
06/10 18:06, 3年前 , 8F
現在eBay也有一張14萬台幣的近全新二手RTX8000：
06/10 18:06, 8F
→
06/10 18:06, 3年前 , 9F
06/10 18:06, 9F
這種沒辦法報稅，法人採購必須有稅務憑證 ※ 編輯: hizuki (154.13.28.249 美國), 06/10/2020 19:09:38
→
06/10 19:56, 3年前 , 10F
國外採購用INVOICE跟進口報單完稅憑證即可
06/10 19:56, 10F
→
06/10 20:02, 3年前 , 11F
可以問合格會計師,不缺少自己從國外進口的能力很虧
06/10 20:02, 11F
一般企業法人絕對不會這樣做的，如上例就是無法提供合法請款證明。 假如是進出口，加稅不便宜，也沒人願意跑這麼長的流程
→
06/10 20:09, 3年前 , 12F
不過你問到的RTX8000跟V100報價是多少?
06/10 20:09, 12F
具體我不方便講，不然會被投訴妨礙營業。標示大體上就是官網價左右， 不過這個數字在總決算中沒有意義，系統商代理商都是package price的。 中古如果不是代理那邊購入的，也沒有保固可以用，壞一個要被罵死了。 已經用Amazon和GCP支撐一段時間了，如果再繼續下去都可以再買一張V100了。 後續如過要擴展vDWS或者grid應用，也無法相談價格。 ※ 編輯: hizuki (154.13.28.249 美國), 06/10/2020 21:16:29
→
06/10 22:22, 3年前 , 13F
事實上所有電腦設備從美國進口都是免稅(稅則8471)
06/10 22:22, 13F
→
06/10 22:23, 3年前 , 14F
我常常幫我公司從國外合法進口，INVOICE跟報單就是
06/10 22:23, 14F
→
06/10 22:25, 3年前 , 15F
合法請款證明，沒那麼難
06/10 22:25, 15F
→
06/10 22:49, 3年前 , 16F
明顯我不在臺灣
06/10 22:49, 16F
推
06/11 00:56, 3年前 , 17F
很需要雙精度運算嗎?
06/11 00:56, 17F
→
06/11 00:57, 3年前 , 18F
台灣一般都拿2080來算的
06/11 00:57, 18F
→
06/11 08:28, 3年前 , 19F
不需要，純粹是為了NVLink擴展，也說明了VRAM不夠
06/11 08:28, 19F
※ 編輯: hizuki (154.13.28.249 美國), 06/11/2020 19:51:10
‣ 更多 hizuki 的文章
文章代碼(AID): #1Uu6JUtT (PC_Shopping)