[請益] 魔改舊顯卡

看板Stock作者 (gosu mage)時間10月前 (2025/02/02 22:38), 編輯推噓52(57推 5噓 76→)
留言138則, 71人參與, 10月前最新討論串1/2 (看更多)
個人是不太了解, 因為也不是AI專家 現在看到中國在魔改二手顯卡跑一些千億級參數大模型推理和優化 他們拿這些二手顯卡跑 運行DeepSeek-Vision R1 72B、Llama 3.2 Vision 90B、Qwen2.5 72B和Qwen1.5 130B 就問了chatgpt這些大模型，通常需要高端什麼GPU。 回答就這張圖 https://i.imgur.com/cTD1LBh.png
但是中國現在魔改二手顯卡, 竟然也能跑 以下這台經過chatgpu比較,相當於H200 141GB × 1, 售價23000人民幣 88g顯存大模型推理機器，深度學習主機，四卡水冷2080ti22g一體機，GPU服務器，88g vRAM服務器，ai繪圖服務器 deepseek-r1 32b能到20token/s 待機46分貝，4張卡溫度31℃，超級靜音，非常適合家用。 整機所有配件保修一年，讓您省時省力省心 ，把主要精力與時間放在模型開發與應用上，不必操心硬件的穩定性。 帶觸摸屏幕 配置單如下： CPU：epyc7402 顯卡：2080ti魔改22g＋一體水×4 主板：epycd8 內存：ddr4 3200 recc 64g 硬盤：鎧俠rc20 2t 電源：長城2000w金牌電源 機箱：瓦爾基里vk02，帶10.1寸觸摸屏幕 https://i.imgur.com/iTtlDiZ.jpeg
https://i.imgur.com/toc6Oh7.jpeg
https://i.imgur.com/H9w8Adj.jpeg
這樣大量搞起來, 會是對nvda毀滅性的打擊嗎？ -- ※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 111.243.172.116 (臺灣) ※ 文章網址: https://www.ptt.cc/bbs/Stock/M.1738507108.A.06B.html
推
02/02 22:40, 10月前 , 1F
99nvdl
02/02 22:40, 1F
推
02/02 22:41, 10月前 , 2F
deepseek對輝達本來就是大利空
02/02 22:41, 2F
推
02/02 22:41, 10月前 , 3F
0 土砲的東西不可能大規模量產 就玩票性質
02/02 22:41, 3F
推
02/02 22:41, 10月前 , 4F
輝達山寨系列 終於生出來了!?要不要改叫CVIDIA
02/02 22:41, 4F
推
02/02 22:43, 10月前 , 5F
這種個體跟diy可以玩玩 商家需求就算了吧
02/02 22:43, 5F
推
02/02 22:45, 10月前 , 6F
iphone 6也能用…為何需要iphone 16
02/02 22:45, 6F
→
02/02 22:45, 10月前 , 7F
我都還在用win xp…誰電腦升級win 11了
02/02 22:45, 7F
推
02/02 22:46, 10月前 , 8F
Win2000再戰十年
02/02 22:46, 8F
推
02/02 22:48, 10月前 , 9F
DS就是不用依賴cuda這個架構,只要是GPU都可
02/02 22:48, 9F
推
02/02 22:50, 10月前 , 10F
沒有openAI的問答集 deepshit也做不出什麼鳥屁
02/02 22:50, 10F
推
02/02 22:52, 10月前 , 11F
我覺得甚麼2TB內存部屬671B完整版模型有用一些
02/02 22:52, 11F
推
02/02 22:54, 10月前 , 12F
還以為走錯板
02/02 22:54, 12F
推
02/02 22:54, 10月前 , 13F
這種要求的是穩定性 你不穩定要怎麼獲利
02/02 22:54, 13F
→
02/02 22:55, 10月前 , 14F
中國很多土炮的，但穩定度跟安全性都不佳，
02/02 22:55, 14F
→
02/02 22:55, 10月前 , 15F
也不能量產，不能當作常態，只能當作奇蹟
02/02 22:55, 15F
推
02/02 22:55, 10月前 , 16F
就我理解 ds還是採用nvidia的ptx
02/02 22:55, 16F
推
02/02 22:55, 10月前 , 17F
為什麼是用2080ti?
02/02 22:55, 17F
→
02/02 22:55, 10月前 , 18F
所以應該不是什麼gpu都可以
02/02 22:55, 18F
→
02/02 22:56, 10月前 , 19F
有興趣可以上yt 找土炮4090電腦顯卡上筆電顯卡一樣
02/02 22:56, 19F
→
02/02 22:56, 10月前 , 20F
可以用，效果也超好，但重量八公斤，還能叫筆電嗎
02/02 22:56, 20F
推
02/02 22:59, 10月前 , 21F
魔改的要做大家做得到 真的這樣就夠不會有人需要特
02/02 22:59, 21F
→
02/02 22:59, 10月前 , 22F
別花錢買伺服器/工作站
02/02 22:59, 22F
推
02/02 23:01, 10月前 , 23F
你以為伺服器是在賣心酸的嗎
02/02 23:01, 23F
推
02/02 23:01, 10月前 , 24F
當然都可以跑，差在算力啊，蓋房子一個人也能蓋，但
02/02 23:01, 24F
→
02/02 23:01, 10月前 , 25F
專業的工人+數量快很多吧
02/02 23:01, 25F
推
02/02 23:03, 10月前 , 26F
NVIDIA Project DIGITS 才3000美金，何必買土炮？
02/02 23:03, 26F
→
02/02 23:05, 10月前 , 27F
ebay上就有h100深圳出貨的了改個鳥不會直接買
02/02 23:05, 27F
→
02/02 23:06, 10月前 , 28F
美國管制根本就是笑話
02/02 23:06, 28F
→
02/02 23:07, 10月前 , 29F
訓練跟運行是兩回事
02/02 23:07, 29F
推
02/02 23:07, 10月前 , 30F
這種就算效能可行 沒辦法大量生產就不可能有啥決定
02/02 23:07, 30F
→
02/02 23:07, 10月前 , 31F
性的影響
02/02 23:07, 31F
推
02/02 23:08, 10月前 , 32F
這個真的不如上了 nv project digits 或是amd str
02/02 23:08, 32F
→
02/02 23:08, 10月前 , 33F
ix halo128gb 32b模型實在不值得這樣搞 至少70b 要
02/02 23:08, 33F
→
02/02 23:08, 10月前 , 34F
搞直接上671b的模型
02/02 23:08, 34F
推
02/02 23:09, 10月前 , 35F
做等project digits 我記得五月 3000美金真的很甜
02/02 23:09, 35F
→
02/02 23:09, 10月前 , 36F
只怕又被黃牛掃光了
02/02 23:09, 36F
→
02/02 23:10, 10月前 , 37F
拿蓋房子來說 蓋房子 裝潢不能放在同一個水準 更何
02/02 23:10, 37F
→
02/02 23:10, 10月前 , 38F
況你這個例子連裝潢都沒有 只是搬進去住而已
02/02 23:10, 38F
推
02/02 23:10, 10月前 , 39F
因為2080ti才有NVLINK 後面還有一張3090
02/02 23:10, 39F
還有 59 則推文
→
02/03 00:07, 10月前 , 99F
以為老黃討厭大陸喔？川普登基大典不去跑去大陸唱跳
02/03 00:07, 99F
→
02/03 00:07, 10月前 , 100F
過新年的咖耶！笑死！
02/03 00:07, 100F
→
02/03 00:09, 10月前 , 101F
這種魔改犧牲的是零件的壽命,你舊顯卡存貨也不可能
02/03 00:09, 101F
→
02/03 00:09, 10月前 , 102F
那麼多
02/03 00:09, 102F
推
02/03 00:15, 10月前 , 103F
中國魔改真的是蠻厲害
02/03 00:15, 103F
推
02/03 00:19, 10月前 , 104F
我還沒看過有商家做iPhone擴容被告的
02/03 00:19, 104F
→
02/03 00:21, 10月前 , 105F
硬體買下來改裝還能被告　太有趣惹
02/03 00:21, 105F
→
02/03 00:35, 10月前 , 106F
土砲的東西不用多 擺個100組去機房試營運個3個月就
02/03 00:35, 106F
→
02/03 00:35, 10月前 , 107F
好 能玩的起來的就算你有搞頭..連nv制式的都需要透
02/03 00:35, 107F
→
02/03 00:35, 10月前 , 108F
過大量汰換才能營運 你這種土砲的玩具 放在要營運
02/03 00:35, 108F
→
02/03 00:35, 10月前 , 109F
的機房內只會是管理災難而已 想啥呢 ==
02/03 00:35, 109F
推
02/03 00:48, 10月前 , 110F
土砲以前礦潮時早就玩過了 但一改下去沒兩下就燒壞
02/03 00:48, 110F
推
02/03 01:13, 10月前 , 111F
看了amd 一下7900xtx 32b q4km 31tk/s新卡售價3w5
02/03 01:13, 111F
→
02/03 01:13, 10月前 , 112F
如果你只要deepseek比你這快 應該不用買洋垃圾
02/03 01:13, 112F
→
02/03 01:55, 10月前 , 113F
兩種作業系統都要用
02/03 01:55, 113F
→
02/03 01:55, 10月前 , 114F
不試怎麼知道問題在哪？
02/03 01:55, 114F
→
02/03 03:59, 10月前 , 115F
家庭工作站，佈建一台幫小孩做作業，報告寫得頭頭是
02/03 03:59, 115F
→
02/03 03:59, 10月前 , 116F
道
02/03 03:59, 116F
噓
02/03 07:12, 10月前 , 117F
洋垃圾真的香
02/03 07:12, 117F
→
02/03 07:15, 10月前 , 118F
不要小看左岸魔改能力
02/03 07:15, 118F
→
02/03 07:15, 10月前 , 119F
看看張哥，老斯基就知道，業界一堆有能力自己動手
02/03 07:15, 119F
→
02/03 07:30, 10月前 , 120F
這太爛了拉 我用紅白肌膜改就能跑了 你太花錢了
02/03 07:30, 120F
推
02/03 07:54, 10月前 , 121F
vram能跑不代表回應速度夠快呀
02/03 07:54, 121F
推
02/03 08:14, 10月前 , 122F
vRAM的問題
02/03 08:14, 122F
推
02/03 08:18, 10月前 , 123F
Nvidia 的tesla系列也是Vram加大而已
02/03 08:18, 123F
噓
02/03 08:19, 10月前 , 124F
20 token/s 回家睡覺好嗎
02/03 08:19, 124F
→
02/03 08:19, 10月前 , 125F
有空搞這些, 不如上Azure租一下就好
02/03 08:19, 125F
推
02/03 08:20, 10月前 , 126F
真以為老黃的刀法評價假的……
02/03 08:20, 126F
推
02/03 08:21, 10月前 , 127F
小企業，6人內20token/s這樣是夠了
02/03 08:21, 127F
推
02/03 08:31, 10月前 , 128F
你也會發現很多都是2系列去魔改的，因為這些之前是
02/03 08:31, 128F
→
02/03 08:31, 10月前 , 129F
挖礦卡二次利用，如果會玩水冷等，用Nvidia tesla
02/03 08:31, 129F
→
02/03 08:31, 10月前 , 130F
系列也沒有比較貴
02/03 08:31, 130F
→
02/03 08:39, 10月前 , 131F
2系列去魔改的原因是因為還支援多hours串連吧…
02/03 08:39, 131F
→
02/03 08:39, 10月前 , 132F
*多gpu
02/03 08:39, 132F
→
02/03 08:41, 10月前 , 133F
而且這個魔改本來就有了…華強北只有你想不到的
02/03 08:41, 133F
推
02/03 08:51, 10月前 , 134F
20token/s ..
02/03 08:51, 134F
推
02/03 10:19, 10月前 , 135F
能跑不代表整體沒問題耶 沒做過完整測試鏈沒意義
02/03 10:19, 135F
推
02/03 11:02, 10月前 , 136F
好狂…
02/03 11:02, 136F
推
02/04 16:30, 10月前 , 137F
拿舊顯卡改大VRAM來跑AI很划算
02/04 16:30, 137F
→
02/05 15:59, 10月前 , 138F
Project digit的魔改產品可能才真的威猛
02/05 15:59, 138F
‣ 更多 LimYoHwan 的文章
文章代碼(AID): #1dduDa1h (Stock)
‣ 更多 LimYoHwan 的文章
文章代碼(AID): #1dduDa1h (Stock)