[問卦] 16GB顯卡能跑的本地大模型到底實用否?

看板Gossiping作者 (踢踢～)時間1月前 (2026/07/30 09:39), 編輯推噓2(3推 1噓 13→)
留言17則, 8人參與, 1月前最新討論串1/1
我大約一年多前問過如果買M3 Ultra 96GB來跑本地大模型 被回答說洗洗睡，乖乖花錢訂閱雲端服務比較好 不過AI世界一個月如同一年，想要問問大家的意見 主要是我最近用 M5 16GB 載入 qwen 3.5 9B 模型，加上老外鄉民推薦的參數後 竟然可以分析數千行的 python code 再提出不錯的建議 但 MBA M5 跑起來一秒鐘只有 13 token ，真是等到天荒地老 請問板上的30CM AI專家們，如果我搞一張5系列16GB中階顯卡，加上撿來的3080 10GB 兩個可以跑一個很不錯的模型了嗎? 我的用途是幫忙輔助撰寫單個 python 腳本，或是總結 5MB 之內的技術文件 -- ※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 165.225.210.217 (加拿大) ※ 文章網址: https://www.ptt.cc/bbs/Gossiping/M.1785375577.A.548.html
→
07/30 09:41, 1月前 , 1F
真要完還是 spark ㄅ
07/30 09:41, 1F
→
07/30 09:41, 1月前 , 2F
16 + 10 可以 只是限制就在那邊
07/30 09:41, 2F
→
07/30 09:42, 1月前 , 3F
跑色圖很好用
07/30 09:42, 3F
→
07/30 09:42, 1月前 , 4F
16的拿來跑語言 10的跑到來生小圖
07/30 09:42, 4F
→
07/30 09:43, 1月前 , 5F
跑程式還是要大模型吧
07/30 09:43, 5F
→
07/30 09:43, 1月前 , 6F
這樣就可以自己生色提示詞
07/30 09:43, 6F
→
07/30 09:43, 1月前 , 7F
不然你在那邊找bug找半天有比較好嗎
07/30 09:43, 7F
→
07/30 09:43, 1月前 , 8F
寫程式不太行
07/30 09:43, 8F
→
07/30 09:44, 1月前 , 9F
被線上吊打
07/30 09:44, 9F
→
07/30 09:48, 1月前 , 10F
本地還是只能跑qwen3.6的話沒什麼變化
07/30 09:48, 10F
→
07/30 10:01, 1月前 , 11F
跑精簡版的沒問題. 不需要太聰明
07/30 10:01, 11F
推
07/30 10:22, 1月前 , 12F
用量化模型可以到3.6 35B 速度至少快一倍
07/30 10:22, 12F
推
07/30 10:53, 1月前 , 13F
=.= 你要跑code雲端就好
07/30 10:53, 13F
推
07/30 11:15, 1月前 , 14F
AMD 16GB 只能說幾乎跑不動
07/30 11:15, 14F
→
07/30 11:16, 1月前 , 15F
如果有錢就直接砸兩百萬組單機4張5090
07/30 11:16, 15F
→
07/30 11:16, 1月前 , 16F
不然就找門路買中國模改超高VRAM 5090
07/30 11:16, 16F
噓
07/30 11:42, 1月前 , 17F
洗洗睡
07/30 11:42, 17F
‣ 更多 naticom 的文章
文章代碼(AID): #1gQgjPL8 (Gossiping)