[閒聊] 現在桌機本地ai好強喔

看板Marginalman作者 (單推人) 每日換婆 (1/1)時間1月前 (2026/03/13 08:36), 編輯推噓0(0010)
留言10則, 3人參與, 1月前最新討論串1/1
玩了上周出的qwen3.5 9b 跑Q4量化用50卡的blackwell可以跑100+tps 跑分超過GPT-120b 還內建多模態 可以陪你看本子 而且從零安裝不用一分鐘 想想一年前個人電腦只有不會組json的Gemma跟中文0分的llama == -- ※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 42.79.60.166 (臺灣) ※ 文章網址: https://www.ptt.cc/bbs/Marginalman/M.1773362200.A.A88.html

03/13 08:39, 1月前 , 1F
肥肥裝27b 跟32b a3b,覺得嗄嗄頂
03/13 08:39, 1F

03/13 08:39, 1月前 , 2F
35b a3b
03/13 08:39, 2F

03/13 08:41, 1月前 , 3F
請你給我SOP 我要玩玩看
03/13 08:41, 3F

03/13 08:45, 1月前 , 4F
下載LM Studio,在模型搜尋下載 HauhauCS/Qwen3.5-9B-U
03/13 08:45, 4F

03/13 08:45, 1月前 , 5F
ncensored-HauhauCS-Aggressive 這是無審查版本的,50
03/13 08:45, 5F

03/13 08:45, 1月前 , 6F
卡選Q4_K_M量化版本可以跑很快,剩下都會自動處理好,
03/13 08:45, 6F

03/13 08:45, 1月前 , 7F
很方便。上下文多大就看你要用多少顯存,2k~10k差不多
03/13 08:45, 7F

03/13 08:45, 1月前 , 8F
,temperature建議低點比如0.6。
03/13 08:45, 8F

03/13 08:46, 1月前 , 9F
如果覺得9b太肥還有4b的,至於2b太白癡不推薦。
03/13 08:46, 9F

03/13 09:10, 1月前 , 10F
03/13 09:10, 10F
文章代碼(AID): #1firmOg8 (Marginalman)