[閒聊] 現在桌機本地ai好強喔

看板Marginalman作者 (單推人) 每日換婆 (1/1)時間1月前 (2026/03/13 08:36), 編輯推噓0(0推 0噓 10→)
留言10則, 3人參與, 1月前最新討論串1/1
玩了上周出的qwen3.5 9b 跑Q4量化用50卡的blackwell可以跑100+tps 跑分超過GPT-120b 還內建多模態 可以陪你看本子 而且從零安裝不用一分鐘 想想一年前個人電腦只有不會組json的Gemma跟中文0分的llama == -- ※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 42.79.60.166 (臺灣) ※ 文章網址: https://www.ptt.cc/bbs/Marginalman/M.1773362200.A.A88.html
→
03/13 08:39, 1月前 , 1F
肥肥裝27b 跟32b a3b,覺得嗄嗄頂
03/13 08:39, 1F
→
03/13 08:39, 1月前 , 2F
35b a3b
03/13 08:39, 2F
→
03/13 08:41, 1月前 , 3F
請你給我SOP 我要玩玩看
03/13 08:41, 3F
→
03/13 08:45, 1月前 , 4F
下載LM Studio，在模型搜尋下載 HauhauCS/Qwen3.5-9B-U
03/13 08:45, 4F
→
03/13 08:45, 1月前 , 5F
ncensored-HauhauCS-Aggressive 這是無審查版本的，50
03/13 08:45, 5F
→
03/13 08:45, 1月前 , 6F
卡選Q4_K_M量化版本可以跑很快，剩下都會自動處理好，
03/13 08:45, 6F
→
03/13 08:45, 1月前 , 7F
很方便。上下文多大就看你要用多少顯存，2k~10k差不多
03/13 08:45, 7F
→
03/13 08:45, 1月前 , 8F
，temperature建議低點比如0.6。
03/13 08:45, 8F
→
03/13 08:46, 1月前 , 9F
如果覺得9b太肥還有4b的，至於2b太白癡不推薦。
03/13 08:46, 9F
→
03/13 09:10, 1月前 , 10F
好
03/13 09:10, 10F
‣ 更多 h0103661 的文章
文章代碼(AID): #1firmOg8 (Marginalman)