[心得] Gemma 4

看板Marginalman作者 (單推人) 每日換婆 (1/1)時間1月前 (2026/04/14 11:06), 編輯推噓3(304)
留言7則, 4人參與, 1月前最新討論串1/1
llamacpp修了一周才跑的起來,不然原本bug超多 這個權重大小主要跟Qwen3.5比較 優點 - 文筆很好,有claude sonnet等級,特別是成人場景 - 無審查,雖然說明檔花了1/3篇幅在吹它的安全設施,但實際運行根本沒在擋 缺點 - 上下文佔的記憶體太多,不確定是不是llamacpp的bug - 邏輯能力確實不如qwen3.5 我沒試寫程式,但非sota模型根本不用試這塊 想用來瑟瑟的話蠻推薦的 另外還有個不知道該放在優點還是缺點的內容: https://i.meee.com.tw/pc0XTEd.png
https://i.meee.com.tw/2scO5NI.png
https://i.meee.com.tw/vWj9mqO.png
好好笑 口爛欸 -- ※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 42.79.45.64 (臺灣) ※ 文章網址: https://www.ptt.cc/bbs/Marginalman/M.1776135980.A.58B.html

04/14 11:10, 1月前 , 1F
gemini不是差不多口ㄇ
04/14 11:10, 1F

04/14 11:14, 1月前 , 2F
就是要這樣
04/14 11:14, 2F

04/14 11:30, 1月前 , 3F
是用多少B的model?我電腦只跑得動E4B
04/14 11:30, 3F

04/14 11:37, 1月前 , 4F
我用26b-a4b,我的顯卡也裝不下,我是offload到cpu,也
04/14 11:37, 4F

04/14 11:37, 1月前 , 5F
就是用ram裝模型,跑Q4量化只要16GB的ram,MOE架構很適
04/14 11:37, 5F

04/14 11:37, 1月前 , 6F
合這樣跑,速度大約~40tps。
04/14 11:37, 6F

04/14 13:10, 1月前 , 7F
感謝大大教學 回家試試
04/14 13:10, 7F
文章代碼(AID): #1ftQyiMB (Marginalman)