Re: [閒聊] 為什麼開源模型對硬體的要求可以降低

看板C_Chat作者 (第三方程式)時間2周前 (2026/08/11 08:15), 2周前編輯推噓4(4推 0噓 55→)
留言59則, 13人參與, 2周前最新討論串2/2 (看更多)
本宅理解是這樣: 1. 模型越大越聰明 模型越小運行越快 但隨著技術進步 小模型也會變聰明 2. "量化"是指把大模型刪減為小模型 仍盡量維持模型智能的技術 量化技術也不斷改善 3. 這兩年有一個新技術叫MOE 他原始的意義 其實主要是為了讓大模型運算加速 (讓大模型跟小模型一樣快) 但因為其特性(稀疏) 讓很多採用MOE架構的模型 在"量化"時也可以更保留模型智能 (這段關聯我也不是太懂) 所以結果小模型更快 效果更好 4. 但量化其實也會讓模型運行變慢（有點像是要unzip) 5. 然後其實是開源和閉源模型一起進步 只是我們一般用戶只能看到閉源模型尺寸變小 發現首篇好像沒點 補一下 所以結論就是像2樓說的 以後每個人手機都可以養chobits -- ※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 118.167.67.11 (臺灣) ※ 文章網址: https://www.ptt.cc/bbs/C_Chat/M.1786407342.A.E6F.html ※ 編輯: attacksoil (223.137.21.73 臺灣), 08/11/2026 08:18:36
→
08/11 08:20, 2周前 , 1F
因為開源只要有人想做就能做，所以你只關心特定功能，開
08/11 08:20, 1F
→
08/11 08:20, 2周前 , 2F
源的進度可能會比較快
08/11 08:20, 2F
→
08/11 08:21, 2周前 , 3F
沒開的就只能看維護的人選擇怎麼做
08/11 08:21, 3F
→
08/11 08:30, 2周前 , 4F
再過5年 手機可能都能安裝大型本地模型了
08/11 08:30, 4F
※ 編輯: attacksoil (223.137.21.73 臺灣), 08/11/2026 08:33:01
→
08/11 08:37, 2周前 , 5F
應該說手機上跑的模型會越來越聰明，知識純量還是會受限
08/11 08:37, 5F
→
08/11 08:51, 2周前 , 6F
弄出超強大模型 再用它做小模型
08/11 08:51, 6F
→
08/11 08:51, 2周前 , 7F
Qwen gemma4 還有最近祖克伯出的都是這樣
08/11 08:51, 7F
推
08/11 08:54, 2周前 , 8F
手機有聯網能力幹嘛本地跑模型？ 這個需求應該會更傾向於在
08/11 08:54, 8F
→
08/11 08:54, 2周前 , 9F
車載或無人機這種無法保證聯網穩定又有即時需求的終端上
08/11 08:54, 9F
→
08/11 08:57, 2周前 , 10F
總是有些私人需求 對阿
08/11 08:57, 10F
→
08/11 09:00, 2周前 , 11F
8F.....你這問題天真到不知道該如何回答
08/11 09:00, 11F
→
08/11 09:01, 2周前 , 12F
我覺得與其發展手機跑的本地模型 應該會發展成廠商直接提
08/11 09:01, 12F
→
08/11 09:01, 2周前 , 13F
供線上的高隱私模型
08/11 09:01, 13F
→
08/11 09:01, 2周前 , 14F
連回自家本地比較合理就是了
08/11 09:01, 14F
→
08/11 09:02, 2周前 , 15F
你這問題把手機換成電腦就能得到答案了
08/11 09:02, 15F
→
08/11 09:02, 2周前 , 16F
真的能在手機本地部署大概也割了蠻多能力的
08/11 09:02, 16F
→
08/11 09:04, 2周前 , 17F
線上服務目前就一個問題你有沒有比較敏感的需求
08/11 09:04, 17F
→
08/11 09:05, 2周前 , 18F
手機AI修圖已經落後了，影片銳利化也是，現在是AI助理
08/11 09:05, 18F
推
08/11 09:06, 2周前 , 19F
至少本地能省錢 等這一波AI大逃殺結束 活下來的可以任
08/11 09:06, 19F
→
08/11 09:06, 2周前 , 20F
意漲價 想了就可怕
08/11 09:06, 20F
→
08/11 09:06, 2周前 , 21F
不討論犯刑法的，有版權議題的就很難保證穩定
08/11 09:06, 21F
→
08/11 09:08, 2周前 , 22F
就算有敏感需求 也能靠保密契約或是加密技術保證敏感資訊
08/11 09:08, 22F
→
08/11 09:08, 2周前 , 23F
的安全 因為這個需求去閹割性能不划算
08/11 09:08, 23F
推
08/11 09:08, 2周前 , 24F
你手機不發展本地模型，在攝影、拍照、翻譯等對即時性
08/11 09:08, 24F
→
08/11 09:08, 2周前 , 25F
要求極高的需求時要怎辦？你等的起那幾秒？在網路未普
08/11 09:08, 25F
→
08/11 09:08, 2周前 , 26F
及的國家、或根本沒訊號，或因為人太多網路壅擠的地區
08/11 09:08, 26F
→
08/11 09:08, 2周前 , 27F
怎辦？
08/11 09:08, 27F
→
08/11 09:12, 2周前 , 28F
本地省錢就完全看你性能要求跟不跟的上時代了 人家數據中
08/11 09:12, 28F
→
08/11 09:12, 2周前 , 29F
心的成本攤提比你本地架有優勢多了 跟著時代浪潮的性能需求
08/11 09:12, 29F
→
08/11 09:12, 2周前 , 30F
你拼不過那些巨頭
08/11 09:12, 30F
→
08/11 09:16, 2周前 , 31F
手機還是先解決電池的問題吧，還沒用模型就已經不夠用了，
08/11 09:16, 31F
→
08/11 09:16, 2周前 , 32F
一堆人說什麼他可以手機用兩天，那根本沒在用吧，以後跑模
08/11 09:16, 32F
→
08/11 09:16, 2周前 , 33F
型，幹什麼都像玩手遊的，能用半天就偷笑了
08/11 09:16, 33F
→
08/11 09:18, 2周前 , 34F
只能說面向很多，需求也很多
08/11 09:18, 34F
→
08/11 09:18, 2周前 , 35F
而且你跑本地更吃更新跟廠商優化，以後小牌又要死一遍，大
08/11 09:18, 35F
→
08/11 09:18, 2周前 , 36F
牌搞不好都收訂閱費
08/11 09:18, 36F
→
08/11 09:19, 2周前 , 37F
攝影、拍照、翻譯這種早就有堪用的解方 發展本地AI模型完
08/11 09:19, 37F
→
08/11 09:19, 2周前 , 38F
全就是順便買噱頭而已
08/11 09:19, 38F
→
08/11 09:48, 2周前 , 39F
本地:可以色色 線上:不能色色
08/11 09:48, 39F
推
08/11 10:33, 2周前 , 40F
8F好天真，你覺得想畫什麼圖廠商的AI都會讓你畫？哪天說
08/11 10:33, 40F
→
08/11 10:33, 2周前 , 41F
禁止生成他認為的未滿18歲人物，你也拿他沒輒
08/11 10:33, 41F
→
08/11 11:16, 2周前 , 42F
本地Minimax真香
08/11 11:16, 42F
→
08/11 11:16, 2周前 , 43F
線上貴死擋東擋西
08/11 11:16, 43F
→
08/11 11:17, 2周前 , 44F
不過我不覺得手機跑的起來本地就是
08/11 11:17, 44F
→
08/11 11:28, 2周前 , 45F
首先手機跑模型不等於本地跑模型 二來架一個本地跑模型的電
08/11 11:28, 45F
→
08/11 11:28, 2周前 , 46F
腦要多少錢能跑的模型跟不跟的上技術迭代這些都是考量因素
08/11 11:28, 46F
→
08/11 11:31, 2周前 , 47F
當然如果你的口袋深到能隨時蓋一座數據中心自己養模型肯定
08/11 11:31, 47F
→
08/11 11:31, 2周前 , 48F
最自由 問題是一般人行嗎？
08/11 11:31, 48F
→
08/11 12:08, 2周前 , 49F
模型量化參數量不變 100B量化還是100B 量化的是每
08/11 12:08, 49F
→
08/11 12:08, 2周前 , 50F
個參數儲存的精度 粗略譬喻就是圓周率你可以存成小
08/11 12:08, 50F
→
08/11 12:08, 2周前 , 51F
數後32位或直接存成3.14 量化通常只會更快 除非你
08/11 12:08, 51F
→
08/11 12:08, 2周前 , 52F
硬體軟體不支援使用的量化方式 閉源模型也都在量化
08/11 12:08, 52F
→
08/11 12:08, 2周前 , 53F
一些新模型剛出很聰明後面變笨就是廠商換成高度量
08/11 12:08, 53F
→
08/11 12:08, 2周前 , 54F
化版本的來省運行成本/服務更多人
08/11 12:08, 54F
→
08/11 19:46, 2周前 , 55F
不是喔 模型大不代表慢 只是你的硬體跑不動
08/11 19:46, 55F
→
08/11 19:51, 2周前 , 56F
大模型訓練出來因為訓練的問題會出現一些不重要的東西
08/11 19:51, 56F
→
08/11 20:03, 2周前 , 57F
所以可以去找出哪些是可以精簡的
08/11 20:03, 57F
→
08/11 20:04, 2周前 , 58F
還有就是設計給多gpu跑的 個人電腦用不到
08/11 20:04, 58F
→
08/11 20:05, 2周前 , 59F
量化有幾個方法 通常會有所劣化 但到一般能接受就好程度
08/11 20:05, 59F
‣ 更多 attacksoil 的文章
文章代碼(AID): #1gUcckvl (C_Chat)
‣ 更多 attacksoil 的文章
文章代碼(AID): #1gUcckvl (C_Chat)