[新聞] Kimi K3開放日:模型權重、技術報告和關鍵Infra技術同步開放
原文標題: Kimi K3開放日:模型權重、技術報告和關鍵Infra技術同步開放
原文連結:https://news.futunn.com/hk/post/76650176/
發布時間: 2026/07/28
記者署名:stephen (文章來源為月之暗面)
原文內容:
今天是 Kimi K3 開放日,我們發佈 Kimi K3 的模型權重、技術報告,並開源支撐 Kimi K3
模型訓練的關鍵 Infra 技術:MoonEP、FlashKDA和AgentEnv。希望以此加速前沿智能的部
署與普及,促進 AGI 研究。
Kimi K3 是我們能力最強的模型:這是一個擁有 2.8 萬億參數的混合專家(MoE)模型,具
備原生視覺理解能力,並支持 100 萬 token 的上下文窗口。
Kimi K3 參數規模是 Kimi K2.5 的 3 倍左右,但是規模化並不僅僅是參數的堆疊,在並不
寬裕的算力條件下,我們憑藉 Kimi Delta Attention、Attention Residuals 以及 MoonEP
等一系列技術創新,規模化效率提升了 2.5 倍(即在算力最優意義下,單位算力產出智能
約等於原來 2.5 倍)。
現在,每個人都可以下載並部署 Kimi K3 模型——無論是用於內部研發,還是嵌入到面向
終端用戶的產品中,均可自由使用(其他使用情形,詳見Kimi K3 許可證)。
今天,與 Kimi K3 模型權重一起公開的,還有我們的模型訓練方法——Kimi K3 技術報告
已同步上線。
從技術報告中,你可以了解這些技術細節:
KDA + AttnRes:以 3:1 比例混合 KDA 與 Gated MLA,實現高效長上下文建模,並通過塊
級注意力殘差增強跨層信息流動。
Stable LatentMoE:每個 token 從 896 個路由專家中激活 16 個,並通過 SiTU-GLU 與 Q
uantile Balancing 保持極高稀疏度下的訓練穩定。
MoonViT-V2:視覺編碼器從零開始使用 next-token prediction 訓練,無需對比預訓練,
在達到 SigLIP 初始化基線效果的同時獲得更穩定的優化過程。
後訓練與評估:在通用推理、通用 Agent 和編程 Agent 三大領域進行大規模任務合成,百
萬 token 上下文的強化學習基建,近 20 個內部評測集的完整評估結果。
以上幾點只是概覽,詳細論述與消融實驗,都已在技術報告中展開。
模型能力背後,離不開訓練系統,即 Infra 基礎設施層的穩定支撐。今天,我們向大家介
紹支撐 Kimi K3 訓練的三項 Infra 技術:MoonEP、FlashKDA 和 AgentEnv,覆蓋從高性能
通信、高性能算子到分佈式 RL 環境的關鍵鏈路。其中 FlashKDA 此前已開源,MoonEP 和
AgentEnv 則隨本次發佈正式開源。
MoonEP:MoonEP 是我們爲超大的細粒度 MoE 打造的高性能通信庫,讓專家並行(expert-p
arallel)的通信在不均衡的情況下仍然實現極致效率。
FlashKDA:FlashKDA 是我們實現的 Kimi Delta Attention 高性能算子(kernel)。在英
偉達 H20 上,相比 flash-linear-attention 基線,它的 prefill 速度提升 1.72-2.22
倍,可以直接作爲 flash-linear-attention 的替換後端。
AgentEnv:AgentENV 是我們與 KVCache.ai 合作開發的沙箱系統,用於大規模運行 Agent
環境。它爲 Kimi K3 的後訓練提供高保真、強隔離沙箱,靈活支持快速快照、恢復和分叉
(fork)等,可以應對大規模並行的 Agent 工作流與訓練任務。
這三項技術是支撐 Kimi K3 訓練效率與穩定性的關鍵。現在將它們開放出來,希望也能爲
你訓練下一代模型提供幫助。
我們堅信開放權重模型的價值。它們能降低獲取智能的門檻,推動創新,並賦予用戶對數據
更大的控制權、隱私保護和所有權。在過去幾周裏,我們很高興聽到了許多來自 AI 社區,
以及與我們有着共同願景的技術領袖的支持聲音。
我們相信,對於 AGI 這樣具有深遠影響的技術,一個廣泛、開放的生態系統是最適合承載
它的土壤。爲此,我們將繼續貢獻自己的力量。
心得/評論:
Kimi K3今天正式開源,已經有多家服務商上線了
只要近乎Sonnet的價格就能享受部分跑分超越Fable的模型
不想花錢的也沒關係,只要有6TB記憶體你也能在家跑
記憶體又要不夠了...
--
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 42.79.17.89 (臺灣)
※ 文章網址: https://www.ptt.cc/bbs/Stock/M.1785201800.A.D96.html
推
07/28 09:24,
2天前
, 1F
07/28 09:24, 1F
→
07/28 09:24,
2天前
, 2F
07/28 09:24, 2F
→
07/28 09:26,
2天前
, 3F
07/28 09:26, 3F
推
07/28 09:28,
2天前
, 4F
07/28 09:28, 4F
→
07/28 09:29,
2天前
, 5F
07/28 09:29, 5F
推
07/28 09:30,
2天前
, 6F
07/28 09:30, 6F
推
07/28 09:30,
2天前
, 7F
07/28 09:30, 7F
推
07/28 09:30,
2天前
, 8F
07/28 09:30, 8F
噓
07/28 09:31,
2天前
, 9F
07/28 09:31, 9F
推
07/28 09:31,
2天前
, 10F
07/28 09:31, 10F
噓
07/28 09:31,
2天前
, 11F
07/28 09:31, 11F
→
07/28 09:33,
2天前
, 12F
07/28 09:33, 12F
推
07/28 09:33,
2天前
, 13F
07/28 09:33, 13F
推
07/28 09:34,
2天前
, 14F
07/28 09:34, 14F
→
07/28 09:34,
2天前
, 15F
07/28 09:34, 15F
推
07/28 09:34,
2天前
, 16F
07/28 09:34, 16F
→
07/28 09:34,
2天前
, 17F
07/28 09:34, 17F
→
07/28 09:34,
2天前
, 18F
07/28 09:34, 18F
→
07/28 09:34,
2天前
, 19F
07/28 09:34, 19F
→
07/28 09:35,
2天前
, 20F
07/28 09:35, 20F
推
07/28 09:35,
2天前
, 21F
07/28 09:35, 21F
推
07/28 09:35,
2天前
, 22F
07/28 09:35, 22F
推
07/28 09:35,
2天前
, 23F
07/28 09:35, 23F
推
07/28 09:35,
2天前
, 24F
07/28 09:35, 24F
→
07/28 09:36,
2天前
, 25F
07/28 09:36, 25F
→
07/28 09:36,
2天前
, 26F
07/28 09:36, 26F
噓
07/28 09:37,
2天前
, 27F
07/28 09:37, 27F
→
07/28 09:37,
2天前
, 28F
07/28 09:37, 28F
推
07/28 09:37,
2天前
, 29F
07/28 09:37, 29F
推
07/28 09:37,
2天前
, 30F
07/28 09:37, 30F
→
07/28 09:38,
2天前
, 31F
07/28 09:38, 31F
推
07/28 09:39,
2天前
, 32F
07/28 09:39, 32F
→
07/28 09:39,
2天前
, 33F
07/28 09:39, 33F
→
07/28 09:40,
2天前
, 34F
07/28 09:40, 34F
推
07/28 09:40,
2天前
, 35F
07/28 09:40, 35F
噓
07/28 09:42,
2天前
, 36F
07/28 09:42, 36F
推
07/28 09:43,
2天前
, 37F
07/28 09:43, 37F
推
07/28 09:45,
2天前
, 38F
07/28 09:45, 38F
→
07/28 09:45,
2天前
, 39F
07/28 09:45, 39F
還有 55 則推文
噓
07/28 10:30,
2天前
, 95F
07/28 10:30, 95F
噓
07/28 10:30,
2天前
, 96F
07/28 10:30, 96F
→
07/28 10:30,
2天前
, 97F
07/28 10:30, 97F
→
07/28 10:31,
2天前
, 98F
07/28 10:31, 98F
噓
07/28 10:31,
2天前
, 99F
07/28 10:31, 99F
→
07/28 10:31,
2天前
, 100F
07/28 10:31, 100F
推
07/28 10:32,
2天前
, 101F
07/28 10:32, 101F
→
07/28 10:32,
2天前
, 102F
07/28 10:32, 102F
推
07/28 10:37,
2天前
, 103F
07/28 10:37, 103F
推
07/28 10:37,
2天前
, 104F
07/28 10:37, 104F
→
07/28 10:37,
2天前
, 105F
07/28 10:37, 105F
→
07/28 10:37,
2天前
, 106F
07/28 10:37, 106F
推
07/28 10:38,
2天前
, 107F
07/28 10:38, 107F
→
07/28 10:38,
2天前
, 108F
07/28 10:38, 108F
推
07/28 10:42,
2天前
, 109F
07/28 10:42, 109F
→
07/28 10:42,
2天前
, 110F
07/28 10:42, 110F
→
07/28 10:43,
2天前
, 111F
07/28 10:43, 111F
→
07/28 10:43,
2天前
, 112F
07/28 10:43, 112F
→
07/28 10:43,
2天前
, 113F
07/28 10:43, 113F
→
07/28 10:44,
2天前
, 114F
07/28 10:44, 114F
推
07/28 10:44,
2天前
, 115F
07/28 10:44, 115F
→
07/28 10:44,
2天前
, 116F
07/28 10:44, 116F
推
07/28 10:51,
2天前
, 117F
07/28 10:51, 117F
→
07/28 10:51,
2天前
, 118F
07/28 10:51, 118F
→
07/28 10:52,
2天前
, 119F
07/28 10:52, 119F
推
07/28 10:53,
2天前
, 120F
07/28 10:53, 120F
→
07/28 10:54,
2天前
, 121F
07/28 10:54, 121F
推
07/28 10:56,
2天前
, 122F
07/28 10:56, 122F
推
07/28 11:08,
2天前
, 123F
07/28 11:08, 123F
推
07/28 11:09,
2天前
, 124F
07/28 11:09, 124F
推
07/28 11:25,
2天前
, 125F
07/28 11:25, 125F
→
07/28 11:26,
2天前
, 126F
07/28 11:26, 126F
→
07/28 11:39,
2天前
, 127F
07/28 11:39, 127F
→
07/28 11:40,
2天前
, 128F
07/28 11:40, 128F
推
07/28 12:28,
2天前
, 129F
07/28 12:28, 129F
→
07/28 12:38,
2天前
, 130F
07/28 12:38, 130F
→
07/28 12:38,
2天前
, 131F
07/28 12:38, 131F
推
07/28 12:50,
2天前
, 132F
07/28 12:50, 132F
→
07/28 12:52,
2天前
, 133F
07/28 12:52, 133F
推
07/28 20:08,
2天前
, 134F
07/28 20:08, 134F