▎月之暗面正式开放 Kimi K3,模型总参数达 2.8 万亿
月之暗面已正式发布并开放 Kimi K3 模型权重。Kimi K3 采用 MoE 架构,总参数量达到 2.8 万亿,每次推理激活约 1040 亿参数,支持原生视觉理解和 100 万 Token 上下文窗口。模型基于 Kimi Delta Attention(KDA)与 Attention Residuals 架构构建,官方将其定位为首个达到 3T 级规模的开放权重模型。
Kimi K3 共包含 896 个专家,每个 Token 选择其中 16 个专家参与计算,重点面向长时间 Agent 编程、复杂知识工作、深度研究和多模态任务。与模型权重一同公开的还有技术报告,以及 MoonEP、FlashKDA、AgentEnv 等训练和推理基础设施。
Hugging Face:https://huggingface.co/moonshotai/Kimi-K3
GitHub:https://github.com/MoonshotAI/Kimi-K3
频道 @AppDoDo 官推 APPDOTG