Thomas Wolf(@Thom_Wolf)
Kimi-K3.1-Pro by Moonshot AI: interesting facts It's huge, and sparse • It has 2.8T total parameter...
8.5内容质量

TL;DR · AI 摘要
Moonshot AI发布的Kimi-K3.1-Pro是目前参数量最大的开源模型之一,具有2.8T总参数和高效存储方案。
核心要点
- Kimi-K3.1-Pro总参数2.8T,但每个token仅激活104B参数
- 使用4-bit训练使模型存储体积仅1.56TB
- 在BrowseComp基准测试中达到92.1分,超越 Claude Opus 5.5
结构提纲
按章节快速跳转。
思维导图
用一张图看清主题之间的关系。
查看大纲文本(无障碍 / 无 JS 友好)
- Kimi-K3.1-Pro
- 模型参数
- 2.8T总参数
- 104B激活参数
- 技术特性
- 线性注意力(KDA)
- 稀疏注意力(2048 tokens)
- 存储优化
- 4-bit训练
- 1.56TB存储
金句 / Highlights
值得收藏与分享的关键句。
2.8T总参数模型仅使用104B激活参数,参数利用率不足4%
4-bit训练使存储体积比BF16格式缩小3.6倍
线性注意力机制(KDA)占比达93%层,显著提升长上下文处理能力
#大模型#AI模型#Moonshot AI#Hugging Face
打开原文Thomas Wolf 在 X 上的推文:"Moonshot AI 的 Kimi-K3.1-Pro:有趣事实"
Kimi-K3.1-Pro 是 Moonshot AI 推出的模型,具有以下特点:
- 参数规模巨大且采用稀疏设计:总参数量达到 2.8 万亿,但每个 token 仅激活 1040 亿参数。
- 模型规模突破性:与 Kimi-K3 一起成为 Hugging Face 模型库中发布的最大实际模型。其次是通义千问的 Qwen3.8-2.4T 和 DeepSeek-V4-Pro(1.6 万亿)。
- 专家网络设计:包含 896 个专家节点,每个 token 会发送给其中 16 个专家(DeepSeek-V4-Pro 仅为该数量的 1/2,Mistral-Large-4 为 1/7)。
长上下文处理能力:
- 93 层中大部分采用线性注意力(KDA)
- 每 4 层使用 DeepSeek 风格的稀疏注意力,仅关注前 2048 个 token
- 支持 100 万 token 上下文(与其它前沿开源模型相同)
多模态能力:
- 使用自定义激活函数 SiTU-GLU
- 集成 4.01 亿参数的视觉编码器 MoonViT-V2,支持图文输入
存储效率:
- 训练时采用 4-bit(MXFP4)精度,完整模型库仅约 1.56TB
- 若使用常规 BF16 存储则需要约 5.6TB(!)
基准测试表现:
- 与 Claude Opus 5.5 和 GPT-6 Astra 相当
- 在 BrowseComp(92.1)、HLE with tools(70.0)和 SWE Marathon(51.7)测试中位列榜首
- 纯推理和网络安全领域表现较弱
- 采用 Claude Code 测试套件进行编码评估
授权协议(修改版 MIT 协议):
- 允许免费使用、修改和再分发
- 年收入超 2000 万美元的 API 企业需与 Moonshot 达成协议
- 月活跃用户超 1 亿或月收入超 2000 万美元的产品需标注 "Kimi K3.1-Pro"
在 Hugging Face 模型库:
- 1.5 小时前公开发布,已获得 214 个赞(约为 Kimi-K3 首小时的 9 倍)
- 当前位列趋势榜第 19 名
- 无需权限,但使用 Transformers 加载需启用 "trust_remote_code"
Lisan al Gaib @scaling01 14小时前
Kimi-K3.1-Pro 现已开放权重 huggingface.co/moonshotai/Kim… 2026年11月4日 下午5:04 · 11K 次浏览 16 个赞 8 个转发 119 个评论 36 个引用