Thomas Wolf(@Thom_Wolf)

Kimi-K3.1-Pro by Moonshot AI: interesting facts It's huge, and sparse • It has 2.8T total parameter...

8.5内容质量
Kimi-K3.1-Pro by Moonshot AI: interesting facts

It's huge, and sparse
• It has 2.8T total parameter...

TL;DR · AI 摘要

Moonshot AI发布的Kimi-K3.1-Pro是目前参数量最大的开源模型之一,具有2.8T总参数和高效存储方案。

核心要点

  • Kimi-K3.1-Pro总参数2.8T,但每个token仅激活104B参数
  • 使用4-bit训练使模型存储体积仅1.56TB
  • 在BrowseComp基准测试中达到92.1分,超越 Claude Opus 5.5

结构提纲

按章节快速跳转。

  1. 揭示Kimi-K3.1-Pro拥有2.8T总参数,但实际激活参数仅104B

  2. 采用线性注意力机制与稀疏注意力结合处理1M-token上下文

  3. 通过4-bit训练将模型体积压缩至1.56TB

  4. 在多个基准测试中表现优异,但代码推理能力较弱

  5. 免费使用但商业应用需与Moonshot达成协议

思维导图

用一张图看清主题之间的关系。

查看大纲文本(无障碍 / 无 JS 友好)
  • Kimi-K3.1-Pro
    • 模型参数
      • 2.8T总参数
      • 104B激活参数
    • 技术特性
      • 线性注意力(KDA)
      • 稀疏注意力(2048 tokens)
    • 存储优化
      • 4-bit训练
      • 1.56TB存储

金句 / Highlights

值得收藏与分享的关键句。

#大模型#AI模型#Moonshot AI#Hugging Face
打开原文

Thomas Wolf 在 X 上的推文:"Moonshot AI 的 Kimi-K3.1-Pro:有趣事实"

Kimi-K3.1-Pro 是 Moonshot AI 推出的模型,具有以下特点:

  • 参数规模巨大且采用稀疏设计:总参数量达到 2.8 万亿,但每个 token 仅激活 1040 亿参数。
  • 模型规模突破性:与 Kimi-K3 一起成为 Hugging Face 模型库中发布的最大实际模型。其次是通义千问的 Qwen3.8-2.4T 和 DeepSeek-V4-Pro(1.6 万亿)。
  • 专家网络设计:包含 896 个专家节点,每个 token 会发送给其中 16 个专家(DeepSeek-V4-Pro 仅为该数量的 1/2,Mistral-Large-4 为 1/7)。

长上下文处理能力:

  • 93 层中大部分采用线性注意力(KDA)
  • 每 4 层使用 DeepSeek 风格的稀疏注意力,仅关注前 2048 个 token
  • 支持 100 万 token 上下文(与其它前沿开源模型相同)

多模态能力:

  • 使用自定义激活函数 SiTU-GLU
  • 集成 4.01 亿参数的视觉编码器 MoonViT-V2,支持图文输入

存储效率:

  • 训练时采用 4-bit(MXFP4)精度,完整模型库仅约 1.56TB
  • 若使用常规 BF16 存储则需要约 5.6TB(!)

基准测试表现:

  • 与 Claude Opus 5.5 和 GPT-6 Astra 相当
  • 在 BrowseComp(92.1)、HLE with tools(70.0)和 SWE Marathon(51.7)测试中位列榜首
  • 纯推理和网络安全领域表现较弱
  • 采用 Claude Code 测试套件进行编码评估

授权协议(修改版 MIT 协议):

  • 允许免费使用、修改和再分发
  • 年收入超 2000 万美元的 API 企业需与 Moonshot 达成协议
  • 月活跃用户超 1 亿或月收入超 2000 万美元的产品需标注 "Kimi K3.1-Pro"

在 Hugging Face 模型库:

  • 1.5 小时前公开发布,已获得 214 个赞(约为 Kimi-K3 首小时的 9 倍)
  • 当前位列趋势榜第 19 名
  • 无需权限,但使用 Transformers 加载需启用 "trust_remote_code"

Lisan al Gaib @scaling01 14小时前

Kimi-K3.1-Pro 现已开放权重 huggingface.co/moonshotai/Kim… 2026年11月4日 下午5:04 · 11K 次浏览 16 个赞 8 个转发 119 个评论 36 个引用