Muse Spark Is Now an Open-Weights Model
TL;DR · AI 摘要
Meta发布816B参数开源模型Muse Spark Open，支持多模态和代理任务，集成Helion内核提升性能。
核心要点
- Muse Spark Open拥有816B总参数和1M上下文窗口，专为代码生成优化。
- Helion内核使PyTorch在异构硬件上实现高性能计算。
- 模型通过安全训练后处理，降低独立使用时的滥用风险。
结构提纲
按章节快速跳转。
思维导图
用一张图看清主题之间的关系。
查看大纲文本（无障碍 / 无 JS 友好）
- Muse Spark Open
- 模型特性
- 816B参数/1M上下文窗口
- 多模态处理
- 技术集成
- Helion内核优化
- SGLang/vLLM推理引擎
- 应用场景
- 代码生成
- 代理任务
金句 / Highlights
值得收藏与分享的关键句。
Muse Spark Open是目前最强大的美国开源模型，参数量达816B。
Helion内核作为PyTorch原生DSL，可编写跨异构硬件的高性能计算内核。
1M上下文窗口可处理完整项目代码，包括复杂依赖和数千文件。
Muse Spark 现已开放权重 - PyTorch
亮点项目
今天，Meta 正式发布 Muse Spark Open 的权重，这是迄今为止最强大的美国开放权重模型。该模型今日已在 Hugging Face 上线，采用 Muse 模型许可证。Muse Spark Open 在 SGLang 和 vLLM 推理引擎上进行了优化，支持 NVIDIA、AMD 和 Intel 硬件。
在 8 月发布的 Muse Spark 基础上，这个开放权重版本增加了安全后训练机制，使其在没有系统防护措施的情况下作为独立模型时更具抗滥用能力。最终成果是一款安全领域顶尖的开源模型。Muse Spark Open 是总参数量 8160 亿/激活参数量 420 亿的模型，上下文窗口达到 100 万 token。专为编码和智能体工作流程设计，该模型原生支持多模态，并与 Muse Spark 1.3 共享相同的基础模型。
作为 PyTorch 的创造者，Meta 始终致力于开源生态。我们已将 Helion 集成到 PyTorch 中，这是我们的全新高级 DSL，可实现高性能且可移植的 ML 内核。此外，TorchTitan 已原生支持 Muse Spark 的监督微调和开放 RL 训练，我们期待看到 PyTorch 社区能将它推向多远！
Muse Spark Open
Muse Spark Open 是一款针对编码优化的开放权重模型。该模型专门训练用于智能体编码工作流，能实现更高的首次尝试准确率、可靠的工具调用能力，以及对开发者实际使用的代码库的深度理解。您可以在我们之前的模型发布博客中阅读更多内容。
增强的编码能力
擅长代码生成、调试和代码库理解。训练数据来自真实开发者工作流——多文件重构、调试会话和长期任务，使模型能与您的实际工作方式保持同步。100 万 token 上下文窗口意味着它可以处理整个项目，包括复杂依赖、遗留代码和数千个文件，无需将任务拆分为多个部分。
多模态理解
Muse Spark Open 具备音频和音视频感知能力，同时支持图像和文档理解。作为推理模型，它能原生可靠地处理图像、音频和文本输入。
智能体特性
Muse Spark Open 从底层架构就是智能体模型。它能规划步骤、执行操作、观察结果并进行长期自我修正——而不仅仅是单次工具调用。模型经过训练可浏览网页（包括多模态浏览），并使用智能体框架：生成并协调子智能体处理可分解任务；统一桌面、移动端和浏览器的计算机使用能力。模型在长期跨站点任务上进行训练，会生成独立的评论内容，让模型在行动前明确表达意图——您始终能清楚了解它的行为和原因。
为什么选择 Helion 内核？
Helion 是一种专为异构硬件平台编写高性能内核而设计的 PyTorch 原生内核开发语言。在开源社区早期采用后，Helion 于 2026 年 4 月成为 PyTorch 基金会的一部分。Muse Spark Open 集成了 Helion 实现的 RoPE、RMSNorm、量化等操作，相比使用硬件特定语言（如 NVIDIA CUDA 和 CuTe DSL）编写的自定义内核，在 NVIDIA GB300 上实现了 1.03 至 3.95 倍的加速。这些内核同样可直接用于 AMD 硬件，在 AMD Mi350 上实现了相似的性能提升，端到端吞吐量整体提高了 3%。
此外，我们还在 SGLang 中推出了 Helion 超级内核（megakernels）用于 Muse Spark Open。这些完全用 Helion 编写的内核通过融合多个操作为单一持久内核，显著降低了低延迟推理的延迟，同时也能针对不同形状和硬件进行自动调优。
用户可以进一步对 Helion 内核进行自动调优，以适配更广泛的硬件平台和工作负载，包括不同加速器架构（NVIDIA、AMD、Google TPU 等）、量化格式、张量形状和并行策略，而无需为每种配置维护单独的手动调优实现。这些能力共同使在实现可移植性能的同时，降低了开发和维护专用内核的成本。
训练后处理（Post-training）与 TorchTitan
TorchTitan 是一个专为生成式 AI 模型的快速实验和大规模训练而设计的 PyTorch 原生平台。从今天起，TorchTitan 增加了 Meta Muse Spark Open 的模型定义，开发者可以据此调整模型以满足自身需求。
TorchTitan 原生支持多轮 SFT 和 LoRA，开箱即用，同时具备强化学习能力（TitanRL），允许用户对 Muse Spark Open 进行微调。
入门指南
我们分享这项工作是因为我们希望所有人都能接触到最先进的 AI 模型。Muse Spark Open 在 SGLang 中集成了自定义且可自动调优的 Helion GPU 内核，在 NVIDIA 和 AMD GPU 上实现了 1.03–3.95 倍的内核级加速，并在 AMD MI350 上实现了 3% 的端到端加速提升。您还可以通过 PyTorch 的 TorchTitan 进一步调整模型，以满足特定使用场景的需求。
立即开始构建：https://huggingface.co/meta-models/Muse-Spark-open-816B-A42B
Muse Spark 是我们模型系列的完整规模模型。此前我们发布了小型密集模型 Muse Glimmer。现在即可使用它，通过 ExecuTorch 开始使用。