Meta 发布开放权重模型 Muse Spark Open，上线 Baseten 支持 coding agent

Meta 发布开放权重模型 Muse Spark Open，上线 Baseten 支持 coding agent · AIHOT

Baseten 工程博客

·

2026-10-16 01:27

44 分钟前

精选

AI 评分

80

Meta 发布开放权重模型 Muse Spark Open，上线 Baseten 支持 coding agent

Muse Spark Open, an open-weight model for coding agents

AI 导读

Meta 开放 Muse Spark Open 权重，模型上线 Baseten Model APIs 和 Dedicated Inference。

推荐理由

åŽŸæ–‡ç»™å‡ºæ¨¡åž‹è§„æ ¼ã€ä¸º coding agent 设计的 MoE 与混合注意力架构细节，以及在 Baseten çš„éƒ¨ç½²æ–¹å¼ï¼Œä¾¿äºŽè¯„ä¼°å®žé™ æŽ¥å ¥æˆæœ¬ã€‚

另外 9 家也报道了

正文 · AI 翻译

Meta 发布了 Muse Spark Open 的权重，该开放权重版本在发布首日即可在 Baseten Model APIs 和 Dedicated Inference 上使用。它是迄今为止能力最强的美国开放权重模型。

Muse Spark Open å ·å¤‡ï¼š

• 总参数 816B，推理时激活 42.7B，

• 1M token 上下文窗口，以及

• å ¨æ¨¡æ€è¾“å ¥ï¼ˆæ–‡æœ¬ã€å›¾åƒã€è§†é¢‘ã€éŸ³é¢‘ï¼‰ï¼Œè¾“å‡ºä¸ºæ–‡æœ¬ã€‚

Muse Spark Open 与 Muse Code è”åˆè®­ç»ƒï¼Œä¸“ä¸ºç¼–ç æ™ºèƒ½ä½“å·¥ä½œæµè®¾è®¡ã€‚å ¶å ¨æ¨¡æ€è¾“å ¥è¿˜æ”¯æŒçº¯æ–‡æœ¬æ¨¡åž‹æ— æ³•å®žçŽ°çš„å¼€å‘è€ å·¥ä½œæµã€‚å¯¹äºŽæ”¯æŒå›¾åƒã€è§†é¢‘æˆ–éŸ³é¢‘è¾“å ¥çš„æ™ºèƒ½ä½“ï¼Œä½ å¯ä»¥åˆ©ç”¨ï¼š

• 截图驱动的 UI 调试： æ™ºèƒ½ä½“å°†æ¸²æŸ“é¡µé¢çš„æˆªå›¾ä¸Žè®¾è®¡ç¨¿æˆ–ç¼ºé™·æŠ¥å‘Šå›¾ç‰‡è¿›è¡Œå¯¹æ¯”ï¼Œå¹¶ç›´æŽ¥ä¿®å¤å¸ƒå±€ä»£ç ã€‚

• 视频复现为测试用例： ä½ å½•åˆ¶ä¸€æ®µç¼ºé™·çš„å±å¹•å½•åƒã€‚æ™ºèƒ½ä½“è§‚çœ‹åŽæå–æ­¥éª¤ï¼Œå¹¶ç¼–å†™å¤çŽ°è„šæœ¬æˆ–ç«¯åˆ°ç«¯æµ‹è¯•ã€‚

• 语音驱动的结对编程： ä½ ä¸€è¾¹è¯´è¯ä¸€è¾¹æ‰“å­—æ¥å¼•å¯¼æ™ºèƒ½ä½“ï¼ŒéŸ³é¢‘ä½œä¸ºç›´æŽ¥è¾“å ¥ï¼Œè€Œéžå ˆè½¬å†™ä¸ºæ–‡æœ¬ã€‚

ç¼–ç æ™ºèƒ½ä½“çš„ç«žäº‰åŠ›è¡¨çŽ°

除 Muse Code 外，Muse Spark Open è¿˜å¯é›†æˆç¬¬ä¸‰æ–¹ç¼–ç æ™ºèƒ½ä½“ï¼Œå¦‚ OpenCode 、 Pi 和 Deep Agents Code ã€‚æ ¹æ® Meta å ¬å¸ƒçš„åŸºå‡†æµ‹è¯•åˆ†æ•° ，Muse Spark Open åœ¨æ™ºèƒ½ä½“ç¼–ç å’ŒçŸ¥è¯†å·¥ä½œæ–¹é¢ä¸Žå ¶ä»–å‰æ²¿å®žéªŒå®¤çš„æ¨¡åž‹å ·æœ‰ç«žäº‰åŠ›ã€‚

åœ¨æ™ºèƒ½ä½“ç¼–ç åŸºå‡†æµ‹è¯•ä¸­ï¼Œæ¯ä¸ªå½“å‰æ¨¡åž‹éƒ½ä½¿ç”¨å ¶æ‰€å±žå®žéªŒå®¤è‡ªå·±çš„ç¼–ç æ™ºèƒ½ä½“è¿›è¡Œæµ‹è¯•ï¼ˆMuse Spark æ­é  Muse Code，Claude Opus 5 æ­é  Claude Code，GPT-5.6 Terra æ­é  Codexï¼‰ï¼Œè€Œéžä½¿ç”¨ç»Ÿä¸€çš„æµ‹è¯•æ¡†æž¶ï¼Œå› æ­¤åˆ†æ•°åæ˜ çš„æ˜¯æ¯ä¸ªæ¨¡åž‹åœ¨å ¶åŽŸç”Ÿå·¥å ·ä¸­çš„è¡¨çŽ°ã€‚

✕

Meta 将 Muse Spark Open ä¸Žå‰æ²¿å®žéªŒå®¤çš„æ¨¡åž‹è¿›è¡Œäº†åŸºå‡†å¯¹æ¯”ã€‚å¯¹æ¯”é›†åŒ å«å„å®žéªŒå®¤çš„æ——èˆ°æ¨¡åž‹ï¼Œä½†ä¸åŒ æ‹¬å ¶ä¹‹ä¸Šçš„é¡¶çº§æ¨¡åž‹ï¼ˆClaude Fable 5.1、GPT-6 Astra）。

来源： https://developer.meta.com/ai/models/muse-spark-1-2/

在常规智能体循环中（运行命令、读取输出、修复出错之处），Muse Spark Open 的表现应接近旗舰闭源模型。在跨多个步骤的大型多文件修改中，预计它比 Claude Opus 5 或 GPT-5.6 Terra 需要更多引导或重试，但面对 Grok 4.5 和 Gemini 3.6 Flash æ—¶è¡¨çŽ°ç¨³å¥ã€‚å½“æ™ºèƒ½ä½“éœ€è¦æ’°å†™å ¶å·¥ä½œæˆæžœæ—¶ï¼Œå®ƒå‡»è´¥äº†å›¾è¡¨ä¸­é™¤ Opus 5 之外的所有模型。

为智能体设计的模型架构

ç¼–ç æ™ºèƒ½ä½“å·¥ä½œæµæ—¢éœ€è¦é«˜åžåé‡ä»¥æ”¯æŒè¿­ä»£æŽ¨ç†å¾ªçŽ¯ï¼Œä¹Ÿéœ€è¦å† å­˜æ•ˆçŽ‡ä»¥è·Ÿè¸ªé•¿ä¸Šä¸‹æ–‡ã€‚ä¸ºæ»¡è¶³è¿™äº›éœ€æ±‚ï¼ŒMuse Spark Open 采用了特定的模型架构设计：

• 压缩的混合专家（MoEï¼‰æ¨¡å—ï¼Œé€šè¿‡å‡å°‘å‚æ•°å ç”¨å’Œ GPU 间通信来提升吞吐量。

• æ··åˆå ¨å±€/局部注意力调度，在长上下文下将 KV ç¼“å­˜å† å­˜å¼€é”€ç¼©å‡ 3.7 倍。

借助压缩 MoE 模块提升吞吐性能

ç¼–ç æ™ºèƒ½ä½“åœ¨ç´§å¯†å¾ªçŽ¯ä¸­è¯»å–ä¸Šä¸‹æ–‡ã€æŽ¨ç†ã€ç”Ÿæˆå¹¶é‡æ–°è¯»å–ç»“æžœï¼Œè¦æ±‚æ¨¡åž‹å ·å¤‡é«˜åžåé‡ã€‚å¹¶è¡Œè¿è¡ŒåŽå°å­æ™ºèƒ½ä½“ä¼šè¿›ä¸€æ­¥æŽ¨é«˜è¿™ä¸€åžåé‡éœ€æ±‚ã€‚

为了提升吞吐能力，Muse Spark Open 使用了压缩的混合专家（MoEï¼‰æ¨¡å—ã€‚ä¸€ä¸ªå ±äº«æ± åŒ–å™¨åœ¨å°†è¾“å ¥å‘é‡ä¼ é€’ç»™ä¸“å®¶ä¹‹å‰å¯¹å ¶è¿›è¡ŒåŽ‹ç¼©ï¼Œä¸“å®¶çš„ç»„åˆè¾“å‡ºé€šè¿‡ä¸€ä¸ªå ±äº«åæ± åŒ–å™¨æŠ•å½±å›žåŽŸå§‹ç»´åº¦ã€‚ä¸ºæ¯ä¸ª token é€‰æ‹©ä¸“å®¶çš„è·¯ç”±å™¨ä»ç„¶è¯»å–å ¨å®½å‘é‡ã€‚

压缩 MoE åœ¨ä¸“å®¶ä¹‹å‰æ·»åŠ äº†ä¸€ä¸ªå ±äº«æ± åŒ–å™¨ï¼Œå¹¶åœ¨ä¸“å®¶è¾“å‡ºç»„åˆä¹‹åŽæ·»åŠ äº†ä¸€ä¸ªå ±äº«åæ± åŒ–å™¨ã€‚

在这个压缩向量上进行操作：

• 将每个专家的参数量减半，与未压缩设计相比，模型总规模缩小约 800B 参数。

• 释放 GPU å† å­˜ï¼Œç”¨äºŽæ›´å¤§çš„ KV 缓存和并发序列。

• 将 MoE 层中的 GPU 间通信量降至最低，从而直接提升吞吐量。

é€šè¿‡å ¨å±€/局部注意力高效服务长上下文

ç¼–ç æ™ºèƒ½ä½“åœ¨æ¯ä¸€æ­¥éƒ½ä¼šç´¯ç§¯ä¸Šä¸‹æ–‡ï¼Œå› ä¸ºå®ƒä»¬ä¼šæž„å»ºä»»åŠ¡è½¨è¿¹ã€æŽ¨ç†è¿‡ç¨‹ä»¥åŠä»£ç åº“çš„å¤§éƒ¨åˆ†å† å®¹ã€‚è¯¥ä¸Šä¸‹æ–‡ä¸­çš„æ¯ä¸ª token 都会作为 KV ç¼“å­˜å ç”¨ GPU å† å­˜ï¼Œè€Œåœ¨ä¼ ç»Ÿæ¨¡åž‹ä¸­ï¼Œæ¯ä¸€å±‚éƒ½ä¿ç•™è‡ªå·±çš„ KV 缓存。

为了管理 GPU å† å­˜ä½¿ç”¨ï¼ŒMuse Spark Open ä½¿ç”¨äº†æ··åˆæ³¨æ„åŠ›è°ƒåº¦ã€‚åœ¨å ¶ 62 层中，有 46 个局部注意力层，使用 2048 token çš„æ»‘åŠ¨çª—å£å’Œæ—‹è½¬ä½ç½®åµŒå ¥ï¼ˆRoPE）来跟踪词序。此外，还有 16 ä¸ªå ¨å±€æ³¨æ„åŠ›å±‚ï¼Œå®ƒä»¬ä»¥æ— ä½ç½®ç¼–ç ï¼ˆNoPE）方式查看完整序列，依赖早期层已经捕获的词序信息。

ä¼ ç»Ÿæž¶æž„ä¸Žæ··åˆæ³¨æ„åŠ›è°ƒåº¦å¯¹æ¯”

Muse Spark Open 将 46 个局部注意力层与 16 ä¸ªå ¨å±€æ³¨æ„åŠ›å±‚äº¤é”™æŽ’åˆ—ï¼Œåœ¨ 128K ä¸Šä¸‹æ–‡ï¼ˆå ¸åž‹çš„æ™ºèƒ½ä½“å·¥ä½œé›†ï¼‰ä¸‹ï¼Œå°†æ¯ä¸ªåºåˆ—çš„ KV ç¼“å­˜å† å­˜ä»Ž 31 GiB 降至 8.4 GiBã€‚èŠ‚çœé‡éšä¸Šä¸‹æ–‡é•¿åº¦å¢žé•¿è€Œå¢žåŠ ã€‚

每个局部注意力层只跟踪最近的 2048 个 tokenï¼Œå ¶å­˜å‚¨çš„æ—©æœŸ token 的 KV 缓存数据可以被覆盖。旧 token çš„å®Œæ•´ä¸Šä¸‹æ–‡ä¸ä¼šè¢«æ¨¡åž‹é—å¿˜ï¼Œè€Œæ˜¯ä¿ç•™åœ¨å ¨å±€æ³¨æ„åŠ›å±‚çš„ KV 缓存中。这种设计限制了局部注意力层的 KV ç¼“å­˜ï¼Œä¸Žä» æœ‰å ¨å±€æ³¨æ„åŠ›å±‚çš„æ¨¡åž‹ç›¸æ¯”ï¼Œåœ¨ 128K token 上下文下将 KV ç¼“å­˜å† å­˜ä½¿ç”¨é‡å‡å°‘äº†çº¦ 3.7 倍。

从架构到推理优化

æ™ºèƒ½ä½“å·¥ä½œè´Ÿè½½åœ¨æœåŠ¡æ—¶çš„ä¸€é¡¹å ³é”®æˆæœ¬æ˜¯æ¨¡åž‹æƒé‡çš„å† å­˜å ç”¨ï¼Œè¿™é™åˆ¶äº†å•ä¸ªèŠ‚ç‚¹ä¸Šèƒ½å®¹çº³å¤šå°‘æ™ºèƒ½ä½“ä¼šè¯ã€‚Baseten 的 Muse Spark Open Model API 通过服务 NVFP4 æ£€æŸ¥ç‚¹æ¥è§£å†³è¿™ä¸ªé—®é¢˜ï¼Œè¿™å°†æƒé‡å ç”¨å‡å°‘çº¦ä¸‰åˆ†ä¹‹äºŒï¼Œå¹¶é‡Šæ”¾å† å­˜ç”¨äºŽ KV 缓存。

在 NVFP4 检查点中，专家权重以 4 ä½å­˜å‚¨ï¼Œä» åœ¨ç²¾åº¦æœ€é‡è¦çš„åœ°æ–¹ä½¿ç”¨å®Œæ•´ bf16：注意力权重以及第一层和最后一层的专家。这将模型权重规模从约 1.6 TB 降至 540 GB。完整模型可放在单个 4×GB300 èŠ‚ç‚¹ä¸Šï¼Œé¿å äº†æƒé‡å’Œ KV ç¼“å­˜çš„å¤šèŠ‚ç‚¹äº’è¿žã€‚é‡Šæ”¾å‡ºçš„å† å­˜ç”¨äºŽ KV 缓存，使每个节点上可以运行更多并发智能体会话并提高吞吐量。

开始使用 Muse Spark Open

Muse Spark Open 现已在 Baseten Model APIs 上提供。该端点与 OpenAI å ¼å®¹ï¼Œå› æ­¤ä½ å¯ä»¥ è¿žæŽ¥ä½ çš„ç¼–ç æ™ºèƒ½ä½“ å¹¶å°†å ¶æŒ‡å‘ Muse Spark Openï¼Œè€Œæ— éœ€æ›´æ”¹ä½ çš„æ¡†æž¶ã€‚æˆ‘ä»¬æä¾›é’ˆå¯¹ Blackwell 优化的 NVFP4 æƒé‡ï¼Œå¹¶æ”¯æŒå·¥å ·è°ƒç”¨ã€æŽ¨ç†è¾“å‡ºä»¥åŠå®Œæ•´çš„ 1M 上下文窗口。

å¯¹äºŽå¤§è§„æ¨¡è¿è¡Œæ™ºèƒ½ä½“çš„å›¢é˜Ÿï¼Œæˆ‘ä»¬è¿˜æä¾›å ·æœ‰é¢„ç•™å®¹é‡çš„ Dedicated Inference 部署。 联系我们 ï¼Œä¸Žæˆ‘ä»¬çš„å·¥ç¨‹å¸ˆè®¨è®ºæ‚¨å·¥ä½œè´Ÿè½½çš„å ·ä½“éœ€æ±‚ã€‚

来源： Baseten 工程博客 · baseten.co

Meta / Llama

Agent 智能体

AI ç¼–ç 

开源生态

模型发布

#

开源/仓库

ç¼–ç 

Agent

Meta