Beam: Reflection's 501B open-weight model

介绍 Beam：Reflection 的 501B 开源权重模型 —— Reflection

新闻

介绍 Beam：Reflection 的 501B 开源权重模型

2026 年 10 月 5 日 | 8 分钟阅读

我们推出了 Beam，这是 Reflection 的首个开源权重模型。Beam 是一个稀疏专家混合模型，总参数量达 5010 亿，其中 230 亿参数处于激活状态，专为编码、推理和智能体工作负载设计。

Beam 的能力源于在预训练和强化学习（RL）方面的重大投入。我们使用来自网络和专有授权数据集的 23.8 万亿个多样化、精选、高质量的 token 对模型进行了预训练，表现与同类开源基础模型相当或更优。同时，我们开发了支持大规模高效计算 RL 的算法、训练环境和基础设施。我们的高效计算 RL 训练在 4 周内使用 10.5K 台 NVIDIA GB300 GPU 生成了超过 1 亿次交互。

这些努力共同实现了具有前沿推理计算效率的竞争力开源权重性能。

Beam 目前正在进行最终的红队测试和评估。您可以在此处注册以提前访问该模型。我们将在本月晚些时候发布模型权重、技术报告、模型卡片和开发者工具包。

模型能力

我们特别关注编码和智能体性能对 Beam 进行了训练。Beam 推进了西方开源权重前沿，并在编码和智能体任务上与 GLM 5.2 等更大开源模型具有竞争力，接近 Qwen 3.8-Max 的表现。尽管 Kimi K3 等前沿开源模型在原始能力上仍保持领先，但 Beam 的优势在于推理时的效率。

下图展示了 Beam 在一系列编码、智能体、推理和 STEM 基准测试中的表现。NR 表示未报告的分数。

智能体编码/终端

推理

工具调用/搜索

通用能力

行标签

Beam

Inkling

Nemotron 3 Ultra

GLM 5.2

GLM 5.3

Kimi K3

Qwen 3.8 Max

DeepSeek V4.1 Flash

DeepSWE v1.1

44.4

NR

44.0

61.0

68.0

51.0

74.2

SWE Bench Pro v2-Hard

77.2

56.9

84.3

88.2

SWE Bench Pro v1

65.5

54.3

46.4

62.1

67.7

Terminal Bench v2.1

80.1

63.8

56.4

81.0

88.3

86.6

90.6

SWE Atlas Codebase QnA

34.6

SWEBench Multilingual

78.0

SWEBench Verified

80.9

77.6

70.7

AIME 2026

97.8

97.1

99.2

HLE no tools

36.2

29.7

26.7

40.5

42.3

46.9

43.6

39.1

SciCode

49.7

46.1

44.6

59.0

58.7

52.1

52.0

CriPT AA

16.3

5.4

3.1

20.9

19.1

23.4

20.0

14.3

GPQA Diamond

90.5

87.2

87

91.2

91.7

93.5

92.6

90.9

AutomationBench public

37.0

26.2

48.2

46.7

39.8

54.8

MCP Atlas

78.7

76.0

63.1

77.8

84.2

82.3

84.5

tau3 banking

38.0

25.0

22.6

37.1

55.2

BrowseComp w/ context management

77.4

77.1

DeepSearchQA w/context management

95.0

AA-LCR

79.3

77.3

78.3

79.7

88.7

80.3

84.0

LongBench v2

61.9

64.0

66.3

IFBench

79.8

81.7

73.3

82.8

AA Omniscience (index) - public split only (our results)

13.0

14.2

8.6

6.6

Beam 将编码和智能体能力与高效的推理能力相结合。在高级推理基准测试中，其表现可与 GLM-5.2 相媲美，但使用的推理计算量减少了 3-4 倍。与 Qwen 3.8-Max 等 2T+ 参数量级的模型相比，效率提升更加显著，这些模型每 token 需要显著更多的推理计算量。

这些成果意味着每个token都能带来更强的智能，以更低的成本实现强大的模型能力，使Beam成为企业级编程和智能代理工作负载的高效模型。

图2：在DeepSWE、Humanity’s Last Exam (HLE)和Terminal Bench 2.1基准测试中，Beam展示了前沿级别的推理效率，无论是按FLOPS计算还是按token数量衡量。我们使用了Artificial Analysis和DataCurve的数据，将生成过程的前向计算估计为FLOPs ≈ 2 × 激活参数数量 × 每次尝试生成的平均token数，将每个乘加运算计为两个操作。生成的token包含推理过程和最终答案。对于专家混合模型，我们使用每个token激活的参数数量而非总模型规模。这些估算排除了提示预填充、上下文相关注意力操作和服务开销，因此仅代表近似的计算对比而非实际推理成本。我们使用Artificial Analysis和DataCurve作为其他模型评估的数据来源。

高计算量强化学习

我们将高计算量强化学习作为Beam扩展的核心维度，投入强化学习科学、数据和基础设施研究，将更多计算资源转化为更强的能力。扩展强化学习使问题解决策略的探索更加全面，而更长的回合支持多步骤推理、工具使用和对环境反馈的适应。

为扩展强化学习，我们部署了10.5K块NVIDIA GB300 GPU，持续四星期生成超过1亿次回合，最大上下文长度达到256K tokens。训练和评估使用了约13亿个沙盒环境。为维持如此规模的训练，我们收集了100万个高质量编程、智能代理和STEM领域环境。我们相信这是迄今为止任何开源实验室进行的规模最大强化学习训练。在评估套件中，随着强化学习计算量的增加，模型能力持续提升，未出现性能停滞现象。

图3：在Beam推理专家训练过程中，Terminal-Bench 2.1、HLE和DeepSWE得分与累计强化学习回合数的关系，该图覆盖了整个强化学习计划中生成的超过1亿次回合中的8000万次。作为对比，Inkling使用了3000万次回合训练，MiMo使用了753,000次。

我们使用异步策略梯度训练Beam。在大规模训练中，策略滞后成为这些方法的主要不稳定性来源。长时间运行的回合中，生成的token来自多个模型检查点，早期生成的token相对于当前策略会变得越来越滞后。训练和推理引擎之间的数值差异进一步加剧了这一挑战。

我们开发了新算法，在保持学习稳定性的同时，系统性地减少训练-推理差异。这些进展使大规模异步强化学习保持稳定，即使学习来自超过一天前生成的交互数据。

图4：随着滞后性增加，稳定学习持续进行。顶部图表显示批次中最老的样本，底部图表展示稳定的数值表现。即使训练Beam时存在一天的滞后性——比当前策略滞后107个权重版本——数值计算依然保持稳定。

高效推理学习

我们使用可控长度惩罚机制训练 Beam，该机制在奖励成功解决方案的同时抑制不必要的 token 生成。在强化学习早期阶段，随着完成长度的下降，性能持续提升：模型学会了用更少的推理步骤更高效地解决问题。当 Beam 发展出更强的自主能力后，完成长度再次增长，但这些额外的 token 为性能提升提供了支持。整个训练过程中，强化学习优化了能力与 token 使用之间的权衡。

图 5：强化学习运行期间部分阶段的 DeepSWE 评分。每个数据点对应不同的推理努力程度。帕累托前沿经历了两个阶段的变化。首先，随着策略学习到更高效的 token 使用方式，前沿范围收缩。随后，更高推理努力程度的方案向外扩展，实现了更高性能。

用户可通过 Beam 的推理努力参数控制这种权衡：较低设置优先生成更简短的响应，较高设置允许更长的推理过程以提升复杂任务的性能。这使用户能够根据任务需求和计算预算灵活调整推理强度。

强化学习如何促进行为泛化

我们设计 Beam 的强化学习训练，旨在培养可泛化到训练任务之外的推理能力和自主能力。在一段同时进行推理、软件工程和终端任务训练的阶段，即使强化学习混合训练中没有包含浏览任务，我们仍观察到浏览能力的持续提升。这种跨领域的迁移表明 Beam 学习到了更广泛的自主能力。当获得网络访问权限时，它自然地学会了搜索并查询其他大型语言模型，以及使用 OCR API 读取文档。

以下演示展示了 Beam 如何在研究、应用开发、游戏和机器学习工作流中应用这些能力。示例范围从使用公开数据构建实时纽约地铁仪表板，到创建交互式应用和准备模型微调笔记本。尽管 Beam 仅处理文本，但当其他模态信息以文本形式表示时，它也能处理这些信息。在另一个分布外领域，Beam 还为最新最小的 Gemma-4 模型创建了 Text2SQL 任务的微调笔记本。

这些演示共同说明了 Beam 通过结合推理、编码和工具使用，能够应对的多样化任务范围。每个示例均包含初始请求、生成结果以及相关的设置和用户交互过程。

宇航员自由下落游戏：Beam 被要求用 p5.js 创建一个 3D 游戏，其中宇航员正向地球自由下落。角色需要躲避向其飞来的陨石，或使用“光束”摧毁它们。Beam 虽然是单模态模型，但能够通过文本推理描述游戏视觉效果。

陆地/水域泛化实验：我们通过要求 Beam 创建一个固定 180×90 网格（经度 -179° 至 179°，纬度 -89° 至 89°，共 16,200 个点）重现了病毒式传播的 X 谜题。Beam 的覆盖率达到了 95.5%，介于 Opus 5（92.5%）和 Fable 5（97.8%）之间，这展示了其对新任务的泛化能力。

纽约地铁实时地图：我们要求Beam基于公开的纽约市地铁局（MTA）数据，为纽约地铁创建一个实时更新的地铁地图。该模型会搜索相关文档，检查认证要求，找到地铁和地图的几何结构，并在车站之间创造性地模拟列车移动。Beam构建了合适的前端和后端，并确保服务器持续运行以实现实时更新。

模型微调笔记本：我们将Beam接入OpenCode，要求它研究Unsloth，并为最新的最小版Gemma-4模型创建一个针对Text2SQL任务的微调笔记本——这是Beam之前未接触过的领域。该模型成功研究了模型卡片、Unsloth文档和可用的README文件，并实现了微调逻辑及相关配套机制。结果表明，Beam能够成功微调Gemma模型，使其在保留测试集上的准确率提升了66.5%。

01 / 04

扩展强化学习环境

前沿级强化学习需要大量具有挑战性且高质量的任务。我们构建了一个包含近百万个环境的池，主要通过合成数据管道生成，并辅以专有供应商数据和开源资源补充。

我们高度依赖迭代筛选流程。首先，我们在软件工程、终端使用、竞技编程、STEM、网页搜索、工具使用和通用知识工作等多个领域合成或获取环境。其次，我们严格筛选任务难度（确保任务既非始终可解也非完全不可解）和质量（例如避免描述不足、误导性、可猜测性、可破解性或其他破损或噪声问题）。第三，我们通过强化学习测试任务，从而发现更多质量或难度问题，并指导后续的数据获取和筛选迭代。

在Beam的开发过程中，我们发现数据质量的妥协会导致能力停滞和其他训练问题。系统性提升任务质量对于在整个训练过程中维持能力增长至关重要，最终训练结束时未出现任何饱和迹象。

前沿级强化学习基础设施

高计算量智能体强化学习需要在大规模场景下生成模拟轨迹、执行工具、评估结果并更新模型。我们构建了一个异步平台，使这些流程能够独立运行，同时协调经验数据和模型更新的流动。

在Beam的训练过程中，我们平均同时维持了110,000个并发模拟轨迹。以下七项能力使这成为可能：

完全异步执行：智能体生成模拟轨迹时，训练器同时学习并发布新模型版本。每个token都会标记生成它的版本，使训练算法能够根据已完成的模拟轨迹流入训练过程，处理策略过时问题。

灵活的计算分配：随着工作负载变化，我们动态调整推理与训练的资源分配比例，推理与训练的GPU使用比例从3.9:1到5.4:1不等。我们还在相同训练线系内，通过五种不同的GPU网格配置调整训练器规模，而不会丢失训练状态。

快速模型更新：新权重在中位数约12秒内即可部署到推理集群。通过RoCE在机架间进行分层分布权重传输，再通过NVLink在本地共享权重。与每个副本直接拉取权重相比，这种方法将跨机架流量减少了75%，使集群范围内的新权重部署速度提升了2.2倍。

对推理失败的恢复能力：在运行过程中，系统成功处理了71次推理事件而未中断训练任务。推理能力在中位数8分钟内恢复，损失的算力仅占总服务GPU分钟数的0.02%。

规模化环境支持：运行期间我们支持了高达17万个并发沙盒。平台整体处理了超过10亿次沙盒创建请求，覆盖20个集群、两个云平台和四个区域。90%的新沙盒在10秒内完成初始化。

高效训练器打包：动态打包使训练批次平均保持99.99%的利用率，随着平均 rollout 长度增长近70%，每GPU训练吞吐量波动控制在1.5%以内。

可观测性与奖励完整性：每令牌记录实现了训练与推理各阶段的数值一致性校验。独立评审机制对通过方案进行二次筛查以防范验证器漏洞，可回放的记录使奖励机制及其在训练中的使用过程可追溯。

这些能力的结合使我们能够在保持吞吐量的同时，训练更长的交互序列和更复杂的环境，实现故障恢复并验证学习过程的完整性。

为推理预训练基础模型

强化学习需要可靠的基座模型作为基础。为提升推理能力，我们确保Beam的基础模型具备丰富的编程领域知识、可扩展的智能体能力，以及稳定的MoE优化动态。

在开发Beam过程中，我们通过迭代训练更大模型来建立和验证扩展方案。为使性能可预测，我们精心设计模型层级，构建多样化的内部代码和网络验证集，并对所有训练数据进行严格去污染处理。扩展方案验证成功，最终的Beam基座模型不仅达到预期性能，还在多数指标上超越了可访问的同类开源基座模型。

图6：Beam的预训练方案在计算资源四个数量级范围内实现可预测扩展。其在去污染代码和网络验证数据上达到帕累托最优损失，优于所有可比开源基座模型。

稳定平衡的MoE优化

Beam架构和优化方案注重构建数值健康的基座，以支持持续的下游强化学习。该方案结合了交错的局部与全局注意力机制、细粒度路由专家、可控残差流以及多种负载均衡方式，确保专家利用率稳定平衡且残差传播信号健康。

在专家利用率方面，我们基于无辅助损失的负载均衡方案（DeepSeek-AI等，2024），引入专家偏置更新的余弦衰减策略以减少训练后期的路由扰动。序列级平衡机制进一步促进预训练分布外数据的专家利用率均衡，为下游强化学习的分布变化做好准备。最终预训练基座实现了近乎完美的均匀利用率，确保所有专家均可用于推理任务。

图7：Beam的专家利用率接近完全均衡。预训练完成后，最繁忙专家的负载（跨MoE层平均）仅为1.04倍。

对于残差流，我们开发了一种基于深度的缩放方法，通过抵消子层输出累积导致的激活增长，帮助在模型深度增加时保持残差范数的稳定性。结合SandwichNorm、逐元素注意力门控和FP32残差累积（在向流中添加小更新时减少舍入误差），这一方案有效控制激活增长和异常值，从而确保Beam所有层中信号传播的健康性。这种稳定性贯穿预训练、强化学习和对齐阶段。

图8：在整个预训练过程中，Beam所有52层的残差流RMS保持有界，轨迹平滑且具有深度依赖性，没有持续的激活增长。

以质量为核心的数据筛选

Beam的预训练使用了来自网络、公开来源和专有授权数据集的23.8万亿个多样化高质量token。我们的数据管道旨在为下游代理编码任务奠定基础：通过筛选过程的每个阶段保留源代码、技术解释以及数学和科学知识。我们几乎训练了所有公开可访问且无限制许可的代码及其文档。

我们为网络内容、代码和STEM领域分别训练了专用的质量分类器，将数据划分为细粒度的质量层级，并向高质量内容倾斜训练权重。经过大量科学迭代后，我们在数据筛选的精确率和召回率上显著超越了最先进的开源数据框架所使用的常规网络过滤技术。一方面，约95%的原始互联网token通过解析、去重和筛选被剔除；另一方面，我们发现常规技术会遗漏我们保留的约1.8万亿高质量token，其中包括我们筛选出的网络代码token的87%。

代码建模需要专门的筛选才能实现最佳性能。针对每种编程语言，我们应用了单独调优的过滤器，移除了低质量的自动生成内容和不可学习内容，并训练分类器识别可能影响训练稳定性的损坏内容或代码。对过度代表的语言和文件类型进行重新平衡，以进一步拓宽暴露范围。

我们还开发了高吞吐量的PDF处理流水线，确保基础Beam具备广泛的STEM领域知识。该流水线整合了视觉-语言OCR模型与内部质量分类器和文档检测器，可识别错误重构内容，分布于数千块GPU上处理PB级技术数据。

我们多次重复代码和技术内容，以增加模型在整个训练周期中的暴露频率。这需要仔细处理模糊去重、打包算法以及过拟合的科学问题，确保每次重复的数据源都能提升而非损害泛化能力。

前沿级预训练基础设施

Beam 的预训练在由 6,144 台 NVIDIA GB300 NVL72 GPU 组成的集群上，仅用不到四周时间就完成了端到端训练。为了实现大规模训练 Beam 所需的可靠性、性能和开发速度，我们几乎从零开始构建了整个基础设施栈。这包括跨集群的全新拓扑感知型 Kubernetes 调度器；具备持续健康监控和告警功能的内部节点生命周期系统；以及能够实现半自主回退和重启的静默数据损坏（SDC）检测系统。这些系统的协同作用，使我们能够以更高的稳定性和效率训练自己的前沿模型。

得益于对训练配方稳定性、基础设施和数据质量的大量投入，整体预训练过程呈现出极其平滑的轨迹。在整个训练过程中，我们执行了九次半自动回退，原因要么是梯度范数非确定性尖峰，要么是疑似 SDC 事件。此外，得益于检查点、故障检测和节点健康管理的改进，运行后期的吞吐效率（最终模型中用于训练步骤的墙钟时间占比）达到了 92.3%。

图 9：Beam 预训练过程中训练损失的变化。我们观察到没有出现任何不稳定性或大规模不可恢复的尖峰。

中期训练中构建强化学习的强先验

我们的中期训练阶段专门设计为高计算量强化学习的基石，旨在培养 Beam 完成更复杂任务所需的知识、推理能力和工具使用能力。

我们构建了多阶段数据筛选管道，既能捕捉现实任务的结构和复杂性，又能扩展从原始数据中难以学习的能力覆盖范围。这些管道从精心挑选的真实世界示例出发，通过转换、整合和扩展材料生成专门用于教授特定能力的训练数据。这包括暴露模型于长逻辑链的长篇推理文档。

中期训练还将 Beam 的有效上下文长度扩展至 100 万 tokens。我们结合结构化代码仓库、长周期任务和高质量长篇文档，训练模型识别、保留并连接长序列中的相关信息。

这些能力共同为强化学习提供了更稳固的起点，使 Beam 能够探索更复杂的解决方案，处理更长的交互过程，并从原本难以触及的任务中学习。

安全性与对齐

我们的安全性和对齐工作涉及使用单独的 SFT 和 RL 管道，基于专门针对模型应遵循原则的数据，从预训练检查点训练第二个模型。我们通过多教师策略梯度蒸馏（MOPD）将两个教师模型（大规模 RL 教师和专用安全对齐教师）的能力进行融合。

我们将 Beam 的安全对齐原则划分为三个层级：

(1) Beam 严禁违反的规则：遵守我们的安全政策，保持其作为人工智能代理的身份。

(2) Beam 应始终满足的品质：例如：使用给定的上下文、做出准确声明、承认不确定性、透明地遵循用户请求。

(3) Beam 交互的默认风格：直接、详尽、高效，并积极预判用户可能的下一步需求。

图10：对齐与安全强化学习可预测地塑造Beam在不可验证领域中的行为。从预强化学习检查点出发，我们能够准确预测（虚线）训练奖励的提升（点状图）。

在对齐阶段，我们设计的强化学习环境旨在激励Beam遵循这些原则。这些环境中许多涉及由生成式奖励模型评估的不可验证奖励，但我们仍能利用它们可预测地塑造模型行为。在运行强化学习前，我们预测了奖励对不同行为的影响，从而比仅使用最佳N选一上限（r=0.79对比r=0.46）更准确地预测了强化学习的收益。这使我们能够迭代改进评分标准和奖励设计，抑制幻觉和过度格式化等行为，并提升Beam的整体交互质量。

我们的安全训练采用深思熟虑的对齐（Guan等，2024）技术，将安全策略直接整合到模型推理中。数据集以对抗性方式迭代构建：每轮训练模型后，我们生成能引发有害行为或过度拒绝的提示，并将成功攻击纳入下一轮的SFT混合数据集中。在安全强化学习中，我们同样收集了单轮、多轮、越狱和智能体场景，其中模拟对手施压工具使用模型采取不安全行动，从而同时减少过度拒绝和有害服从。

我们将在模型技术报告中发布安全评估结果，并开源内部开发和使用的安全评估工具，建立一个共享、可检查的标准，供开放生态系统测试和贡献。

前景展望

此预览展示了Beam当前的能力。我们正在向一小部分用户开放此早期版本的Beam；您可在此处加入候补名单。

我们希望Beam能广泛获取且易于构建。本月，我们将以Apache 2.0许可证发布模型权重，并提供文档和完整堆栈用于运行、评估和微调模型。我们将与分销合作伙伴共同推出Beam生态系统，并集成大量开源库和工具，使开发者能在现有开源工作流程中使用Beam。

Beam是系列模型中的首个模型，也是我们团队致力于构建的开放智能的首次演示。我们正在训练下一个模型，目标是通过每次发布，逐步缩小开放前沿与智能前沿之间的差距。

最新文章

构建前沿开放智能

2025年8月9日 /think