Apertus 1.5 Release Notes

Apertus 1.5 版本说明

返回文章列表

[0

团队

]

文章

发布于 2026 年 10 月 15 日

[-1

点赞

25

[

• +19

Hanna Yukhymenko

hannayukhymenko

关注

swiss-ai

Oleg Lavrovsky

loleg

Y Metz

ymetz

我们最新发布的 Apertus 1.5 在 8B 和 70B 的 Apertus 1.0 模型基础上增加了图像/音频理解能力、可选的思考模式、四倍长度的上下文窗口、改进的指令遵循能力以及更优的工具使用表现。更新后的 8B 和 70B 模型权重已于 2026 年 7 月 24 日通过 Apache 2.0 许可证在 Hugging Face 上发布。更多细节请参见项目技术报告，此处也进行了总结。

Apertus 1.5 是对第一代模型的持续预训练：在 8B 模型中增加了 4 万亿个文本和多模态训练数据，在 70B 模型中增加了 2 万亿个数据，总数据量分别达到 19T 和 17T。与所有 Apertus 发布版本一样，这些模型完全开放：开放权重、开放数据、开放价值观以及完整的训练细节。

关键增强功能

• 原生多模态理解：Apertus 1.5 可同时接受图像、音频和文本，使文档、图表和照片能够参与对话。模型也可处理语音语言（该功能仍处于实验阶段）。

• 思考模式：模型可切换至思考模式，在回答问题前对输入进行推理，从而提升推理任务表现。

• 长上下文：上下文窗口扩展至 262,144 个标记，是 Apertus 1.0 的 4 倍。

• 改进的指令遵循：相比 Apertus 1.0 具有更优的指令遵循能力，响应更可预测且准确。

• 改进的工具使用：模型经过训练以更好地集成工具，可更有效地使用外部工具和 API。

• 开放价值观：更严格遵循 Apertus 宪章，使模型的价值观和原则更加透明。

训练过程

完整的 Apertus 1.5 训练流程

通过分词器实现多模态

我们在 v1.5 模型中以早期融合方式引入多模态：图像和音频作为离散标记与文本标记在同一序列中输入 Apertus，而非使用单独的视觉编码器。图像使用 Emu3.5 分词器处理（512×512 图像生成 1,024 个标记），音频使用 WavTokenizer（每秒 40 个标记）。我们仅扩展了词汇表，因此架构保持不变，训练速度与纯文本训练相同。模型能够理解图像和音频，但仅生成文本。

预训练

从 Apertus 1.0 出发，我们通过四个阶段继续预训练：

• 未配对：文本加独立图像和音频，使模型学习新模态。

• 配对：图像-字幕和音频-转录对，使模型将它们与语言对齐。

• 冷却期：包含更多数学和代码的高质量数据。

• 长上下文：窗口逐步从 8k 扩展至 262k 标记。

总体而言，超过一半的训练标记为纯文本，保留了 Apertus 1.0 的语言能力。文本数据通过 FineWeb2-HQ+、FinePDFs 和 Nemotron-CC 等来源更新。所有新数据（包括多模态数据）均达到相同标准：公开可用、宽松许可，并且尊重 robots.txt 的历史退出机制。所有数据源均列在 apertus-data-transparency 中。

后训练

后训练分为五个阶段：SFT → 长上下文 SFT → RL → DPO → 宪章对齐（SDPO）。

• 在370万个文本样本以及图像和语音数据上进行监督微调。仅在模型无法独立解决的提示中添加推理轨迹。工具使用数据仅限于经过执行验证的轨迹。我们在Hugging Face上发布了所使用的文本监督微调混合数据集。

• 在完整262k窗口长度上进行长上下文监督微调，恢复了短上下文微调会削弱的长上下文能力。

• 在约35万个数学、代码、指令遵循、多语言和视觉提示上使用可验证奖励的强化学习（RLVR），混合了开启和关闭思考模式的训练。

• 通过评委评分的偏好对进行DPO训练，提升了对话质量、工具使用能力和安全性。我们发布了偏好数据池和训练对。

• 通过评委反馈和自蒸馏，SDPO使模型与Apertus宪章保持一致。

评估结果

除了扩展模型能力，我们还大幅扩展了评估范围。在Apertus 1.0已有的文本评估基础上，新增了多模态评估（图像&音频）和思考模式评估。

多模态评估通过MLLM-eval-suite流水线进行，整合了两个主要多模态评估框架lmms-eval和VLMEvalKit。我们还新增了一系列文本基准测试，并扩展了翻译和多语言能力、安全性和工具使用的基准测试。这些内容可在我们的后训练评估仓库中找到，该仓库基于lm-evaluation-harness分支。

尽管仍落后于前沿开源模型，但新版本在代码和指令遵循能力上显著提升，Apertus 1.5 8B在IF和多语言任务上优于同类开源模型。开启思考模式进一步提升了在AIME等复杂推理基准测试中的表现。模型的多模态性能已接近Gemma 4 12B和其他当前开源模型。Apertus 1.5的多模态性能在开源模型中空间理解能力具有竞争力，在文档/图表理解方面则优于其他开源模型。

我们感谢合作方和外部评估者在高效评估Apertus能力方面的帮助。特别值得一提的是，Apertus 1.5在瑞士法律任务中表现出色，性能与领先开源模型相当（博客，代码）。此外，在Last Translation Benchmark测试中，Apertus 1.5 8B的机器翻译能力与GPT-OSS-20B相当，并优于Claude Haiku 4.5或Google Translate等模型（排行榜，论文）。

评估卡片：Apertus ❤️ EvalEval

Apertus与EvalEval联盟合作，确保完全透明且可复现的基准测试。我们按照Every Eval Ever（EEE）格式发布Apertus 1.5的评估结果，这是一种共享格式，不仅记录分数，还记录了评估执行者、模型访问方式、生成设置以及每个指标的解释方式：这些通常在排行榜中缺失但往往能解释相似分数差异的关键信息。

结果如下面的评估卡片（Eval Card）所示，该卡片将运行数据与基准和模型元数据整合为一个可解释的记录，也可通过 Hugging Face Community Evals 获取。这与英国人工智能安全研究所（UK AI Security Institute）用于公开发布评估的基础设施相同。由于我们的文本评估基于 lm-evaluation-harness 的公共分支运行，而 EEE 提供了专用转换器支持，任何人都可以在相同设置下重新运行这些评估并对比结果。

结构化评估报告的意义不仅限于研究领域。EvalEval 已将评估卡片映射到人工智能治理要求中，包括欧盟人工智能法案第 55 条和 GPAI 行为准则，发现 EEE 模式可以表示这些框架要求的 60 项评估报告要素中的 56 项。这与我们目前发布 Apertus 的方式一致：在模型发布时，我们同步公开训练内容摘要，并自愿提供行为准则文件。可被机器读取的评估记录是自然的下一步：使监管机构、部署者和研究人员更容易查找、解释和比较模型背后的证据。

我们致力于通过评估卡片和 EEE 模式推动可重复且透明的评估，并鼓励其他模型开发者以相同方式报告结果，从而实现跨模型和组织的评分对比。

Apertus 1.5 可重复性

所有配方、消融实验和数据混合均在技术报告中进行了记录。我们旨在通过公开且可访问的 v1.5 训练过程推动开放模型开发。中间检查点已托管在我们的 Apertus 1.5 Hugging Face 集合中，包括基础权重、SFT、RLVR 和 DPO，以及 Apertus 1.5 数据集集合中我们整理的训练数据混合/自定义数据集。共享这些内容使研究人员能够探究每个阶段如何改变模型行为。

报告涵盖了不同阶段后训练数据影响的多项消融实验，我们观察到在 SFT 阶段将多模态数据与文本数据混合有助于所有模态的性能提升。我们还发现多模态推理痕迹带来的优势可以延续到后续的纯文本强化学习中：从包含多模态痕迹的 SFT 检查点开始，强化学习对数学能力的提升效果优于从纯文本检查点开始，且在推理任务上的优势在整个训练过程中持续存在。

模型

8B

70B

预训练（长上下文基础版）

Apertus-v1.5-8B-base

Apertus-v1.5-70B-base

监督微调（SFT）

Apertus-v1.5-8B-SFT

Apertus-v1.5-70B-SFT

强化学习（RLVR）

Apertus-v1.5-8B-RLVR

Apertus-v1.5-70B-RLVR

偏好对齐（DPO）

Apertus-v1.5-8B-DPO

Apertus-v1.5-70B

（最终版）

宪章对齐（SDPO）

Apertus-v1.5-8B

–

阶段

数据

代码/配方

预训练：阶段 1–2

（未配对、配对）

所有来源（含版本和许可证）见

apertus-data-transparency

；视觉和音频处理配方见

multimodal-data

Megatron-LM

，启动脚本见

pretrain-code

，

apertus-omni-tokenizer

benchmark-image-tokenizer

benchmark-audio-tokenizer

（含交错语音-文本构建器）

预训练：阶段 3

（冷却阶段）

；精选图像数据集

NASA

Our World in Data

Smithsonian

swisstopo

长上下文扩展

；合成长上下文任务见

LongContextQA

SFT

Apertus-v1.5-SFT-mix

（多模态 SFT 混合见报告）

posttraining-data

（SFT 启动脚本）

长上下文 SFT

SFT 混合数据集的子集（详见报告中的列表），以及

任务

RL（RLVR）

报告中列出的混合数据集

verl

verl-recipe

DPO

Apertus-v1.5-Preference-Pool

（带注释的完成结果），

Apertus-v1.5-Preference-Data

（配对数据）

posttraining

SDPO

（宪章对齐，仅限8B模型）

gretelai/gretel-safety-alignment-en-v1

自蒸馏

模型可用性

Proton Lumo 和 Infomaniak Euria 是两款近期集成 Apertus 1.5 的广泛应用程序。这些部署案例已收录在社区展示专区——可通过此讨论帖预览相关内容。

Swisscom、Infomaniak、Phoeniqs 等多家供应商（详见我们的通用可用性指南中的公司列表）已宣布提供 Apertus 1.5 的 API 接口。报告中还详细说明了我们如何与外部评估机构合作进行模型测试和准备。

模型运行的技术说明可在 Hugging Face 平台 Apertus 发布版本的模型卡片以及我们的快速入门指南中找到。

如何参与

感谢您阅读这篇博客并成为我们社区的一员！我们刚刚在 Hugging Face 分析数据中迎来了五百万次下载里程碑 🤗，并且不会放缓发展步伐。在最近于苏黎世举办的 AI+X 峰会上，我们的团队公布了 Apertus 2.0 的路线图：稀疏/MoE 架构、约 600B 总参数量、扩展训练计划，重点方向包括代理、数学和编程领域。

总结来说：我们邀请您阅读我们的报告，下载模型，探索中间检查点，微调权重，并复现我们的评估结果。所有未在我们的出版物或网站常见问题中覆盖的问题都欢迎提出，我们也非常期待听到社区认为未来最值得深入探讨的主题。

如果您使用或构建了 Apertus 相关项目，请填写展示表单，并通过联系我们页面的选项与我们取得联系。我们期待展示更多优秀作品，了解您正在构建的内容，并听取关于如何改进 Apertus 的建议！

引用

Project Apertus 等. “Apertus 1.5: 从开放文本模型到开放多模态推理器.” arXiv:2610.15542. 预印本, arXiv, 2026年10月11日. https://doi.org/10.48550/arXiv.2610.15542 .

@misc{apertus2026apertus15opentext,
      title={Apertus 1.5: From Open Text Models to Open Multimodal Reasoners}, 
      author={Project Apertus and Yixuan Xu and Yassine Turki and Vinko Sabolčec and Valentina Pyatkin and Tommy Chu and Sven Najem-Meyer and Sean F. Carroll and Robert Smith and Raphael Kreft and Oscar Alessandro Tazza and Oleg Lavrovsky and Nicola Irmiger and Matteo Santelmo and Marian Schneider and Juan García Giraldo and Hanna Yukhymenko and Eduard Ďurech and Davit Melikidze and Dani Tamayo and Bettina Messmer and Aryan Ahadinia and Anunay Yadav and Allen Huang and Ahmad Fraij and Alessandro Bombarda and Alex Padula and Alexander Hägele and Alexander Sternfeld and Anna Hedström and Anna Kosovskaia and Arthur Wuhrmann and Arundhati Balasubramaniam and Badr Al Mahouri and Barna Pasztor and Bartosz Szostakiewicz and Bich Ngoc Doan and Bryan Schmid and Burak Sezen and Camille Challier and Clément Charmillot and Dana Shayakhmetova and Daniel Perruchoud and David Brüggemann and David Isztl and Elia Palme and Emma Anastassova and Fabian Bösch and Faruk Zahiragić and Fawzi Roberto Mohamed and Fiona Panicali and Florian Kolly and Flynn Guerra and Francesco Monti and Frederike Lübeck and Gennaro Oliva and Haofeng Yang and Haoliang Shang and Helen El Khoury and Henrique Mendonça and Jannis Vamvas and Jérome Landolt and Jessica Lam and Jingchun Xiao and Jonathan Coles and Joshua Oyebanji and Khanh Nguyen and Konstantinos Pitas and Lasse B. Strand and Li Mi and Loïc Deslarzes and Lorenzo Baggi and Lorenzo Noci and Luca Baumann and Luca Sartori and Lukas Drescher and Marco De Negri and Marco Passerini and Mark Klein and Marko Stojanovic and Martin Majsec and Matin Ansaripour and Mattea Busato and Mauro Pellonara and Max Neuwinger and Michael Graber and Michal Tešnar and Michelle Wastl and Miguel Gila and Mikolaj Boronski and Morgane Magnin and Moritz Reihs and Mukhammadali Sayfiddinov and Nathan Ranchin and Nicolas Cuveillier and Oscar Wohlfahrt and Qianqian Zou and Rada Kamysheva and Rita Sevastjanova and Roman Machacek and Sebastian Keller and Simon Matrenok and Simon Pierre and Stefano Schuppli and Suei-Wen Chen and Szabina Horváth-Mikulas and Taliesin Perez and Thilo Spinner and Thomas Kleine Buening and Tim Robinson and Tymoteusz Kwiecinski and Vilém Zouhar and Vinzenz Thoma and Xiaozhe Yao and Yannick Metz and Yuhei Fukuhara and Yusif Askari and Zixuan Chen and Alexander Ilic and Ana Klimovic and Andreas Krause and Andrei Kucharavy and Elliott Ash and Joost VandeVondele and Martin Rajman and Mennatallah El-Assady and Thomas Schulthess and Timo Kehrer and Torsten Hoefler and Antoine Bosselut and Martin Jaggi and Imanol Schlag},
      year={2026},
      eprint={2610.15542},
      archivePrefix={arXiv},
      primaryClass={cs.CL},
      url={https://arxiv.org/abs/2610.15542}, 
}

本文中提到的模型 9

本文中提到的数据集 9

本文中提到的论文 1

本文中提到的集合 2

社区

编辑

预览

通过在文本输入框中拖拽、粘贴或点击此处上传图片、音频和视频

轻点或粘贴此处上传图片

评论

· 注册或登录以评论

• +13