Apertus 1.5 发布说明：8B 和 70B 模型新增多模态理解与 262,144-token 上下文窗口

我们最新发布的 Apertus 1.5 在 Apertus 1.0 的 8B 和 70B 模型基础上，扩展了图像/音频理解能力、可选的思考模式、长 4 倍的上下文窗口、更强的指令遵循能力以及更好的工具使用能力。更新后的 8B 和 70B 模型权重 于 2026 年 7 月 24 日在 Hugging Face 上发布，采用 Apache 2.0 许可证。更多详情现已刊载于项目的技术报告，并在此作了摘要。

Apertus 1.5 是在第一代模型基础上继续预训练而成：为 8B 模型增加了 4 万亿个文本和多模态训练数据 token，为 70B 模型增加了 2 万亿个 token，使两者的总量分别达到 19T 和 17T。与每次 Apertus 发布一样，这些模型完全开放：开放权重、开放数据、开放价值观，并公开完整的训练详情。

主要增强功能

• 原生多模态理解： Apertus 1.5 可在文本之外接收图像和音频，让文档、图表和照片都能融入对话。模型还可以处理口语，不过这项功能仍处于实验阶段。
• 思考模式： 模型可切换至思考模式，在作答前对输入进行推理，从而提升其在推理问题上的表现。
• 长上下文： 上下文窗口扩展至 262,144 个 token，是 Apertus 1.0 的 4 倍。
• 更强的指令遵循能力： 相较于 Apertus 1.0，模型更能遵循指令，回复也更加可预测且准确。
• 更强的工具使用能力： 模型经过训练，能够更好地集成工具，从而更有效地使用外部工具和 API。
• 开放的价值观： 模型更加遵循 Apertus 宪章，使其价值观和原则更加透明。

训练流程

完整的 Apertus 1.5 训练流程

通过分词器实现多模态能力

我们以早期融合的方式为 v1.5 模型引入多模态能力：图像和音频作为离散 token，与文本 token 一同进入 Apertus 的同一序列，而不是使用单独的视觉编码器。图像使用 Emu3.5 分词器进行分词（512×512 图像会转换为 1,024 个 token），音频则使用 WavTokenizer（每秒 40 个 token）。我们只扩展词汇表，因此架构保持不变，训练速度与纯文本训练相同。模型能够理解图像和音频，但只能生成文本。

预训练

我们从 Apertus 1.0 出发，分四个阶段继续预训练：

1. 非配对：文本加上单独的图像和音频，让模型学习新的模态。
2. 配对：图像–说明文字和音频–转录文本配对，让模型学会将它们与语言对齐。
3. 冷却阶段：使用质量更高、数学和代码内容更多的数据。
4. 长上下文：上下文窗口逐步从 8k 扩展至 262k 个 token。

总体而言，超过一半的训练 token 仅为文本，这有助于保留 Apertus 1.0 的语言能力。文本数据更新时采用了 FineWeb2-HQ+、FinePDFs 和 Nemotron-CC 等来源。所有新增数据（包括多模态数据）均符合与以往相同的标准：公开可用、许可宽松，并追溯尊重 robots.txt 中的退出要求。所有来源均列于 apertus-data-transparency。

后训练

后训练分为五个阶段：SFT → 长上下文 SFT → RL → DPO → 宪章对齐（SDPO）。

1. 基于 370 万条文本样本以及图像和语音数据进行 SFT。仅当模型无法独立解答提示时，才为其添加推理过程。工具使用数据仅限于经过执行验证的轨迹。我们在 Hugging Face 上发布了所用的文本 SFT 混合数据集。
2. 在完整的 262k 窗口下进行长上下文 SFT，以恢复短上下文 SFT 所削弱的长上下文能力。
3. 使用约 35 万条数学、代码、指令遵循、多语言和视觉提示进行可验证奖励强化学习（RLVR），并混合使用开启和关闭思考模式的提示。
4. 通过裁判评分的偏好对进行 DPO，提升聊天质量、工具使用能力和安全性。我们发布了偏好数据池和训练对。
5. SDPO 通过裁判反馈和自蒸馏，使模型与Apertus 宪章保持一致。

评测结果

在扩展模型能力的同时，我们也大幅拓展了评测范围。在 Apertus 1.0 使用的现有文本评测之外，我们新增了多模态评测（图像和音频）以及思考模式评测。

多模态评测通过 MLLM-eval-suite 流程完成，该流程整合了两个主要的多模态评测框架 lmms-eval 和 VLMEvalKit。我们还新增了一系列基于文本的基准测试，并扩展了翻译和多语言能力、安全性及工具使用方面的基准测试。这些内容可在我们的后训练评测代码库中找到，该代码库基于 lm-evaluation-harness 分支。

虽然新版本的表现仍落后于前沿开放权重模型，但在代码和指令遵循能力方面也有显著提升：Apertus 1.5 8B 在指令遵循和多语言任务上的表现优于同等规模的开放权重模型。在 AIME 等具有挑战性、侧重推理的基准测试中，思考模式进一步提升了性能。该模型的多模态性能已接近 Gemma 4 12B 和其他当前的开放权重模型。在空间理解方面，Apertus 1.5 的多模态性能在开放权重模型中具有竞争力；在文档和图表理解方面，其表现则在开源模型中具有竞争力。

我们还感谢合作者和外部评测人员帮助高效评测 Apertus 的能力。尤其是，Apertus 1.5 在瑞士法律任务上表现出色，达到领先开放权重模型的水平（博客，代码）。此外，在 Last Translation Benchmark 上，Apertus 1.5 8B 的机器翻译能力可媲美 GPT-OSS-20B，并优于 Claude Haiku 4.5 或 Google Translate 等模型（排行榜，论文）。

评测卡片：Apertus ❤️ EvalEval

Apertus 与 EvalEval Coalition 合作，确保基准测试完全透明且可复现。我们按照 Every Eval Ever (EEE) 架构发布 Apertus 1.5 的结果。这是一种共享格式，不仅记录分数，还记录评测的执行者、模型的访问方式、生成设置，以及每项指标的解读方式：这些细节在排行榜中往往缺失，却常常能解释为何看似相近的分数会有所不同。

结果展示在下方的 Eval Card 中，该卡片将运行数据与基准测试和模型元数据结合起来，形成一份易于解读的记录；结果也可通过 Hugging Face Community Evals 获取。这与 英国 AI 安全研究所用于公开发布评测结果的基础设施相同。由于我们的文本评测使用 lm-evaluation-harness 的公开分支运行，且 EEE 为其提供了专用转换器，任何人都可以在相同设置下重新运行评测，并将结果与我们的数据进行比较。

结构化评测报告的意义也不止于研究。EvalEval 已将评测卡与 AI 治理要求对应起来，包括《欧盟 AI 法案》第 55 条和 GPAI 行为准则，并发现 EEE 架构能够表示这些框架要求的 60 项评测报告要素中的 56 项。这与我们发布 Apertus 的现有方式相契合：我们在发布模型的同时，还会公布训练内容的公开摘要，并自愿发布行为准则文件。机器可读的评测记录是顺理成章的下一步：让监管机构、部署者和研究人员更容易找到、解读和比较模型背后的证据。

我们致力于通过 Eval Card 和 EEE 架构推动可复现、透明的评测，并鼓励其他模型开发者以同样的方式报告结果，从而实现不同模型和组织之间的分数比较。

Apertus 1.5 可复现性

所有配方、消融实验和数据混合方案均记录在技术报告中。我们希望通过公开并开放获取 v1.5 的训练流程，推动开放模型开发普及。中间检查点托管在我们的Apertus 1.5 Hugging Face collection中，其中包括基础权重、SFT、RLVR 和 DPO，以及我们整理的训练数据混合方案/自定义数据集，详见Apertus 1.5 datasets collection。分享这些资源让研究人员能够探究每个阶段如何改变模型行为。

报告涵盖了大量消融实验，研究不同阶段的后训练数据所产生的影响。我们观察到，在 SFT 期间与文本数据混合的多模态数据有助于提升模型在所有模态上的表现。我们还发现，多模态推理轨迹带来的益处在后续纯文本强化学习阶段仍然存在：从使用多模态轨迹训练的 SFT 检查点开始，RL 对数学能力的提升大于从纯文本检查点开始时的提升，而且在整个训练过程中，这种在推理任务上的优势始终存在。

模型可用性

Proton Lumo 和 Infomaniak Euria 是两款广泛使用、近期已集成 Apertus 1.5 的应用。这些部署案例以及其他内容均列于社区展示中——可查看此讨论帖预览。

包括 Swisscom、Infomaniak、Phoeniqs 在内的多家服务商已宣布将以 API 形式向开发者提供 Apertus 1.5，其他公司请见我们的正式发布指南。报告还介绍了我们如何与外部评估人员合作，对模型进行测试和准备。

运行模型的技术说明见 Hugging Face 上 Apertus 各版本的模型卡，以及我们的快速入门指南。

如何参与

感谢阅读这篇博客文章并成为我们社区的一员！我们刚刚在 Hugging Face 分析数据中庆祝了下载量突破五百万 🤗，而且我们不会放慢脚步。在近期于苏黎世举办的 AI+X Summit 上，我们的团队公布了 Apertus 2.0 路线图：稀疏/MoE 架构、约 600B 总参数量、延长训练计划，并将智能体、数学和编程列为重点。

总之：我们诚邀您阅读我们的报告、下载模型、探索中间检查点、微调权重，并复现我们的评估。对于我们的出版物或网站常见问题尚未涵盖的问题，我们始终欢迎您提出；我们也很想了解哪些主题最值得为社区开展后续深入探讨。

如果您基于 Apertus 构建项目或使用 Apertus，请填写展示表单，并通过联系页面上的方式与我们联系。我们期待展示更多成果、了解您正在构建的项目，并听取您对如何改进 Apertus 的建议！

引用

Project Apertus 等。“Apertus 1.5：从开放文本模型到开放多模态推理器。” arXiv:2610.15542。预印本，arXiv，October 11, 2026。https://doi.org/10.48550/arXiv.2610.15542.

@misc{apertus2026apertus15opentext,
      title={Apertus 1.5: From Open Text Models to Open Multimodal Reasoners}, 
      author={Project Apertus and Yixuan Xu and Yassine Turki and Vinko Sabolčec and Valentina Pyatkin and Tommy Chu and Sven Najem-Meyer and Sean F. Carroll and Robert Smith and Raphael Kreft and Oscar Alessandro Tazza and Oleg Lavrovsky and Nicola Irmiger and Matteo Santelmo and Marian Schneider and Juan García Giraldo and Hanna Yukhymenko and Eduard Ďurech and Davit Melikidze and Dani Tamayo and Bettina Messmer and Aryan Ahadinia and Anunay Yadav and Allen Huang and Ahmad Fraij and Alessandro Bombarda and Alex Padula and Alexander Hägele and Alexander Sternfeld and Anna Hedström and Anna Kosovskaia and Arthur Wuhrmann and Arundhati Balasubramaniam and Badr Al Mahouri and Barna Pasztor and Bartosz Szostakiewicz and Bich Ngoc Doan and Bryan Schmid and Burak Sezen and Camille Challier and Clément Charmillot and Dana Shayakhmetova and Daniel Perruchoud and David Brüggemann and David Isztl and Elia Palme and Emma Anastassova and Fabian Bösch and Faruk Zahiragić and Fawzi Roberto Mohamed and Fiona Panicali and Florian Kolly and Flynn Guerra and Francesco Monti and Frederike Lübeck and Gennaro Oliva and Haofeng Yang and Haoliang Shang and Helen El Khoury and Henrique Mendonça and Jannis Vamvas and Jérome Landolt and Jessica Lam and Jingchun Xiao and Jonathan Coles and Joshua Oyebanji and Khanh Nguyen and Konstantinos Pitas and Lasse B. Strand and Li Mi and Loïc Deslarzes and Lorenzo Baggi and Lorenzo Noci and Luca Baumann and Luca Sartori and Lukas Drescher and Marco De Negri and Marco Passerini and Mark Klein and Marko Stojanovic and Martin Majsec and Matin Ansaripour and Mattea Busato and Mauro Pellonara and Max Neuwinger and Michael Graber and Michal Tešnar and Michelle Wastl and Miguel Gila and Mikolaj Boronski and Morgane Magnin and Moritz Reihs and Mukhammadali Sayfiddinov and Nathan Ranchin and Nicolas Cuveillier and Oscar Wohlfahrt and Qianqian Zou and Rada Kamysheva and Rita Sevastjanova and Roman Machacek and Sebastian Keller and Simon Matrenok and Simon Pierre and Stefano Schuppli and Suei-Wen Chen and Szabina Horváth-Mikulas and Taliesin Perez and Thilo Spinner and Thomas Kleine Buening and Tim Robinson and Tymoteusz Kwiecinski and Vilém Zouhar and Vinzenz Thoma and Xiaozhe Yao and Yannick Metz and Yuhei Fukuhara and Yusif Askari and Zixuan Chen and Alexander Ilic and Ana Klimovic and Andreas Krause and Andrei Kucharavy and Elliott Ash and Joost VandeVondele and Martin Rajman and Mennatallah El-Assady and Thomas Schulthess and Timo Kehrer and Torsten Hoefler and Antoine Bosselut and Martin Jaggi and Imanol Schlag},
      year={2026},
      eprint={2610.15542},
      archivePrefix={arXiv},
      primaryClass={cs.CL},
      url={https://arxiv.org/abs/2610.15542}, 
}