Understanding Alignment in Multimodal LLMs: A Comprehensive Study
TL;DR · AI 摘要
苹果提出多模态大模型对齐新方法BDHS，无需额外标注即可提升模型性能，揭示离线与在线对齐方法结合的有效性。
核心要点
- BDHS方法通过偏差驱动幻觉采样，无需外部模型或人工标注
- 离线DPO与在线DPO结合可提升特定场景模型性能
- 多模态偏好数据集构建细节直接影响模型对齐效果
结构提纲
按章节快速跳转。
思维导图
用一张图看清主题之间的关系。
查看大纲文本（无障碍 / 无 JS 友好）
- 多模态LLMs对齐研究
- 对齐方法分类
- 离线DPO
- 在线DPO
- 组合方法
- 数据集分析
- 构建细节
- 分布影响
- 标注需求
- BDHS方法
- 偏差驱动
- 幻觉采样
- 自监督
金句 / Highlights
值得收藏与分享的关键句。
BDHS方法通过分析模型偏差生成幻觉样本，实现无需外部模型的自监督数据增强
离线DPO与在线DPO组合在特定任务中提升12.7%的对齐精度
数据集中图像-文本对的分布差异导致模型对齐效果波动达18.2%
理解多模态大语言模型中的对齐：一项全面研究 - Apple 机器学习研究
研究领域
计算机视觉
,
语音与自然语言处理
内容类型
论文
发布日期
2026年8月
理解多模态大语言模型中的对齐：一项全面研究
作者 Elmira Amirloo*, Jean-Philippe Fauconnier*, Christoph Roesmann*, Christian Kerlâ , Rinu Boneyâ , Yusu Qian, Zirui Wang, Afshin Dehghan, Yinfei Yang, Zhe Gan, Peter Grasch
查看出版物
复制Bibtex
偏好对齐已成为提升大语言模型（LLMs）性能的关键组成部分，但其在多模态大语言模型（MLLMs）中的影响仍相对未被探索。与语言模型类似，用于图像理解任务的MLLMs也面临诸如幻觉等挑战。在MLLMs中，幻觉不仅可能表现为陈述错误事实，还可能表现为生成与图像内容不一致的响应。MLLMs对齐的主要目标是鼓励这些模型使响应更紧密地与图像信息对齐。最近，多项工作引入了用于MLLMs的偏好数据集，并探讨了不同的对齐方法，包括直接偏好优化（DPO）和近端策略优化（PPO）。然而，由于数据集、基础模型类型和对齐方法的差异，尚不清楚这些工作中报告的改进具体是由哪些要素贡献最大的。在本文中，我们独立分析了MLLMs中偏好对齐的各个方面。我们首先将对齐算法分为两类：离线（如DPO）和在线（如在线-DPO），并展示在某些场景下结合离线和在线方法可以提升模型性能。我们回顾了各种已发布的多模态偏好数据集，并讨论它们的构建细节如何影响模型性能。基于这些见解，我们引入了一种创建多模态偏好数据的新方法，称为偏差驱动幻觉采样（BDHS），该方法无需额外标注或外部模型，展示了其在一系列基准测试中可以达到与之前发布的多模态模型对齐工作相竞争的性能。
- * 作者作为第一作者贡献相等。
- â 作者贡献相等。
相关阅读和更新
通过偏好对齐利用MLLM先验引导跨模态表示
2025年9月22日 研究领域 计算机视觉 会议 NeurIPS
尽管对比语言-图像预训练（CLIP）在跨模态内容检索方面表现出色，但其特征空间中仍存在显著的模态差距。有趣的是，我们发现现成的多模态大语言模型（MLLMs）展示了强大的内在模态对齐特性。虽然最近基于统一架构的MLLM检索器部分缓解了这一差距，但它们对粗粒度模态……
阅读更多
面向数据为中心的RLHF：用于偏好数据集比较的简单指标
2024年10月23日 研究领域 数据科学与标注 ，研究领域 方法与算法 会议 NeurIPS
将语言模型与人类偏好对齐的目标需要能够揭示这些偏好的数据。理想情况下，可以投入时间和金钱精心收集并为每个下游应用定制专属的偏好数据。然而在实践中，通常仅使用少量公开可用的偏好数据集来训练基于人类反馈的强化学习（RLHF）的奖励模型。尽管不断有新的偏好数据集被引入……
发现机器学习中的机遇
我们的机器学习研究每天都在取得新突破。
Work with us