Jan Leike(@janleike)

Jan Leike 在 X 上谈 AI 对齐研究的十年演进

7.5内容质量
Jan Leike 在 X 上谈 AI 对齐研究的十年演进

TL;DR · AI 摘要

Jan Leike 回顾了超过十年来 AI 对齐（alignment）研究的演变：从最初仅十几人参与、方法模糊的边缘领域，发展到如今因 RLHF 和可扩展监督等技术进步而变得实用，并推动了像 Claude 这样的模型具备宪法机制和自动化对齐研究。

核心要点

  • 10 年前 AI 对齐领域仅有约 12 人作为副业从事研究，且方法混乱。
  • RLHF 技术使对齐问题从理论走向实践，显著提升可行性。
  • 当前对齐研究正加速自动化，如 Claude 已引入宪法机制与可扩展监督进展。

结构提纲

按章节快速跳转。

  1. §引言：对齐问题的早期状态

    作者指出十年前对 AGI 的构建方式和安全机制几乎一无所知，该领域只有极少数人投入研究。

  2. ·早期挑战：人员稀少与方法不明

    当时全球大约只有十几名研究人员在做对齐工作，且多数是兼职，缺乏清晰的研究路径。

  3. ·关键转折点：RLHF 提升实用性

    强化学习人类反馈（RLHF）让对齐成为可操作的技术方案，极大推动了实际应用落地。

  4. ·近期进展：自动化与系统化改进

    当前对齐研究已实现部分自动化，包括行为评估、纠正机制及像 Claude 这样的模型内置宪法设计。

思维导图

用一张图看清主题之间的关系。

查看大纲文本（无障碍 / 无 JS 友好）
  • AI 对齐研究的发展历程
    • 早期阶段（<10年前）
      • 人数极少（~12人）
      • 无明确方法论
    • 中期突破（2010s末-2020s初）
      • RLHF 技术成熟
      • 实验机会增加
    • 当前趋势（2020s至今）
      • 自动化对齐研究
      • 模型内置安全机制（如Claude宪法）

金句 / Highlights

值得收藏与分享的关键句。

  • 当我十多年前开始研究对齐问题时，我们完全不知道 AGI 将如何构建或如何确保其安全。

    — 第 1 段

    ⬇︎ 下载 PNG𝕏 分享到 X
  • 当时这个领域可能只有十几个人在兼职研究，大家都很困惑该如何入手这个问题。

    — 第 1 段

    ⬇︎ 下载 PNG𝕏 分享到 X
  • LLM 上的 RLHF 让对齐变得更实用。我们在评估、调查、引导和修复行为问题方面取得了巨大进展。

    — 第 2 段

    ⬇︎ 下载 PNG𝕏 分享到 X
#AI 对齐#AGI#RLHF#机器学习
打开原文

Jan Leike 在 X 上发文：“十多年前我刚开始研究对齐问题时，我们完全不知道AGI将如何构建，也不知道如何让它安全。当时这个领域可能只有十几个人在兼职做这项工作。每个人都对如何解决这个问题感到困惑，愿意用深度学习进行实验的人少得可怜。从那时起变化太大了！世界不仅意识到AGI的重要性，也越来越重视对齐问题。大型语言模型上的RLHF让这个问题变得更具可行性。我们在评估、调查、引导和修复行为问题方面取得了大量进展。Claude 现在有了宪法，我们在可扩展监督方面也取得了一些良好进展。越来越多的对齐研究正在实现自动化。”

不要错过正在发生的事情

Image 1
Image 1

Jan Leike

@janleike

十多年前我刚开始研究对齐问题时，我们完全不知道AGI将如何构建，也不知道如何让它安全。当时这个领域可能只有十几个人在兼职做这项工作。每个人都对如何解决这个问题感到困惑，愿意用深度学习进行实验的人少得可怜。从那时起变化太大了！世界不仅意识到AGI的重要性，也越来越重视对齐问题。大型语言模型上的RLHF让这个问题变得更具可行性。我们在评估、调查、引导和修复行为问题方面取得了大量进展。Claude 现在有了宪法，我们在可扩展监督方面也取得了一些良好进展。越来越多的对齐研究正在实现自动化。

2026年5月8日 下午5:48

·

10.3K 次观看

4

1

114

5