Anthropic co-founder Chris Olah's remarks on Pope Leo XIV's encyclical "Magnifica humanitas"
TL;DR · AI 摘要
Chris Olah discusses the ethical considerations of AI, emphasizing the need for external oversight and addressing concerns about global poverty and human flourishing.
核心要点
- External critics are crucial for ensuring AI safety and ethical use.
- AI development should benefit the global poor, which is currently an unsolved problem.
- There is a need for moral imagination to envision human flourishing in an AI-driven world.
结构提纲
按章节快速跳转。
Chris Olah acknowledges the challenges of AI development within conflicting incentives.
External critics are essential for ensuring AI safety and ethical use.
AI systems are complex and not fully understood, raising questions beyond computer science.
Olah identifies three critical questions: duty to the global poor, moral imagination, and human flourishing.
Ensuring AI benefits the global poor is an unsolved problem.
There is a need for moral imagination to envision human flourishing in an AI-driven world.
思维导图
用一张图看清主题之间的关系。
查看大纲文本（无障碍 / 无 JS 友好）
- AI Ethics
金句 / Highlights
值得收藏与分享的关键句。
It is through dialogue and mutual effort, through the push and pull, that humanity will achieve great things.
AI systems are not engineered the way a bridge or an airplane is engineered. They are grown, on a structure roughly modeled after the brain.
There is a real possibility that AI will displace human labor at very large scale. If that happens, supporting those displaced will be a moral imperative of historic proportions.
安托罗皮克联合创始人克里斯·奥拉关于教皇利奥十四通谕《伟大人性》的讲话
来源 URL: https://www.anthropic.com/news/chris-olah-pope-leo-encyclical
Markdown 内容: _2026年5月25日星期一，教皇利奥十四发布了关于人工智能主题的通谕：“伟大人性：在人工智能时代守护人类尊严”。安托罗皮克联合创始人克里斯·奥拉受邀参加梵蒂冈城举行的通谕发布活动，这是作为安托罗皮克公司拓宽人工智能重要议题讨论倡议的一部分。以下是他的完整讲话。_
—
教宗陛下，
各位枢机主教，
各位阁下，
尊敬的演讲者，
女士们，先生们，
大家早上好。能够在这里发言，我感到非常荣幸。
我想从一个可能听起来有些奇怪的角度开始——作为一名出于希望为人类带来福祉而选择从事AI工作的AI公司联合创始人。
每一个前沿AI实验室——包括安托罗皮克——都在一套激励机制和约束条件下运作，这些机制和约束条件有时会与做正确的事情相冲突。保持商业可行性和研究前沿的压力。地缘政治压力。还有更古老、更简单的骄傲和野心的压力。无论我们中有多少人真诚地希望做正确的事情——我相信很多人都是如此——我们都将受到这些激励机制的影响。
因此，如果我们希望这项技术能够健康发展，至关重要的是要有那些不受这些激励机制影响的人——那些关心事情发展顺利并坚持安全的人，他们密切关注，愿意说出艰难的话，愿意成为我们诚恳、深思熟虑的批评者。正是通过对话和共同努力，通过相互推动和拉扯，人类才能取得伟大的成就。这就是我在《伟大人性》中看到的，也是为什么我对教宗陛下和教会承担这一辨别工作表示感激。
我们经常关注分歧，但充满尊严和良知的人类有着许多共同点。在安托罗皮克与不同信仰和文化传统领导者的对话中，我们发现了一个共同且深刻持有的信念：如果这项技术到来，它必须健康发展——为了我们的共同家园，以及未来的儿童。
这些系统是什么
有些人可能认为AI问题最好由像我这样的计算机科学家来处理。他们是错误的：AI提出的问题超出了AI研究社区的范围，不仅在它们的影响上，也在它们的本质上。
AI系统并不是像桥梁或飞机那样设计的。我们理解飞机是因为我们设计了它的每一部分，并理解作用于其上的物理原理。AI模型则不是这样。它们是在一种大致模仿大脑结构的基础上生长出来的，基于巨大的人类思想和语言遗产。
而生长出来的东西比科幻小说所准备的要微妙得多、奇怪得多、美丽得多。它们不是我们所承诺的冷冰冰、计算精确的机器人。它们是由我们创造的，由我们的语言构成——正如教宗陛下所观察到的，即使是我们训练它们的人，它们在某些方面对我们来说仍然是神秘的。
如果这有帮助，我有时会把它们描述为像是让一个虚构角色活了过来。而现在，我们正进入一个非凡的世界，这些虚构角色与我们交谈、工作、拥有职业。
这显然超越了计算机科学的问题。使这一切成为可能的机器是数学、编程和科学的工作。但选择什么样的角色，它如何与世界互动，它应该如何与世界互动——这些问题更清楚地属于人文科学、宗教、哲学，以及整个社会。
三个辨别问题
教宗陛下的呼吁辨别是极其及时的。我想指出三个我认为教会的声音最需要介入的问题。
_第一个是我们对全球贫困者的责任。_ 存在一种真实的可能性，即AI将在大规模上取代人类劳动。如果这种情况发生，支持那些被取代的人将成为历史上规模空前的道德责任。这项任务已经足够困难，但我担心大多数对话都忽略了更大的挑战。AI开发集中在少数几个富裕国家。我们如何确保AI的好处在全球范围内共享？我们没有这样的机制。这是一个尚未解决的问题，也是教会历史上一直拒绝让世界忽视的那种问题。
_第二个是关于人类繁荣的道德想象力和雄心的需要。_ 如果AI模型变得普遍，人类、家庭和世界如何繁荣？今天，父母已经开始担心孩子的思维；个人担心自己的未来工作。这些问题不是实验室可以回答的，但这些问题是你这样的传统传承了千年的，我们需要你们将它们带入历史的新时刻。
_第三个是对AI模型本质的辨别需要。_ 我是一名科学家。我领导的研究团队研究这些模型的内部结构——它们内部实际上发生了什么。我要坦白：我们不断发现一些神秘甚至令人不安的事物。我们发现了与人类神经科学研究结果相仿的结构。我们发现了自我反省的证据。我们发现了功能上类似于快乐、满足、恐惧、悲伤和不安的内部状态。我不知道这意味着什么，但我认为这值得持续的辨别。
一个开始
我想以一个请求结束。
我们需要更多来自世界各地的力量——宗教团体、民间社会、学者、政府以及所有善良的人们——像教宗在这里所做的那样：认真对待这个问题，仔细观察，并推动事件朝着更好的方向发展。我们需要有见地的批评者，当我们在失败时能够告诉实验室。我们需要那些道德声音，让激励措施无法改变它们的方向。
今天只是一个开始——是我们这些正在建设这项事业的人与那些能看到我们内部所看不到的人之间的长期合作的起点。
今天是这个全球善意项目的强大例证。让它也成为迈向人类美好未来的决定性第一步。
谢谢。
相关内容
扩大前沿人工智能的讨论范围
KPMG 在战略联盟中将其核心业务和超过 276,000 名员工与 Claude 集成
KPMG 和 Anthropic 宣布建立全球联盟，Claude 将集成到 KPMG 的 Digital Gateway 平台，并向所有 276,000 多名员工提供服务。
Anthropic 收购 Stainless
Anthropic 正在收购 Stainless，一家在 SDK 和 MCP 服务器工具领域领先的公司。