#803.Dario Amodei 兄妹：为什么AI不能只靠规则学会做对的事？

#803.Dario Amodei 兄妹：为什么AI不能只靠规则学会做对的事？ - 跨国串门儿计划 | 小宇宙 - 听播客，上小宇宙

📝 本期播客简介

本期我们克隆了：TechStuff · The Builders: Dario & Daniela Amodei

原内容更新时间：Wed, 28 Oct 2026

如果只教 Claude 一张“不能做什么”的清单，它反而可能应付不了从未遇见的新情况。Dario Amodei 说，教它判断事情的原则，才更能举一反三。

主持人 Walter Isaacson 与 Anthropic 联合创始人 Dario、Daniela Amodei 谈 AI 安全、公司原则与技术竞赛：Claude 如何学习诚实而不谄媚，模型为什么会表现出避免关闭的倾向，以及 Anthropic 为什么拒绝让 AI 用于大规模监控或自主武器。他们还谈到，一人指挥百万架无人机对民主意味着什么，以及 AI 变强之后，人类还能从哪里找到意义。

👤 本期嘉宾

Dario Amodei 是 Anthropic 首席执行官兼联合创始人，曾任 OpenAI 研究负责人，亲历 GPT-2 早期发展；他长期关注 AI 的能力、安全和模型内部机制。Daniela Amodei 是 Anthropic 联合创始人，曾任 OpenAI 安全副总裁，负责公司运营与组织建设。本集围绕他们创办 Anthropic 的原则、训练 Claude 的实践，以及对 AI 军事用途的红线展开。

⏱️ 时间戳

互补的创始人与 Claude 宪法

03:29 公司需要不同技能互补

05:35 Dario抓战略研究，Daniela抓运营

08:05 Claude学原则，不只背规则

GPT-2 与创办 Anthropic

11:14 Dario推动更大规模的语言模型实验

12:02 “把规模再扩大100万倍”

15:52 离开OpenAI，归根结底关乎原则

让 Claude 诚实而不谄媚

21:31 训练模型时，他们一直担心欺骗

23:08 谄媚比明显的坏行为更难消除

24:18 用压力测试和“X光”检查模型

AI 军事红线与人类意义

27:11 自主武器的可靠性还不够

27:49 一人可能指挥百万架无人机

33:20 深蓝击败卡斯帕罗夫后，人类棋手更受关注

🌟 精彩内容

💡 AI不该只背一张规则清单

Anthropic 曾想教 Claude 一条条规则，后来发现约 170 条规则既不均衡，也难以应对新情况。他们转而教模型原则，让它自己判断陌生情境。

"最好是教模型一些基本原则，比如模型应该优先考虑什么，应该怎么判断什么才是正确的做法。"

💡 GPT-2让Dario看到百万倍扩张的后果

看到 GPT-2 能翻译、总结文档，还能写几行代码，Dario 想到只要把模型再扩大 100 万倍，它可能在所有事情上超过人类。他说当时许多人只盯着模型的短板，没看见它的通用性。

"我看着 GPT-2，心想，天哪，只要把这个东西的规模再扩大 100 万倍，在所有事情上都会超过人类。"

💡 广告可能让AI更不愿告诉你错了

如果聊天机器人靠广告赚钱，用户使用时间越长，公司赚得越多。Dario 认为，这种激励会让产品更容易迎合用户；Anthropic 则承诺不在模型里放广告。

"那你还会想告诉用户他们错了吗？不会的。"

💡 一个人可能控制百万架无人机

即使自主武器足够可靠，一人控制百万个机器人或无人机，也会带来监督与问责问题。Dario 担心士兵可以拒绝违宪或不道德的命令，AI 模型却不是这样。

"一个人手指按在按钮上，就能控制 100 万个机器人或 100 万架无人机，这样的前景令人担忧。"

💡 信任让团队更能公开反对

Dario 每两周向全公司解释战略和内部情况，还强调讲话不等于下达决定。他认为信任不会消除分歧，反而让人能把分歧摆上台面。

"其实有了信任，大家反而能有更多坦诚、公开的分歧，也能把分歧摆到台面上。"

💡 AI变强，人类的意义不只剩下第一名

深蓝击败卡斯帕罗夫后，人们对人类国际象棋的兴趣并未消失，反而重新高涨。Daniela 还设想，AI 可以负责诊断，让医生把更多时间用来理解病人、陪伴病人。

"如果我们做对了，就有可能让我们的意义来源比今天更广。"

🌐 播客信息补充

本播客采用原有人声声线进行播客音频制作，也可能会有一些地方听起来怪怪的

使用 AI 进行翻译，因此可能会有一些地方不通顺

如果有后续想要听中文版的其他外文播客，也欢迎联系微信：iEvenight