#787.Ilya：预测得越好，模型越懂世界

#787.Ilya：预测得越好，模型越懂世界 - 跨国串门儿计划 | 小宇宙 - 听播客，上小宇宙

📝 本期播客简介

本期我们克隆了：Eye On A.I. · Chat GPT's Creator Explains The Shocking Truth About How AI Understands the World | Ilya Sutskever

原内容更新时间：Fri, 09 Oct 2026

语言模型只是学会了文字里的统计规律，还是已经在理解文字背后的世界？Ilya Sutskever 的回答是：要把数据预测好、压缩好，模型就需要越来越了解产生这些数据的世界。

这场对话录制于 Ilya 还在 OpenAI 担任首席科学家的时期。他从深度学习和 GPT 的发展讲起，解释模型为什么会产生幻觉：预训练让它学到丰富的世界知识，但并不直接保证输出准确；人类反馈强化学习则负责纠正输出。他还谈到多模态学习、如何让模型用更少数据学得更快，以及 AI 可能怎样帮助公民更直接地表达对公共事务的期待。

👤 本期嘉宾

Ilya Sutskever，Safe Superintelligence Inc. 联合创始人、首席科学家，曾任 OpenAI 首席科学家，也是 GPT-3、GPT-4 背后的主要研究者之一。他从 17 岁起便与 Geoff Hinton 合作研究机器学习，参与推动深度学习发展，对神经网络如何学习、语言模型的能力与局限都有长期研究经历。

⏱️ 时间戳

从意识问题到深度学习

01:24 意识问题让他走进 AI

01:59 2003 年，计算机能学习还不被看好

04:12 大型深度网络为何可能成功

GPT与规模效应

06:17 OpenAI 早期探索预测下一个词

07:35 Transformer 论文发表次日就转向

08:51 《苦涩的教训》把规模效应说得太满

语言模型的理解与幻觉

11:47 他不同意模型只是学统计规律

12:25 预测得好，最终需要理解生成过程

15:17 预训练不保证输出准确

可靠模型与AI的未来

26:19 让模型更可靠、更可控

31:20 AI或能汇总公民更多意见

🌟 精彩内容

💡 预测文字，也是在学习世界

要把文字预测得足够好，模型就必须逐渐理解产生这些文字的真实过程。Ilya 认为，模型理解的不只是文字本身，也是文字所投射出来的世界。

"要把数据预测好、压缩好，就需要越来越了解产生这些数据的世界。"

💡 学到了世界，不等于答得准确

预训练让模型形成关于世界的丰富表征，却没有直接训练它给出符合期待的答案。ChatGPT 还要经过基于人类反馈的强化学习，学习哪些输出不合适、下次该怎样调整。

"语言模型更擅长学习、了解世界，对各种想法、概念、人，还有现实中存在的过程，学到非常出色的表征。"

💡 他认为幻觉有机会被彻底解决

模型编造事实，限制了实际用途。Ilya 认为，让用户的反应反馈给模型、再改进强化学习过程，或许能教会模型不产生幻觉。

"这种方法有相当大的机会彻底解决幻觉问题。"

💡 只靠文字，模型也能学颜色关系

模型从文字中学到颜色之间的相似程度：紫色更接近蓝色，而不是红色。视觉能让这种学习更快，但 Ilya 不认为视觉是理解世界的必需条件。

"紫色跟蓝色更像，跟红色没那么像。"

💡 AI可能让民主听见更多人的意见

Ilya 想象，公民可以向神经网络提供信息，表达希望事情变成什么样，再由系统汇总这些意见。这可能形成一种传递大量信息的民主形式，而不只靠投票表达偏好。

"这也许可以成为一种能传递大量信息的民主形式，从每个公民那里获取多得多的信息。"

🌐 播客信息补充

本播客采用原有人声声线进行播客音频制作，也可能会有一些地方听起来怪怪的

使用 AI 进行翻译，因此可能会有一些地方不通顺

如果有后续想要听中文版的其他外文播客，也欢迎联系微信：iEvenight