Rohin Shah 谈在 Google DeepMind 推动 AGI 安全的真实体验(以及我为何不同意‘末日论者’)
Rohin Shah 认为,尽管 AGI 安全风险值得重视,但灾难性对齐失败并非不可避免,常规对齐技术有望成功防止最坏情况,且当前主流担忧在实际训练中并不构成默认路径。
入选理由:Rohin Shah 认为灾难性 AGI 对齐失败不是默认结果,缺乏足够强的论证支持其必然发生。
概念
别名:人工通用智能
具备人类水平通用智能的AI系统
已跟踪 30 条高相关材料
最近变化
2026-09-02 · Gemini 4是Google迄今最具雄心的预训练模型,但未公布具体时间表
为什么值得关注
AGI 被反复提及时,通常意味着它正在影响产品路线、开发者工作流或 AI 产业判断。这个页面把分散材料合并成一个可持续更新的观察入口。
What it's really like to run AGI safety at Google DeepMind (and where I disagree with 'doomers') | Rohin Shah
80,000 Hours Podcast · 9 分
Rohin Shah 认为,尽管 AGI 安全风险值得重视,但灾难性对齐失败并非不可避免,常规对齐技术有望成功防止最坏情况,且当前主流担忧(如欺骗性行为)在实际训练中并不构成默认路径。
#514.DeepMind创始人Demis Hassabis谈AGI、AlphaFold与科学发现的未来
跨国串门儿计划 · 9 分
DeepMind创始人Demis Hassabis在播客中分享了从国际象棋神童到诺奖得主的历程,探讨了通用人工智能(AGI)的关键缺失组件,如持续学习与长期推理,并揭示了AlphaFold、Gemini模型对科学发现的影响及未来AI在材料科学、药物发现等领域的变革潜力。
Build to Last
fast.ai Blog · 8.7 分
本文探讨了在AI快速发展的背景下,软件开发应如何坚持长期主义与工程 craftsmanship,通过引用Chris Lattner的访谈强调设计从第一性原理出发、构建可持久系统的重要性,并警示过度依赖AI生成代码可能导致技术理解力下降。
已收录 30 条与 AGI 相关的内容,按评分排序。
Rohin Shah 认为,尽管 AGI 安全风险值得重视,但灾难性对齐失败并非不可避免,常规对齐技术有望成功防止最坏情况,且当前主流担忧在实际训练中并不构成默认路径。
入选理由:Rohin Shah 认为灾难性 AGI 对齐失败不是默认结果,缺乏足够强的论证支持其必然发生。
DeepMind创始人Demis Hassabis在播客中分享了从国际象棋神童到诺奖得主的历程,探讨了通用人工智能(AGI)的关键缺失组件,如持续学习与长期推理,并揭示了AlphaFold、Gemini模型对科学发现的影响及未来AI在材料科学、药物发现等领域的变革潜力。
入选理由:Demis认为当前AI系统需突破持续学习、长期推理和高效记忆机制以接近AGI。
本文探讨了在AI快速发展的背景下,软件开发应如何坚持长期主义与工程 craftsmanship,通过引用Chris Lattner的访谈强调设计从第一性原理出发、构建可持久系统的重要性,并警示过度依赖AI生成代码可能导致技术理解力下降。
入选理由:Chris Lattner创建的LLVM已成为Rust、Swift等主流语言的基础编译器基础设施,支撑全球数十亿设备运行。
Google DeepMind确认Gemini 4训练进展顺利但保持低调,承认当前模型质量落后于前沿,并透露技术路线已转向智能体开发。
入选理由:Gemini 4是Google迄今最具雄心的预训练模型,但未公布具体时间表
Rich Sutton认为AGI不会是单一思维,而是多个系统协同学习,因‘大世界假设’指出单一系统无法掌握无限知识。
入选理由:AGI需要多个系统协同,单一系统无法学习无限知识(基于‘大世界假设’)
OpenAI计划于2026年底实现AGI,同时推出开源机器人Microduck。文章分析其技术路线与行业影响。
入选理由:OpenAI预计2026年底实现AGI,Astra模型是关键突破
OpenAI通过算力优化与超快模式实现大模型普惠化,递归自我改进重构推理基础设施,个人AGI将突破代码界面限制。
入选理由:超快模式使推理速度提升14倍,重构开发者心流体验
2026年AGI时间线因Claude Opus 4.5突破发生剧变,专家观点从悲观转向乐观,但核心分歧仍存。
入选理由:Claude Opus 4.5的发布使AI能力实现数量级提升,引发行业震动
Toby Ord认为递归自我改进(RSI)不会导致智能爆炸,因AI研究需更多突破,而非仅编程自动化。
入选理由:AI研究需要重大突破,自动化实验无法替代战略决策和架构创新。
Google因战略选择退出AI竞赛,转向世界模型而非递归自我改进,与OpenAI/Anthropic路径形成根本分歧。
入选理由:Google DeepMind押注世界模型而非递归自我改进(RSI)实现AGI
OpenAI首席未来学家Joshua Achiam认为社会可能已进入AGI时代但未完全意识到,AI在网络安全和模型能力上的快速进步是关键因素。
入选理由:AI递归自我改进可能使漏洞发现速度超过人类修补速度
真正的AI护城河在于数据、工程和基础设施,而非架构创新。卡内基梅隆大学教授Russ Salakhutdinov预测AGI短期内难以实现,模型竞争将转向产品化,预测系统可能取代传统咨询。
入选理由:AGI短期内无法实现,核心突破在数据和工程而非架构
Poolside AI通过模型工厂技术实现高效训练,其Laguna S 2.1模型以118B参数规模超越竞品,揭示AGI研发路径与工程实践细节。
入选理由:模型工厂支持每月10,000–20,000次实验,实现8周内完成模型从预训练到发布的全流程
Poolside通过Model Factory每月运行10,000-20,000次实验,加速AGI研发并提出未来需100家基础模型公司。
入选理由:Poolside Model Factory每月运行10,000-20,000次实验,新模型迭代周期短至8周。
DeepMind推出DiffusionGemma模型,通过扩散生成技术提升推理效率,强调构建复杂环境对通用人工智能(AGI)的关键作用。
入选理由:DiffusionGemma采用扩散生成技术,可同时生成整段文本并自我修正。
ARC-AGI-3数据集展示了人类在抽象推理任务中的表现,为AGI研究提供了基准。458名参与者完成135个环境测试,所有任务均被人类解决。
入选理由:ARC-AGI-3包含135个可被人类解决的抽象推理环境
未来训练范式可能通过大规模强化学习和上下文学习实现AGI,解决当前模型的数据低效和持续学习问题。
入选理由:通过训练AI完成数百万个可验证任务,可能实现AGI。
AI代理正在从工具转变为自主行动的智能体,可能引发新的经济形态和AGI发展。
入选理由:AI代理不仅能回答问题,还能执行任务并与其他代理互动。
Google DeepMind提出AGI只是起点,未来可能发展为人工超级智能(ASI)并超越人类智能。
入选理由:AGI是通向人工超级智能(ASI)的起点,而非终点。
美国政府对Anthropic的限制标志着AGI时代AI治理的新阶段,引发对AI监管、安全与经济影响的深刻讨论。
入选理由:美国政府对Anthropic的限制可能对AI发展造成长期负面影响。
LlamaIndex 推出 ParseBench,首个面向 AI 的文档解析基准,强调文档理解是实现 AGI 的关键挑战。
入选理由:ParseBench 是首个面向 AI 的文档解析基准,包含 167K+ 测试规则。
当前AI架构存在数学天花板,AGI不可行。Vishal Sikka指出AI系统不可靠,行业炒作掩盖了技术本质。
入选理由:AI系统存在数学证明的固定天花板,无法突破架构限制
2027年AGI将引发大规模失业,30%特定行业岗位消失,AI自动化导致初级白领职位冻结,人类需转向高情感连接职业以应对冲击。
入选理由:到2028年,30%的特定行业岗位将被AI取代,如客服和图形设计。
Listen Labs 利用 AI 驱动的语音访谈平台,实现大规模客户洞察收集,已服务 20% 的《财富》500 强企业,并通过模拟预测未来用户行为,解决‘该构建什么’的核心问题。
入选理由:Listen Labs 平台可同时运行数千次语音访谈,覆盖 3000 万参与者,支持从软件工程师到皮肤科医生等各类人群。
纳瓦尔·拉维坎特在播客中指出,AI 正在重塑组织协作模式,从层级管理转向扁平小团队与高密度人才网络;他担忧AI可能加剧集中化,但也认为开源与硬件复兴能打破垄断;最终呼吁人类必须培养‘不理性乐观’以应对不可预测的未来。
入选理由:Naval 认为 AI 是天然放大器,可直接读取代码/论文/邮件生成报告,无需正式管理系统。
Gary Marcus认为,如果在2020年提出的AI十年规划中所有建议都得到实施,我们可能已经达到了AGI。然而,过度依赖纯扩展导致其他关键目标进展缓慢。
入选理由:Gary Marcus在2020年的arXiv文章中提出了AI十年规划。
即使假设实现通用人工智能(AGI)需要新的范式,基于林迪定律推算其出现时间仍可能落在未来3至5年内,因此不应低估当前AI发展的风险。
入选理由:前沿AI系统很可能继续沿用神经网络和深度学习架构,因为大脑本身就是一种神经网络。
谷歌CEO Sundar Pichai预测代理技术将成为互联网的核心交互方式,强调用户信任与透明度的重要性,同时指出AGI发展、网络安全和全球技术竞争中的挑战。
入选理由:Agents will transform workflows by automating tasks like DMV license renewal, but require trust built through safety and transparency (e.g., Waymo's autonomous driving).
马斯克与阿尔特曼的诉讼进入关键阶段,陪审团将决定谁更可信。
入选理由:陪审团将在下周做出裁决,结果可能影响OpenAI的IPO计划。
AI 能提升速度,但无法保证正确性,组织需在单位时间内做出正确选择。
入选理由:AI 可以无限放大速度,但不能确保正确性。