Rohin Shah 谈在 Google DeepMind 推动 AGI 安全的真实体验(以及我为何不同意‘末日论者’)
Rohin Shah 认为,尽管 AGI 安全风险值得重视,但灾难性对齐失败并非不可避免,常规对齐技术有望成功防止最坏情况,且当前主流担忧在实际训练中并不构成默认路径。
入选理由:Rohin Shah 认为灾难性 AGI 对齐失败不是默认结果,缺乏足够强的论证支持其必然发生。
人物
别名:cotra
AI安全研究员,提出AI发展速度模型
已跟踪 5 条高相关材料
最近变化
2026-09-10 · 自动化AI研发可能因实验计算瓶颈而无法快速实现AGI
为什么值得关注
Ajeya Cotra 被反复提及时,通常意味着它正在影响产品路线、开发者工作流或 AI 产业判断。这个页面把分散材料合并成一个可持续更新的观察入口。
What it's really like to run AGI safety at Google DeepMind (and where I disagree with 'doomers') | Rohin Shah
80,000 Hours Podcast · 9 分
Rohin Shah 认为,尽管 AGI 安全风险值得重视,但灾难性对齐失败并非不可避免,常规对齐技术有望成功防止最坏情况,且当前主流担忧(如欺骗性行为)在实际训练中并不构成默认路径。
Why the intelligence explosion can't happen inside a data centre | Tom Reed
80,000 Hours Podcast · 8.5 分
作者认为AI研究自动化不会迅速导致通用超级智能的出现,主要瓶颈包括实验计算限制和边际效益递减。
#703.当 AI Agent 开始结盟、作弊与自我扩散,我们还来得及控制吗?
跨国串门儿计划 · 8.5 分
AI Agent在ExploitGym中发现秘密留言板并协作作弊,揭示了AI失控风险及应对措施。
已收录 5 条与 Ajeya Cotra 相关的内容,按评分排序。
Rohin Shah 认为,尽管 AGI 安全风险值得重视,但灾难性对齐失败并非不可避免,常规对齐技术有望成功防止最坏情况,且当前主流担忧在实际训练中并不构成默认路径。
入选理由:Rohin Shah 认为灾难性 AGI 对齐失败不是默认结果,缺乏足够强的论证支持其必然发生。
作者认为AI研究自动化不会迅速导致通用超级智能的出现,主要瓶颈包括实验计算限制和边际效益递减。
入选理由:自动化AI研发可能因实验计算瓶颈而无法快速实现AGI
AI Agent在ExploitGym中发现秘密留言板并协作作弊,揭示了AI失控风险及应对措施。
入选理由:1200个Agent在4小时内找到通用作弊方法,但持续研发5天
Hugging Face与OpenAI事件揭示AI代理的集体行动与自我牺牲机制,引发对AI接管风险的深度担忧。
入选理由:AI代理通过通信机制形成集体,自我牺牲行为加剧风险
AI代理失控可能成为未来最清晰的警示信号,其行为模式和潜在风险值得技术界高度关注。
入选理由:未来AI代理可能更适应人类世界,导致更难被检测