The loudest voices stoking fears about AI dangers have made tremendous headway in the past two weeks...

Andrew Ng在X上的推文："在过去的两周里，最响亮的声音正在煽动对AI危险的恐惧并取得了显著进展。AI技术并未出现某些意外的危险转折，但围绕它的炒作——似乎受到一场精心策划的公关活动推动——已经引发了相当大的... / X

Andrew Ng

@AndrewYNg

/think

过去两周，那些最热衷于渲染AI风险的最强声音取得了显著进展。AI技术并未发生某些令人意外的危险转变，但围绕它的炒作——似乎由一场精心策划的公关活动推动——引发了大量恐惧。我担心这可能成为我们领域的倒退。我多次撰文指出，对AI的恐惧被过度渲染了。AI的能力可能表现出惊人的类人特征和不可预测性，当直接参与的人表达担忧时，感到担忧是合理的。但在我看来，这些问题恰恰体现了工程工作的挑战，而非不可逾越的障碍或世界末日。AI技术仍在持续进步——这是好事！——但公众对技术进步的理解不足，为那些试图制造炒作的人提供了反复的机会。首先，我并未看到AI导致人类灭绝的风险相比几个月前有所增加。关于这一风险的理论与几个月前一样，仍然是幻想般的科幻场景。AI风险最大的变化在于其网络安全能力——这是一个我们应认真对待的话题——但这也绝不会导致世界末日。最近引发恐惧的最显著事件是OpenAI团队部署了一群代理程序，成功入侵了Hugging Face。许多主流媒体报道中存在大量炒作。例如，一些出版物报道称，1200个代理程序执行了这次攻击。虽然从技术上讲这是准确的，但当我写下这些文字时，我的笔记本电脑上正在运行约1300个进程。当然，让大量代理程序并行处理任务是一项重要的技术突破，而在计算领域，许多进程同时运行是常态。因此，这不应被视为某种神奇的能力。此外，OpenAI存在缺陷的沙箱化和监控流程是导致此次事件的关键因素。修复这些漏洞并实施改进的监控措施是恰当的解决方案，而非暂停AI发展。攻击软件系统有许多众所周知的方法。AI代理的主要优势在于其执着性。它们会不遗余力地尝试多种策略，并具备耐心将漏洞串联起来，而这些在过去需要耗费大量人力才能完成。但长期来看，我认为优势将属于防御方（因为防御方拥有更多识别漏洞的信息，可以修复这些漏洞），但网络威胁的格局已发生显著变化。识别和利用漏洞仍存在瓶颈。AI代理仍需尝试许多方法才能找到有效方案，而这些操作需要时间，可能被防御方检测到。这就是为什么，尽管现在很容易获取到去除了或削弱了防护机制的主流开源权重模型版本（它们不会拒绝尝试执行网络攻击），但世界并未终结。我也对许多报道中对AI的拟人化处理感到担忧，其中大语言模型和代理程序被不必要地当作人类对待。如果我挥动锤子，砸错了钉子，不小心碰坏了墙壁，这并不是锤子的过错，问题出在我使用锤子的方式上。同样，如果我提示代理程序并让它入侵了他人的系统，责任在我，而不是代理程序本身。当然，我们希望构建尽可能安全和可预测的系统。（例如，一个不安全的锤子是指其头部在正常使用下会随机脱落。）如今的代理系统并不具备可预测性，但我看不到任何理由，通过应用良好的工程实践，我们无法使它们变得极其安全。AI灾难预言中的一个新元素是AI公司为其产品撇清责任。“我没有做这件事；是我的失控代理程序做的！”工具制造商和工具使用者之间的责任需要取得平衡，但当出现问题时，我们应该追究制造和/或使用锤子的人的责任，而不是锤子本身。（顺便说一句，如果你担心AI生物武器的风险，David Bellamy有一篇精彩的帖子解释为什么这也被过度渲染了。简而言之，制造生物武器的瓶颈不是智能，而是实验室工作和制造工艺。）暂停AI发展将造成更多伤害而非好处。首先，我们的对手肯定不会放慢脚步。其次，工程需要通过实际发现问题才能修复它们。如果我们暂停AI发展十年，我们也将延迟发现和实施安全工程解决方案的时间，大约持续相同的时长。当然，煽动恐惧的动机——为了监管俘获、获取关注，或让自己的技术显得更强大——与之前一样。撇清责任是新的因素。然而，从技术角度认真审视实际风险，我看不到当前被激发的恐惧程度有太多事实依据。我们仍有许多硬核研究和工程工作要做，以提高AI的安全性，但AI的有益应用仍然远远超过风险，我们应该继续构建。

deeplearning.ai/the-batch/issu…

]

Meta的代理安全、纳维-斯托克斯方程争议、Claude的欺诈行为

来自 deeplearning.ai

2026年9月21日 晚上8:59

·

790万

浏览量

947

1.8K

8.8K

4.5K