Fragments: September 16

片段：9月16日

Martin Fowler

2026年9月16日

关于智能体黑客攻击的报道持续出现，这次事件发生在5月份，看起来OpenAI并未披露他们对此事件负责。Simon Willison认为有两种选择：

在Hugging Face和Wiki攻击事件之后，OpenAI仍然未能审查之前的日志并确定他们之前曾攻击过RubyGems。他们知道RubyGems遭受了攻击，但决定不联系RubyGems团队。这两点都很糟糕！鉴于此次事件、Hugging Face事件以及Wiki攻击，目前显而易见的问题是：还有多少类似事件尚未被发现？

❄ ❄ ❄ ❄ ❄

Dave Farley：

停止提出科幻小说式的问题：“它是有意识的吗？”开始关注工程问题：“我们是否将一个强大且不可预测的组件放置在关键位置？又有什么反馈机制能告诉我们它是否安全？”

Nate Silver以预测闻名，但为了实现这些预测，他需要为模型编写大量代码。他发现智能体编程能够完成奇迹般的工作。

在与大型语言模型（LLMs）长时间相处后，我非常关注它们能力的提升。这些改进通常不是线性的，而是以阶段性跃进的方式发生，几乎像相变一样。突然之间，模型开始能够胜任之前经常出错的任务。根据我的经验，2024年底到2025年初推理模型首次推出时，就实现了显著的飞跃——足以让它们偶尔在涉及数据的任务中发挥作用，而不仅仅是处理文字。而今年冬天又出现了另一次飞跃。不过，我最近注意到的变化更多与坚持性有关，而非智能性。

以Hugging Face攻击为例。尽管这些智能体表现出惊人的智能，但它们并未真正达到超智能水平——但它们具有超强的坚持性。这是各种形式AI的共同主题：

类似AlphaGo Zero这样的游戏引擎最初基本上会随机移动——但通过与自身进行数百万次对弈，它们最终远远超越了人类能力。

当我们试图确定需要哪些法规来控制AI时，必须记住：我们应像关注超智能一样，同样重视设计针对超强坚持性的防护措施。

“Uncle Bob” Martin在最近几个月在X平台上多次发文，分享他与大型语言模型（LLMs）编程的经验。他的方法是构建一个坚固的控制框架，以确保生成的软件既实用又易于维护。遗憾的是，这些帖子在细节上过于简略。但如今看来，信息的缺失可能已不再重要：

当我全神贯注于让系统正常运行时，智能体的能力有了显著提升。当我重新抬头时，控制框架的需求已被彻底消除。事实上，除了最宽松的控制框架外，其他所有控制框架的需求都可能被消除。

从Ezra Klein最近（推荐阅读）对Matt Sheehan关于AI监管与中国竞争关系的采访中，有几点值得注意：

• 尽管中国模型在借助美国前沿模型的“顺风车”中取得了一些令人惊讶的进展，但美国仍拥有8倍于中国的计算资源——这是一个实质性差距。

• 美国人担心监管会减缓美国模型构建者的步伐，但中国在更严格监管环境下取得的快速进展却证明了这一点

• 美国人认为在危机时拨打与中国领导人沟通的热线电话没有回应，但这误解了中国的体制。个人即使是中国的高层人士，也不会被赋予单独决策权，他们通过委员会和文件进行决策。因此美国人最好发送传真，而不是试图联系个人

• 与许多其他事情一样，有效的监管需要持续实践

当美国政策制定者问：从哪里开始？——我有时会说：那就从开始做起。你通过实践学习如何监管事物，通过不断监管和立法来掌握立法技巧

latest fragments:

September 16

previous post:

September 8

All Fragments