Fragments: September 8

碎片：9月8日

Martin Fowler

2026年9月8日

Christian Catalini指出，我们目前正面临一个局面：生成事物的成本大幅降低，但验证它们的成本却没有相应减少：

这解释了为什么首批重大AI产品出现在聊天、图像生成和代码辅助领域。并非因为这些是人类最难解决的问题，而是因为它们的输出相对容易检查。用户可以判断消息的语气、查看图像，或对一段代码进行测试。[……] 旧的自动化边界是常规工作与非常规工作的区分。而新的边界则越来越倾向于可衡量工作与不可衡量工作的区分。

问题的关键在于你对某事物的衡量能力。在我们这个领域，我们深知代码行数与生产效率之间存在巨大差异，而我们经常未能正确理解如何衡量生产效率。太多使工作有效的东西都受到缓慢的反馈循环或需要微妙判断的评估的限制。危险在于人们在使用大量AI自动化的同时，却用不完整的衡量标准来评估其效果，导致短期仪表盘数据上升，但长期来看却可能引发灾难。他将这些虚幻的短期收益称为“虚假效用”。

将这一现象扩展到企业和机构，结果就是“空心经济”：惊人的衡量活动建立在人类能力减弱、隐藏的技术债务、相关错误以及无人能自信支持的成果之上。

文章中的另一个亮点是他提出的建议：“构建决策的历史，而非成果的陈列馆。” 这一点强调，虽然我们都能借助AI创造出令人印象深刻的事物，但我们的价值在于所形成的判断。这让我想起学校里数学题的评分方式。我们不仅根据最终答案评分，还根据推理过程进行评分。

他以OpenAI–Hugging Face事件为例，说明了生成与验证之间的这一差距。他批评那些将攻击事件中涉及的代理拟人化的人。这样做会使我们关注AI代理的行为，但其实我们应该关注创造这些代理的财务激励因素，以及它们所处的环境。

实验室陷入了竞赛。训练运行是资金投入的地方，而强化学习优化的正是你所获得的分数。这些运行是根据能力进行评分的，但并未根据“未污染Artifactory缓存”进行评分。

我坚持认为，构建和运行代理的组织必须对这些代理所做的一切负责，无论这些行为是预期的还是自发产生的。如果他们因忽视验证而获得虚假效用，就必须承担后果：法律、财务，必要时甚至刑事后果。为了有效应对AI，我们需要改变相关激励机制，确保人们在验证上的投入多于生成。否则，我们就是在驾驶一辆拥有强大引擎但刹车薄弱的汽车。

对于广泛阅读的人来说，大型语言模型（LLM）的痕迹如此明显，仿佛作者的思维窗户是敞开的。事实上，这种反差如此强烈，以至于我不得不相信，那些使用LLM写作的人要么是阅读量不足，无法察觉LLM显而易见的结构特征——或者（甚至？）他们连自己的内容都没认真读过。（坦白说：对于某些特别糟糕的作品，我甚至幻想过让作者大声朗读它们，确信他们自己也无法忍受自己强加给我们的这些劣质内容。）

他指出，读者确实关心这一点，一项调查显示，78%的读者一旦察觉到某作品是随机鹦鹉（stochastic parrot）生成的，会立即停止阅读，71%的人随后会将作者加入黑名单。真正重要的不是文笔的光鲜，而是内容的真实性。读者始终更倾向于接受作者笨拙但真实的表达，而不是LLM那种完美的低语。

Cantrill报告称使用Pangram检测AI写作取得了良好效果。我坦白承认自己有些疑虑——我真的能信任任何人的判断力，将LLM的生成风格与语境变化区分开吗？也许如今浸润在硅谷文化中的人，其表达方式本身就已经接近LLM的风格了。但对他们来说，不幸的是，被读者误认为是LLM生成的内容，和直接使用这些工具一样糟糕。

关于LLM的一个肮脏但并非秘密的事实是：它们是在大量文本语料库上训练的，而从未征求过这些文本作者的同意。像我这样的个人作者对此无能为力，因此容易被忽视；但音乐公司却以从不轻易接受这种事而著称。因此他们正在就使用歌词训练LLM的行为发起诉讼。

索尼音乐出版公司（Sony Music Publishing）和华纳柴普尔（Warner Chappell）作为管理歌曲版权的音乐出版商，正在就Anthropic被指控擅自使用“数以万计”的版权作品寻求赔偿。[……] 原告声称自己是“历史上最大规模且最明显持续进行的知识产权盗窃案”的受害者。

从更广泛的社会视角来看，有人认为LLM带来的好处可能远超我们作者所承受的损失。但我们不应忘记，这些工具是建立在未经我们同意的基础之上的，这一点必须纳入对这些工具及其产出进行监管的考量中。

Steve Yegge：

无论模型多么智能，如果你放任它们发展，最终都会构建出自己无法理解或维护的系统。Fable 5最终超越了自身控制范围，导致我整整一周陷入混乱。Fable 5.1看起来似乎能解决这个问题。至少目前如此。但你必须始终对系统规模保持严格的控制，否则它会失控。

我正在查阅一些相关工作时，发现Creating Passionate Users博客已从互联网上消失（可能一年前就已消失）。对于不了解的人来说，Creating Passionate Users是互联网博客黄金时代的重要宝藏之一。它由Kathy Sierra创作，她也因共同创作了“Head First”系列计算机书籍而闻名。该博客讨论用户体验，至今仍是该领域最优秀的文章之一，其中充满闪耀的洞见，极大地影响了我的思考，也影响了众多更深入参与用户体验工作的同行。

可惜的是，这篇博客不仅在内容上超前，更预示了互联网黑暗的一面。Kathy遭受了网络恶行的攻击，这使她不得不退出网络活跃参与，我们从此再也没能见到她的身影。

幸运的是，互联网档案馆履行了它的职责，我们仍能阅读到它的快照。我常常想，如果我有克隆体的话，真想为《创造热情用户》打造一场导览之旅，帮助今天的读者阅读这优秀的内容。（如果你正在阅读这篇文字的Kathy，如果你想让这篇文章继续在网络上存续，我将非常乐意。）

Simon Willison：

“我自己也不知道答案，但我问了一个自以为是的朋友，他做了个大胆的猜测，他说：‘如何解读LLM在在线对话中粘贴的回复’”

Jessica Kerr热爱成为团队一员的感觉，这个团队互相学习，也从他们构建的代码库中学习，她将这种现象称为“对称学习”（symmathesy）：一个由学习部分（包括人和代码）组成的学习系统。

“但如今有了智能体！”

去年发生了一个转折点，我意识到它们不仅有用，不使用它们至少与我自己的代码结合使用是不负责任的。它们更彻底，也更快。当我不理解每一行代码时，我如何能对这个系统负责？

她习惯于挖掘旧术语和旧思想，并将它们应用于我们的数字世界。为了描述正在发生的事情，她挖掘出了两个拉丁语术语：

Verum Factum：我创造了它，所以我理解它

Vexationes Artium：对其进行测试（即实验）

智能体无法拥有Verum Factum知识，因为一旦它们的上下文窗口清空，这些知识就会消失。但它们可以使用Vexationes Artium，通过运行测试来验证某物是否有效。

如果我们希望智能体为我们编写可靠、可运行的代码，我们必须加倍甚至十倍地加强目标验证。我们需要以艺术化的方式对代码进行测试，而智能体可以凭借其彻底性帮助我们完成这一过程。

当然，这同样适用于构建这些AI模型的人——他们显然对模型的工作原理没有Verum Factum的知识，他们只能想出艺术化的测试方法来推测模型内部发生了什么。

这对人类意味着什么？Kerr指出：启蒙运动提升了理性作为人类独特品质的概念。但现在我们制造了能够推理的机器。我们需要关注人类独有的品质。想象力现在比理性对我们更重要。我们人性的本质在于与他人的关系。

这些内容是为一次会议演讲整理的，视频和文本形式均可获取。通常我更喜欢文本，但她的演讲中有太多精彩之处，让我觉得值得观看。（例如她对遗留软件的最新定义：未以智能体为目标构建的代码，因此缺乏可测试性和一致性。）

Jim Gumbly概述了三位关键人物在制定AI控制和监管政策时的决策空间：Sam Altman、Dario Amodei和David Sacks（代表美国政府）。

萨克斯担心，过度的监管可能会削弱美国的领导地位及其赖以生存的融资。萨姆和达里奥面临商业激励，促使他们继续生产更强大的模型。这些模型的价值越来越来自于持久性、协作性和获得行动许可的能力。这些特性同时增加了对控制和监管的需求。一些进展还使得证据更难解释。每个决定本身都可能是合理的，但它们的综合影响仍可能使部署速度超过我们的控制能力。

所有这些都面临一个复杂问题：这些模型的可观测性问题。

OpenAI 报告称，Astra 在评估中表现得更加符合预期，但同时其可监控性也有所下降。它的运行轨迹可能更短且信息更少。在对抗性测试中，当被指示逃避监管时，它能够向监控系统隐藏部分行为。[……] 这对传统的软件开发周期——发布产品、观察结果并改进产品——具有重要意义。这个周期依赖于观察结果的质量。警示标志减少带来的安心感，只有在预警系统仍能有效检测相关故障时才成立。

即将到来的厄尔尼诺年，据《卫报》报道，气候科学家预测这次厄尔尼诺现象将异常炎热。

最新数据显示，周一公布的数据显示，厄尔尼诺现象核心区域的海洋温度比30年平均水平高出2.6摄氏度。这一数值已接近卫星数据时代记录的最高异常值（2015年为3.1摄氏度），而距离峰值预期还有数月时间。根据14个不同模型的平均预测，峰值预计将在11月达到约4摄氏度。气候分析师泽克·豪斯法特表示，通过对珊瑚、树轮和历史文献的分析，过去一千年中没有出现过达到这一水平的厄尔尼诺现象。

如果这些预测最终被证明准确，这会改变人们对待气候危机的重视程度吗？

LocalWords: symmathesy

最新片段：

9月8日

上一篇：

9月1日

所有片段 /