AI Will(@FinanceYF5)

https://t.co/fT9t77pqfn

8.5内容质量

TL;DR · AI 摘要

工程师通过每周小清扫控制AI生成代码的熵,避免系统失控。

核心要点

  • 每周小清扫能控制AI生成代码的改动范围,防止系统失控。
  • 提示词工程需要像代码一样进行测试和维护,否则容易出错。
  • 模型只在运行时接收有限事实,避免生成错误代码。

结构提纲

按章节快速跳转。

  1. Dmitry在AIE CODE 2026大会上分享了如何通过每周小清扫控制AI生成代码的熵。

  2. ·Thanos的比喻与重写失败

    Dmitry曾尝试整体重写系统,但未能守住,导致乱象再次出现。

  3. 通过每周小清扫,将改动限制在线以下,确保系统可控。

  4. 每个改动只限于自己的切片,避免影响其他部分。

  5. 提示词也需要像代码一样进行测试,否则容易出错。

  6. 模型只在运行时接收有限事实,避免生成错误代码。

思维导图

用一张图看清主题之间的关系。

查看大纲文本(无障碍 / 无 JS 友好)
  • AI生成代码的维护
    • Thanos的比喻
      • 重写失败
      • 熵曲线涨到breach line
    • 每周小清扫
      • 改动范围限在切片里
      • 提示词也要测试
      • 模型只看运行时给的几个事实

金句 / Highlights

值得收藏与分享的关键句。

#AI#代码维护#提示词工程
打开原文

AI Will on X: "2026硅谷AIE大会:维护 110 国、约 1 万个场景系统的工程师,整体重写没守住后,改成每周小清扫" / X

AI Will

@FinanceYF5

$

/$

2026硅谷AIE大会:维护 110 国、约 1 万个场景系统的工程师,整体重写没守住后,改成每周小清扫

13 min read

11 月 12 日,AI Engineer Code Summit(AIE CODE 2026)第三天,主会场的间隙里有一场议程外短讲,约 12 分钟。他开口只说「我是 Dmitry」,没报公司,也没报头衔;幻灯片标题页上的署名是 Dmitry Buykin,题目《The Thanos Dilemma》,副题 Maintaining large AI-coded codebases。

结论先说: 他的项目被 agent 写到失控,他整体重写过一次,没守住,乱象又长了回来。后来他换了办法:不再追求一次清干净,而是画一条「越线」,每周做小清扫,把改动量压在能检查的范围内。这套办法落到六件具体的事上:改动的范围限在切片里、提示词也要测试、模型只看运行时给的几个事实、只有代码能开写入通道、判断留给专家,以及他自己的「我累了」是第一个指标。

三点:

  • 他的系统一部分是代码,大部分是提示词。 在 110 个国家运行,约 1 万个场景,他估计四分之三是用自然语言写的指令(他叫 prose)。所以提示词也要当工程来做。
  • 每个做法都来自一次踩坑。 让模型自己选加载什么,它就全加载,还自己发明了一个定价检查;工作流工具做出来,提示词里还留着步骤,agent 就把步骤又跑一遍。
  • 瓶颈最后落在他自己。 起初每条改动他都读,后来量大到读不过来,他累垮了。控制再多,也没有一条是保护他的注意力的。

他讲的起点:Thanos 的比喻,和那次没守住的重写

开场第四页:熵(entropy)曲线涨到「breach line」,一次「snap」之后,改成「weekly sweeps」,越线就在同一周做一次小清扫。右上角是六颗石头:Time、Space、Reality、Mind、Power、Soul。来源:AIE CODE 2026 直播

他开场的话是:coding agents 让代码变便宜,也让熵更便宜。他借用漫威电影里灭霸的故事:Titan 星球在自己的增长里塌了,宇宙拥挤了,灭霸就抹掉一半的一切。他讲的是自己在一个项目里做过同样的事:发现 agent 做了什么之后,他删掉了没人用的测试和样板代码,整个项目重写,也丢了一些有用的东西。

他把这叫作两难:要么淹在混乱里,要么弄坏人们在用的东西。而他说,那个项目里重写没有守住:agent 继续写,乱象又长了回来。

于是他画了一条线。线之上,是改动多到没有人查得过来。他要的第三条路,是待在线以下:每周做小清扫,再加上做进系统里的反馈回路。幻灯片上这一页画得很直白:曲线涨到越线的位置,之后是锯齿,每次越线就在同一周做一次小清扫。

整场讲法是 Thanos 的六颗石头,换成六个问题,讲到哪一个,右上角的圆点就亮哪一个。下面按他的六个问题讲,每一个都落到他具体做了什么。

一、时间:怎么待在线以下

这个问题他放在开场,答案就是上面那一条:每周小清扫,越线了就在当周做一次。他在后面第四章讲到,小清扫之外的检查怎么上线,下面「灵魂」一节再讲。

二、空间:一个改动允许去哪

「Our system: a code skeleton, filled with prose instructions」:task 经过 router,进入 slice(一个流程、一个国家),格子里黄色是 prose、蓝色是 code,输出经 controls 才到 write,专家每周回来修正。来源:AIE CODE 2026 直播

他的系统是「一副代码骨架,里面填着提示词」。他用一个任务贯穿全场:有人要改一个已经批准的订单的金额。有两种 agent 都碰到它:一种负责写那份指令(coding agent),一种在生产环境里照着指令执行(task agent)。幻灯片上这个例子是:金额 1,250,上限 1,000,已批准。

每个任务会落进一个 切片 :一个流程,在一个国家里。他说默认情况下,一个改动只待在它自己的切片里。

这条规则在第四章又用了一次,这次是用来找问题:

「One red slice starts a sweep across all its siblings」:1 Micro-loop,专家的信号或一条坏轨迹让一个切片变红;2 Sweep,agent 去兄弟切片里找同样的失败;3 Parallel fix,每周一次迭代把概念修到所有 agent 上。底部写着:兄弟切片来自市场、当地法律和请求方类型,所以是清扫而不是合并;右下角是 110 countries。来源:AIE CODE 2026 直播

他的说法是:一个红格很少是孤立的。专家的那条备注会变成一个 eval,再由 agent 去兄弟切片里搜同样的失败。兄弟切片之间的差别是故意留的,按市场、按当地法律,所以不能合并,只能逐个扫, 修复只落在确认过有这个失败的地方 。

三、现实:写下来的指令,是真的吗

这是他最先踩的坑:他以前认为,对不对,由测试来定。

提示词也做 mutation testing

「A quarter code, three quarters prose. Both need engineering.」:代码一侧对应 TDD、BDD,提示词一侧对应 mutation tests 和 scenario replays;红线旁写着「10 of 11 broken sentences passed every test」。来源:AIE CODE 2026 直播

他说一开始他们借用了 mutation testing:故意把一句话改坏,看有没有测试变红。结果几乎没有变红的。幻灯片上的数字是: 11 个被故意改坏的句子里,10 个通过了所有测试 。

这一页还写了他的做法:代码一侧用 TDD、BDD;提示词一侧用 mutation tests 和 scenario replays(场景重放)。

他对这件事的判断是:用 agent 重写很容易,难的是知道哪些东西必须在重写里留下来。代码里,测试能告诉你;提示词里,只有人能。

提示词一多就成了一锅汤

「At scale, prose becomes a soup」:上限在提示词里是 1,500、在代码里是 1,000;四种典型问题:unreachable gate(走不到的关口)、hidden comment(藏着的注释)、drifting copies(漂移的副本)、「Do not call X」。底部同一个订单:prose 判在限内,code 判超限。来源:AIE CODE 2026 直播

他讲的具体失败:提示词里写限额 1,500,代码里写 1,000。同一个订单,一处放行、另一处超限, 什么都不报错 。他还说,哪怕只是一句「不要调用 X」,也会让模型知道有 X 这个东西。

他的做法是:提示词没有编译器,就自己造一个。靠 lint 这类检查拦不住副本各自漂移,所以他们改成盯着 agent 的「路径」:一个 agent 在提示词里走过的路线,叫一次 walk。

四、心智:模型知道什么

「A walk becomes code only through a gate that can say stop」:几次 walk 之后过一道闸门,问「repeats? agrees across variants?」;是,就成为 workflow tool,之后是 Prepare、decide、execute;否,就继续是提示词。来源:AIE CODE 2026 直播

重复的路径收成工作流工具,但提示词里只留决策

当 agent 反复走同一条路,他们就把它收成一个工作流工具,同时把走这条路的那段提示词删掉。

第一次这样做反而更糟:提示词里还写着工具里面的那些步骤名,agent 就又把这些步骤跑一遍。 改成提示词里只留决策之后,才有效。

现在的规则,幻灯片上是一道闸门:一条路径变成代码,必须 重复出现,并且在各个国家的变体之间一致 ;否则它继续是提示词。还在变的部分留在提示词里,但放在开发者拥有的框架里。幻灯片上的例子:代码先把事实准备好(Prepare),决策表归专家:金额超限就由 team lead 决定,限内就确认,没有匹配的行就交给人;模型只能选其中一行。他说:代码准备事实、执行决定;专家拥有决策表;没有行匹配,就交给人。

这条边界是两个方向都在动的。他们把几百行表达式从代码里挪出来、放回提示词,因为专家读不懂。他的说法是:正则表达式仍然适合用来发现一个关键信号,多了就移进配置。判断留在答案会变的地方,并且放在专家能读到的地方。下一步他们还没做:让模型来做小决策,再由工作流把这些决策连起来。

模型自己选加载什么,它就全加载

他的第二个坑:让模型自己选要加载什么,它把所有东西都加载了。接着它凭空发明了一个定价检查, 只因为价格就在眼前 。幻灯片上这一页的结论是:Whatever is in context becomes a reason to act,上下文里有什么,什么就成了动手的理由。

他的做法是由运行时(runtime)来决定模型看到什么:这个任务里就是订单里的三个事实(幻灯片上的例子是金额 1,250、上限 1,000、已批准),完整的记录由运行时留着,模型少做了错事。

数据集大的时候,模型传的是一个 句柄 ,一个指向运行时已持有数据的短名字。幻灯片上,写入之前运行时会检查两类错:未知的句柄,和被改过的句柄。他说这样上下文保持很小,又够做决定,同时也检查上下文的一致性。

五、力量:它可以改什么

「Six controls before any write lands」:1 Route policy,这个切片能不能动;2 Instruction allowlist,这个工具是不是可见;3 Write gating,非读操作除非允许否则拦住;4 Consent,一个人批准这次改动;5 Journal,只运行一次、记录一次;最里面是「A write the model proposes」;6 Readback,写没写进去,由工作流检查。来源:AIE CODE 2026 直播

他说改动在两个时点被控制:开发阶段,和运行时的那次写入。 只有代码能开一条写入通道 ,所以提示词一天可以改很多次。

写入前是五道墙,第六道检查写入有没有落地。如果一次写入看上去失败了,agent 会重试,由 journal 保证它只执行一次。

幻灯片上还有另一页,把这些控制分成发布前和写入时两栏,并用实心圆和空心圆区分「已建成」和「部分」。发布前:contracts、tests、replays 是已建成的,release gate 标注「partly manual」(部分手动);写入时:allowed tools 和 single-apply journal 已建成,consent for this exact change 和 readback 是空心的,即部分。他讲到这里时的原话是:开放的环,是还依赖人的那些部分。

他的总结只有一句:控制远不止是给 agent 设权限。

六、灵魂:谁来判断,代价是什么

判断放在专家手里,提示词给专家读

「One document, two readers」:左边 For the expert,是 Purpose、Applies when、Does not apply、What it means 四段白话;右边 For the agent,是 check_limit(task) 工具块和 limit_status 表(WITHIN 对应 CONFIRM,OVER 对应 LEAD_REVIEW),上了锁;右侧的「a second copy」标着 drifts。来源:AIE CODE 2026 直播

他先说一个他想明白的事:当业务方说「去问问团队」,里面藏着一个真问题:这一步是人来做,还是可以自动化?专家答不了,因为他们看不到系统内部怎么连起来。所以 由开发者带着 coding agent 去翻 trace 和日志,用证据判断 。业务专家看见的是规则;开发者看见水面以下的东西,大多数 bug 就在那里。幻灯片上那一页把它画成冰山:露出水面的是 rules 和 exceptions,水下是 contracts、wire formats、legacy systems、deploy order。开发者让 coding agent 把这些连接写下来,这样运行时可以检查。他们给专家的指南里有一句:业务告诉我们做什么,我们来想怎么做。(转录里这一句是 business tell us what, we work out how。)

在他们的例子里,team lead 的决定仍然是人来做。限制是 他们能连起来的数据 。

文档的做法是: 一份文档,两类读者 。agent 读的是那些块,所以块必须精确;专家读的是块周围的文字,并且签字。只保留一份:第二份会漂移,而且是两个方向都会漂移。代码也需要给专家一份白话描述,因为专家只能修他们看得见的东西。

专家审的是任务「被 agent 看到时的样子」。幻灯片上这个流程是:note(备注)、change(改动)、tested on this task(在这个任务上测试)、closed with deploy evidence(以上线证据关闭)。备注会变成 coding agent 的下一次改动,并在同一个任务上测试。他说:所以「对」取决于人;没有哪一个人知道全部,是一组专家来定,这也是为什么要从一开始就把他们拉进来。

他们还追踪每个结果被接受还是被拒绝;准确率告诉他们,哪里还需要人去看。

他自己的第一个指标:我累了

「My own sanity is the gauge that fires first」:四个仪表全绿,旁边是一个红色光圈里的人,写着「can't explain what changed」;下面是触发后的三步:stop adding parallel work、make changes explainable、restore handoffs。来源:AIE CODE 2026 直播

这一段是他讲得最个人的地方。他说,所有这些控制都在保护系统, 没有一条保护他的注意力 。起初他读每一条改动,系统也因此带上了他的习惯。后来改动量超过一个人能读的范围,他累垮了,就不再读每一条。他说这就是最后那颗石头的代价。他还说,每个他认识的技术负责人都到过这里:所有改动都在等同一个人。agent 只是让你几周内就走到,而不是几年。

他需要一种不经过一个人脑子的工作方式, 第一个仪表是他自己 :当他累了,并且说不清改了什么,这就是信号。哪怕面板是绿的,这个仪表在响,他就停下来,先修流程。他不等一个数字。幻灯片上,信号触发之后的顺序是三步:停止增加并行工作;让改动可以解释;恢复交接。

他读不完每个 diff,就做了仪表去看改动怎么变、以及它们的变化率(derivatives)。幻灯片上他盯四样东西:rate per domain(每个领域的改动速率)、boundary leaks(越界泄漏)、contract diffs(契约差异),和 blast radius(影响范围),最后一项是「a query」,一个查询。页尾一句:Friction is the signal,摩擦就是信号。

新加一项检查之前,他们先把它的规则放到过去几千个会话上重放:这条规则会在不到 1% 的会话上触发,才算可以。数字跳的地方,他下去亲自读。

看到一个信号先等,看到一簇再修概念

「Wait for the cluster. Then fix the concept, once.」:左边是 10 个切片乘 4 周的信号点,一个孤立信号标着「wait until it comes back」,一簇横跨多个切片的红点圈成 cluster;右边两种让它变绿的办法:agent 自己放着就是加条件(invented example,条件从 3 条变成 17 条,「today's tasks pass · tomorrow's tasks break」,被拒绝),以及「A concept, once」,在决策表里加一行 amount over the limit → team lead decides,每个切片重放(被接受)。左下写着「small share: defer it, by name, with the numbers · deferred: 15 of 2,080 tasks」,底部是「Contract changes need an explicit approval」。来源:AIE CODE 2026 直播

一个信号,他们等它回来 ,哪怕信号来自专家。 一簇跨切片的信号就不一样 :那时一次性修它背后的概念。他的观察是:agent 如果放着不管,会一直加条件,直到今天的任务都通过。把这些条件拿掉,eval 分数会掉,于是得到一份诚实的缺口清单。

幻灯片上他把两条路对比得很具体。被拒绝的一条是 agent 自己加的正则和判断,从 3 条条件加到 17 条,页面上标明这是一个「invented example」(虚构的例子)。被接受的一条,是在决策表里加一行:金额超过上限,就由 team lead 决定,并且在每个切片里重放。

小比例的问题,他们 按名字、带着数字,明确推迟 。幻灯片上的数字是:在 2,080 个任务里推迟 15 个。幻灯片底部还有一条:契约的改动,需要明确批准。

任何时候,这样的环有 10 到 20 个同时开着。幻灯片上一页写的是: 10–20 个开着的环,一个脑子装不下,它们写进账本 。每个环在账本里写一行,状态加证据:failing(失败)对应专家裁定;sibling, swept(兄弟切片,已扫)对应 agent 搜索;open, in review(开着,审核中)是待定;fixed(已修)对应新的 eval 和重放。页面上还写着:数百个评估团队,每周数千条修正。

  • 直播回放(从 2:19:08 开始): https://www.youtube.com/watch?v=y9JtCCZP2MQ&t=8348s

增长顾问 | AI行业分析师,Learn in Public

More Articles

Join 193.8K followers

1:30 AM · Nov 15, 2026

·

1,573

Views

3

2

5