AI coding agents generate more code, but not more software
TL;DR · AI 摘要
AI编码代理虽提升代码生成量,但人工审查瓶颈限制了软件产出增长。
核心要点
- AI编码代理使代码生成量提升30%,但软件产出未显著增加
- 引入AI工具后,代码审查时间延长30%,修订需求增加23%
- 效率提升被下游流程约束抵消,未减少软件开发人力需求
结构提纲
按章节快速跳转。
思维导图
用一张图看清主题之间的关系。
查看大纲文本(无障碍 / 无 JS 友好)
- AI编码代理的影响
- 代码生成量提升
- 30%代码量增长
- 20%提交量增加
- 审查瓶颈
- 审查时间延长30%
- 修订需求增加23%
- 产出悖论
- 软件产出无增长
- 人力需求未减少
金句 / Highlights
值得收藏与分享的关键句。
AI编码代理使代码生成量提升30%,但软件产出未显著增加
代码审查时间延长30%,修订需求增加23%
效率提升被下游流程约束抵消,未减少软件开发人力需求
AI 编码代理生成更多代码,但未带来更多软件 - Ars Technica
数量,而非质量
AI 编码代理生成更多代码,但未带来更多软件
研究发现,编码效率提升被人工审查的“瓶颈”所抵消。
Kyle Orland
–
2026年10月9日 下午3:43
|
269
这里,让我帮帮你...是的,我能帮上忙吗?
图片来源:Getty Images
按钮
文本设置
面板
正文文本
字号
小号
标准
大号
宽度
*
宽屏
链接颜色
橙色
- 仅限订阅者
了解更多
最小化至导航栏
任何与计算机编程有过哪怕间接接触的人都知道,现代AI编码助手和代理在生成大量功能性代码方面效率惊人。但使用这些工具的程序员也深知,不能盲目信任这些代码的准确性,这意味着需要投入大量精力去审查任何AI生成的输出。
一项对数百家企业实际编码实践的研究发现,人工代码审查构成了AI编码工具整体效率的显著“瓶颈”,导致“几乎没有证据表明企业能通过使用这些工具增加软件产出或减少雇员”。研究作者发现,在实际编码阶段提升的效率,“被生产过程中的下游约束所抵消”;随着“代码审查流程显著延长,拉取请求更可能需要修改,审查者留下的评论也更多”。
一次切割,两次测量
为得出这些结论,哈佛大学研究员 Fiona Chen 和 James Stratton 利用了 Jellyfish 提供的聚合分析数据,该平台可衡量工程团队的粒度产出。这些数据涵盖了3亿个单独的“工作事件”(例如提交和拉取请求),以及2021年至2026年3月期间,700多家相关软件开发公司超过70万名员工的问题管理软件数据。
为评估AI工具对这些企业的影响,研究人员结合直接测量的AI使用情况和GitHub活动分析,确定每家公司引入AI编码助手(主要帮助人类编写代码的自动补全工具)和/或AI编码代理(主要根据提示自主编写和提交代码的工具)的时间节点。随后,研究人员通过复杂的数学计算,对不同组织在不同时段引入这些工具前后关键变量进行“双重差分”回归分析。
如果AI编码代理擅长一件事,那就是大量生成代码。
图片来源:Chen 和 Stratton
如果AI编码代理擅长一件事,那就是大量生成代码。图片来源:Chen 和 Stratton
在原始代码生成量方面,研究结果清晰且显著。研究人员指出,当企业引入AI编码代理后,总代码行数增加了30%,总提交次数增长了20%,平均拉取请求数量增加了23%。但所有这些额外代码并未直接转化为企业层面软件产出的提升。相反,Jira等工具追踪的问题和史诗(即大规模软件功能)的解决率在引入AI工具后,统计上并未发生显著变化(研究人员还发现,在AI引入后,Jira追踪问题的规模和复杂度在“组成结构”上也未发生显著变化)。
这种差异的原因直接体现在代码审查流程中,AI编码代理引入后,代码审查的平均耗时明显增加。总体而言,从拉取请求提交到合并到代码库的平均“审查流程”时间,在AI代理引入后平均增加了49%。研究人员还发现,更细致的数据也显示,AI代理引入后,“需要修改的拉取请求数量几乎翻倍,每条拉取请求的评论数量增加了35%”。
面对这一变化,研究人员发现,在AI代理引入后,执行代码审查的员工占比增加了14%。他们还指出,在分析Jellyfish公司所有活跃员工数据并结合LinkedIn数据后,无法将显著的就业变化归因于AI。
在“代理式编码”时代,拉取请求需要修改的频率显著增加。
在“代理式编码”时代,拉取请求需要修改的频率显著增加。图片来源:Chen and Stratton
尽管AI理论上也可以帮助审查流程,但研究人员发现,到目前为止,这种影响仍较为有限。尽管到2026年3月,80%的受测企业已采用某种形式的AI代码审查,但AI代理仅负责了所有审查评论的23.3%和所有拉取请求的10.8%,这表明人类仍承担了绝大多数的审查工作。
当然,AI代理仍然是编码领域相对较新的组成部分,自这项研究2026年3月的数据截止以来,它们的输出能力已发生了重大更新和改进。尽管研究中95%的企业到此时已部署了AI编码代理,但许多企业无疑仍在学习如何最佳地部署它们。随着软件工程团队获得更多关于将AI代理应用于特定编码问题的利弊经验,这类“编码时间与审查时间”的权衡可能会有所改善。
目前来看,让AI编写代码似乎是一把双刃剑,编码速度的提升被人类代码审查时间和精力的类似增长所抵消。这种结果让人不禁思考,对于大多数公司来说,投入大量时间和成本让AI编码代理投入运行是否真的值得。
资深游戏编辑
自2012年以来,Kyle Orland一直是Ars Technica的资深游戏编辑,主要撰写有关视频游戏背后的商业、技术和文化方面的文章。他拥有马里兰大学的新闻学和计算机科学学位。他曾撰写过一本关于扫雷游戏的书。
269 条评论