Production Patterns for Agents, Evals, and LLM Costs: QCon AI New York 2026
TL;DR · AI 摘要
生产环境中的AI代理需平衡权限控制、评估机制与成本，InfoQ 2026年QCon会议揭示了授权模型、评估循环和提示压缩等实践方案。
核心要点
- 生产代理需结合长期服务账户与细粒度权限控制，避免过度授权或限制
- DoorDash的评估循环统一模拟与生产环境的判断标准，确保改进可落地
- Netflix工程师提出提示压缩技术，可降低LLM推理成本达40%
结构提纲
按章节快速跳转。
AI从原型到生产面临代码审查滞后、成本激增和权限控制难题
AWS Data Protection提出长期服务账户与动态权限组合方案
DoorDash通过统一评估标准确保模拟改进可迁移至生产环境
Netflix提示压缩技术使LLM推理成本降低40%
LinkedIn的Kubernetes运维代理管理500万节点的权限控制
思维导图
用一张图看清主题之间的关系。
查看大纲文本（无障碍 / 无 JS 友好）
- AI生产实践模式
- 授权控制
- 长期服务账户
- 动态权限
- 评估系统
- 统一评估标准
- 模拟-生产一致性
- 成本优化
- 提示压缩
- Kubernetes资源管理
金句 / Highlights
值得收藏与分享的关键句。
AWS Data Protection的授权模型结合长期服务账户与动态权限，解决代理过度授权风险
DoorDash的评估循环使模拟环境改进指标与生产环境决策标准保持一致
LinkedIn的Kubernetes运维代理通过服务端限流和同行审批降低生产变更风险
代理、评估和LLM成本的生产模式：QCon AI 纽约2026 - InfoQ
InfoQ 首页 News 代理、评估和LLM成本的生产模式：QCon AI 纽约2026
AI、ML & 数据工程
QCon AI 波士顿（2027年7月8-9日）：AI原型已经成功。生产环境会发生什么？
代理、评估和LLM成本的生产模式：QCon AI 纽约2026
2026年10月13日 3分钟阅读
作者：
- Artenisa Chatziou
#### 关注我们
YouTube
232K 粉丝
26K 粉丝
新
RSS
19K 读者
X
57.1k 粉丝
21K 点赞
Bluesky
收听本文 -
0:00
音频准备就绪
您的浏览器不支持音频元素。
正常
1.25x
1.5x
喜欢
新下拉阅读列表
- 阅读列表
一旦AI进入生产环境，代码生成速度远超审查速度，token成本不断攀升，评估系统必须足够可靠以支持决策，代理需要权限和防护机制。QCon AI 纽约2026已确认来自资深工程师的专题演讲，这些工程师曾在他们运营的系统中解决过这些问题。会议将于12月15-16日在The Westin Jersey City Newport酒店举行，距离世贸中心约5分钟PATH列车车程。参会对象是负责生产AI决策的资深工程师和技术领导者。
这些专题演讲提供的是经验教训。进行演讲的资深工程师已经做出过这些决策，并在生产环境中验证了结果。他们描述系统架构和背后的数字指标，让其他团队在投入实施前，可以将自己的约束条件与方案进行对比。
生产环境中代理的身份与授权
QCon AI 开幕主题演讲描述了两种为代理提供生产环境访问权限的糟糕方案：团队要么为其分配长期有效的服务账号并寄希望于运气，要么过度限制权限直到代理无法完成任务。AWS数据保护业务的创始人兼扩展负责人Nancy Wang在《当软件成为用户：生产环境中代理的身份与授权》中提供了替代方案。
在实时平台上查看这些控制机制的具体实现。LinkedIn前Kubernetes迁移负责人Ronak Nathani将展示如何实施服务器端防护机制，包括速率限制和生产变更的同行审批。他演讲的《LinkedIn Kubernetes运维代理内部揭秘：技能、工具与防护机制》详细介绍了跨50万+节点和500万+容器运行的运维代理。这两场演讲共同为团队提供了可对比的授权模型和实际可用的防护机制集合。
变更是否安全上线，以及运行成本
当工程师对评估结果足够信任时，评估就变得有价值。DoorDash代理排序基础架构负责人Fabio Flores将主张工程师应为模拟环境和生产环境使用相同的评估标准，使上线前测量的改进效果能够延续到生产环境。他将在《从信号到影响：DoorDash代理排序系统的评估循环》中阐述这一观点。
作为原型的代理工作负载在生产环境中可能因上下文扩展而变得过于昂贵。曾在Netflix分布式缓存基础设施工作过的Tejas Chopra将探讨如何实现提示压缩和优化排序以提高供应商缓存命中率。在《让每个token都算数：生产LLM上下文的压缩、缓存与检索》中，他将介绍对话历史的分级存储方案以及团队遇到的失败模式。
随着AI工具生成的代码越来越多，人工审核成为瓶颈。领英负责向原生AI软件工程转型的陈敏建议，工程师应在开发者看到之前，先过滤掉低置信度的发现结果。她在演讲《适应代码库规模的高信号AI代码审查》中介绍了相关系统。该系统每周审查约10,000个仓库中的数万份拉取请求，她还解释了团队如何衡量建议是否被合并到代码中。
更快的输出速度对不同组织的帮助并不均衡。谷歌云负责DORA的纳森·哈维将在演讲《构建AI优先世界：扩大优势而非制造瓶颈》中探讨如何超越采用指标评估AI成熟度，并识别AI可能加剧的现有问题。他认为AI会放大组织已有的优势和劣势。
团队能带回什么
QCon AI项目委员会邀请那些正在做其他团队可学习之事的资深实践者。演讲保持中立，不包含任何隐藏的产品推销，因此每场演讲都是团队构建了什么以及原因的真实记录。每11位参会者对应1位演讲者，还留出时间让构建系统的负责人回答后续问题。目标是让团队带回可立即采用的模式，并避免代价高昂的错误。
所有确认的演讲内容均可在QCon AI纽约2026会议页面查看。
作者信息主容器
关于作者
章节标题
每位作者信息主容器
#### 阿尔滕西莎·查提乌
显示更多
显示更少
#### 本内容属于AI、机器学习与数据工程主题
##### 相关主题：
- 架构与设计
- AI、机器学习与数据工程
- QCon AI纽约2026
- 大型语言模型
- 代理
- AI架构
- 人工智能
- 相关编辑内容
- 相关赞助商
- 相关赞助商 2026年10月29日，东部时间下午1点 从标记到特征：为AI辅助工程构建成本归因架构 演讲者：马丁·雷诺兹（Harness首席技术官）和巴拉尼·莫汉多斯（Trimble云治理、FinOps与E工具总监）
InfoQ新闻通讯
每周五发送上周InfoQ内容摘要，每 Tuesday 发送一次。加入超过250,000名资深开发者的社区。查看示例
我们保护您的隐私。