AI in Production: Panellists Highlight Silent Failures, Harness Engineering, and Agent Governance
TL;DR · AI 摘要
AI in Production: Panellists Highlight Silent Failures, Harness Engineering, and Agent Governance - InfoQ InfoQ Homepage...
核心要点
- 主题聚焦：AI in Production: Panellists Highlight Silent Fa
- 来源：InfoQ，建议结合原文判断细节。
- AI 分析暂不可用，本条为保底评分与摘要。
生产环境中的AI：专家指出静默故障、驾驭工程与代理治理 - InfoQ
InfoQ 首页 News 生产环境中的AI：专家指出静默故障、驾驭工程与代理治理
AI、机器学习与数据工程
InfoQ 认证高绩效团队计划（在线，11月17日）：为您的团队构建更清晰的运营模型。
生产环境中的AI：专家指出静默故障、驾驭工程与代理治理
2026年10月16日 3分钟阅读
作者：
- Olimpiu Pop
#### 关注我们
YouTube
232K 粉丝
26K 粉丝
新
RSS
19K 读者
X
57.1k 粉丝
21K 点赞
Bluesky
收听本文 -
0:00
音频准备就绪
您的浏览器不支持音频元素。
正常
1.25x
1.5x
喜欢
新下拉阅读列表
- 阅读列表
在最近一场题为“生产环境中的AI：什么会失效？什么有效？谁来批准？”的InfoQ网络研讨会中，一组资深工程实践者齐聚探讨代理系统在实际部署中的运营挑战。本次讨论由Hien Luu主持，ThoughtWorks的Zichuan Xiong和Prem Chandrasekaran、隐私专家Katharine Jarmul以及金融AI实践者Lan Chu参与。Luu在开场时指出三个核心驱动因素：AI与传统软件不同，其失效方式是生成具有说服力的错误而非直接崩溃；代码代理生成生产代码的速度远超人工审查能力；敏感数据通过提示、上下文窗口和检索文档等新途径出现泄露风险。
ThoughtWorks托管服务AI运维负责人Xiong指出，LLM流水线中普遍存在“语义漂移”问题。他描述了文本到SQL转换代理如何频繁模糊特定领域概念，例如在销售和客户支持领域将“会员”一词等同处理，导致下游商业分析中出现隐蔽且难以察觉的错误，这些错误甚至能通过标准追踪检测。同样，Chu分享了金融合规系统中因“嵌入漂移”引发的关键故障案例。在部署基于向量相似度阈值阻止禁止投资建议的代理后，底层嵌入模型的未公告后台更新改变了向量距离分布，导致实时流量中出现严重的误报和漏报峰值，而所有基础设施健康检查结果仍显示完全正常。此外，Chandrasekaran指出RAG流水线可能无意中检索到敏感文档，Jarmul则指出模型本质上会记忆训练数据，可能被用于信息去匿名化或暴露API密钥。Chandrasekaran还提到了GitSpawn漏洞，展示了恶意仓库配置如何在常规命令执行期间触发未授权代码运行。
随着代码助手生成的生产代码量不断增加，传统的代码审查流程正面临难以持续的瓶颈。ThoughtWorks技术与业务服务负责人Chandrasekaran强调，逐行手动代码审查无法与高速代理输出同步扩展。相反，工程团队必须在CI/CD流水线中自动化战术性风格和语法检查，将人工监督严格限定在高层架构、业务意图和非功能性需求层面。Xiong补充说，团队必须向左移动，在生成拉取请求前，在Harness层面评估意图。Chandrasekaran还强调突变测试的复兴已成为关键实践。通过引入刻意的代码突变，团队可以验证自动化测试套件是否真正评估底层逻辑，而非仅仅满足表面代码覆盖率指标。在评估智能系统时，Chu强调评估必须被视为永久的、持续演进的基础设施，而非静态的发布前检查清单。有效的评估需要在跨度级别进行持续的在线追踪、日志过滤，并利用LLM对故障模式进行分类，使团队能够将生产环境中的边缘案例反馈到离线基准测试套件中。
在评估智能系统时，Chu强调评估必须被视为永久的、持续演进的基础设施，而非静态的发布前检查清单。有效的评估需要在跨度级别进行持续的在线追踪，使团队能够捕获真实用户交互模式，并系统性地将生产环境中的边缘案例反馈到离线基准测试套件中。
为应对隐私和安全风险，Jarmul警告不要依赖提示工程进行系统防御。她倡导系统性红队演练、持续威胁建模、为自主代理定义严格的职能范围，并扩展可观测性以处理增加的事件量。为限制自主代理操作的影响范围，Chandrasekaran建议将每个AI代理视为新入职的工程师。组织应为代理分配独特的非人类身份，实施分层访问控制以区分只读操作与可逆写入操作，对第三方模型上下文协议（MCP）依赖项进行版本管理，并在沙箱环境中将API密钥严格隔离在代理运行时环境之外。最终，尽管工程、安全和隐私团队需要验证安全防护措施，但部署批准仍然是战略业务决策。
为限制自主代理操作的影响范围，Chandrasekaran建议将每个AI代理视为新入职的工程师。组织应为代理分配独特的非人类身份，实施分层访问控制以区分只读操作与可逆写入操作，对第三方模型上下文协议（MCP）依赖项进行版本管理，并在沙箱环境中将API密钥严格隔离在代理运行时环境之外。最终，尽管工程、安全和隐私团队必须验证安全防护措施，但部署批准仍然是战略业务决策。
作者信息主容器
关于作者
章节标题
每个作者信息主容器
#### Olimpiu Pop
显示更多
显示更少
#### 本内容属于AI、机器学习与数据工程主题
##### 相关主题：
- 开发
- DevOps
- AI、机器学习与数据工程
- 持续集成
- 数据隐私
- 大型语言模型
- 数据管道
- 相关编辑推荐
- 相关赞助商 在工程领域扩展AI采用（O'Reilly著）- 立即下载
- 相关赞助商 找出测试遗漏的缺陷。Antithesis通过确定性模拟探索数千种故障场景，在缺陷进入生产环境前发现难以复现的缺陷。了解其工作原理
InfoQ新闻通讯
每周二发送上周InfoQ内容摘要。加入超过25万名高级开发者的社区。查看示例
我们保护您的隐私。