Automate Agent Observability and Improvement with CoreWeave Agent Lens

CoreWeave Agent Lens：实现代理可观测性与优化自动化

发布于

2026年9月30日

5

分钟阅读时间

使用 CoreWeave Agent Lens 自动化代理可观测性与优化

通过共享洞察为每个角色自动化代理的可观测性、诊断和修复验证。

作者：

Emmanuel Turlay

已复制

产品开发已进入一个新时代。AI 代理现在是所有行业（从客户支持、企业物流到科学研究和物理 AI）所有新应用程序的默认引擎。

基于代理的应用程序提供了越来越广泛的新功能，但也导致了无数新的故障模式，给终端用户带来令人沮丧的体验，并带来运营风险，如失控成本和安全合规方面的担忧。

早期检测并解决这些故障模式对于大规模推出安全、强大且高质量的 AI 功能至关重要。

这个新时代需要新一代的可观测性工具。这些工具能够处理大量用户-代理交易数据，并自动识别故障、能力差距和失控趋势。

因此，我们推出了 CoreWeave Agent Lens。

Agent Lens 的设计目的是自动化代理的可观测性，让开发者专注于两个核心问题：用户向代理提出了哪些请求，以及代理在执行这些任务时存在哪些失败？

将生产流量转化为优先级洞察

依托 CoreWeave 世界领先的 AI 基础设施，Agent Lens 能够摄入并分析您所有代理的 OpenTelemetry 追踪数据，并以前所未有的规模提取洞察。Agent Lens 可自动呈现用户意图和代理故障的语义集群，无需任何配置，大大加快了检测和修复的时间。

仪表板可以显示某个指标发生了变化；Agent Lens 会解释哪些行为导致了这种变化。它分析生产对话，检测语义相关事件，并将其组织成团队可以审查和采取行动的集群。

自动检测重复故障

故障检测从完整的生产语料库开始，而不是一小部分手动抽样的数据集。Agent Lens 能够识别出即使措辞、工具序列或表面错误不同，但存在相同潜在故障的对话。它将这些案例归类为故障集群，将每个集群链接到其源追踪中的具体证据，并提供代表性示例供审查。

团队可以使用频率、随时间变化和受影响的工作流程等信号对问题进行排序。他们无需逐条阅读追踪，而是可以直接从最重要的故障开始，检查支持证据，并立即进入根本原因分析。随着新追踪的到达，集群会持续更新，使回归和新兴模式更容易被发现，防止其扩散。

理解用户意图和能力差距

洞察还能根据用户意图对对话进行聚类。这些聚类展示了客户要求代理执行的操作、需求随时间的变化，以及请求超出代理当前能力的领域。产品经理可以利用这些证据区分孤立请求和新兴需求，而工程师则可以将高需求意图与阻碍成功完成的故障联系起来。

意图和失败视图结合使用时更有价值。即使某个高频任务的失败率较低，也可能值得投入资源；而一个低频意图如果存在安全、合规或客户影响风险，则需要立即处理。Agent Lens 为团队提供了生产环境中的证据，使这些权衡决策变得清晰明确。

将对话转化为客户洞察

Agent Lens 能够将大量客户对话转化为优先级主题。自动意图聚类可实时展示客户当前试图完成的目标，而失败聚类则突出显示代理在完成这些任务时的困难点。产品和工程团队可以基于相同的证据进行评审，识别新兴需求，并在不手动标记每段对话的情况下聚焦改进工作。

使每项评估与质量标准保持一致

通用检查无法涵盖所有业务特定的期望。客服代理可能需要遵循升级政策，研究代理可能需要引用正确来源，金融服务代理可能需要满足额外的准确性和合规性要求。Agent Lens 允许团队根据生产环境中发现的失败情况，创建自定义的LLM评判者。

领域专家定义预期行为并评分一组代表性示例。Agent Lens 将人工标注与评判者输出进行对比，揭示分歧，并支持对评判标准进行迭代优化。团队可以审查误报和漏报，明确评分标准，并在广泛使用评判者之前改进一致性。

一旦对齐，评判者可以自动评分新的生产追踪。这将专家知识转化为可扩展的质量信号，并使之前隐藏的失败模式随时间变得可衡量。预配置信号运行在CoreWeave推理平台上，开箱即用，优化后帮助团队在连接追踪后几分钟内启动自动化评估。

针对真实失败测试每个候选修复方案

发现失败只有在团队能够判断更改是否修复它时才有价值。Agent Lens 将生产失败转化为测试用例，保留输入、相关上下文、预期行为和评估标准。

从一个失败案例出发，使用候选提示、模型、工具配置或代码更改进行测试调用。查看响应结果，并将评判结果与原始生产案例并排对比，判断提出的修复方案是否解决了特定问题。然后将候选方案运行在完整的评估集上，衡量总体影响并识别其他行为的回归问题。

这创建了一个实用的发布门禁机制。团队可以将当前代理与一个或多个候选方案进行对比，检查示例级差异，并仅在新代理在真实生产案例中表现更优后才推进更改。修复方案上线是因为它经过了测试，而不是因为它在单次回放中看起来合理。

将生产证据转化为持续改进

Agent Lens 保持改进循环的连贯性。一个失败聚类可以转化为评估集，对齐后的评判者可以对当前代理和每个候选方案进行评分。验证后的结果可以指导下一步的提示更新、工具变更、模型选择或训练运行，而无需在断开的系统之间复制上下文。

通过 Skills 和 MCP 将 Claude Code 等编码代理连接起来，使它们能够直接使用生产环境中的证据。在获得适当权限后，代理可以检索优先级排序的故障集群，检查代表性追踪记录，提出修改建议，进行测试调用，运行评估集，并总结结果供审核。团队可以继续掌控审批和推广的决策权，同时自动化从洞察到验证之间的重复性工作。

随着时间推移，每一次生产环境中的故障都会增强评估系统。测试集会随着真实世界行为不断扩展，判断标准会更贴近领域预期，团队也将获得从检测到诊断、修复和验证的可重复路径。

开始提升生产代理

Agent Lens 是 CoreWeave Forge 的组成部分，旨在为您的代理提供完整的自动改进循环，将发现的故障转化为测试用例，从而在向生产环境推送更新前实现回归测试。Agent Lens 专为企业级工作负载设计，提供先驱者所需的规模、灵活性和控制能力。目前 Agent Lens 已在 CoreWeave 的托管云平台（专用和本地部署版本即将推出）上开放公测。截至 2026 年底，洞察分析和在线 LLM 判定功能将免费提供。立即在 Forge 中记录您的代理追踪记录，开启代理优化之旅。

停止逐条查看追踪记录。了解 CoreWeave Agent Lens 如何自动聚类生产故障和用户意图，将故障转化为测试用例，在推送修复方案前验证每个修复的有效性。

分享本文： /think