InfoQ

Datadog Builds a Specialist AI Model for SRE Investigations

8.5内容质量
Datadog Builds a Specialist AI Model for SRE Investigations

TL;DR · AI 摘要

Datadog推出专用AI模型Scout，用于SRE调查，成本比通用模型低3-8倍。

核心要点

  • Scout基于GLM-5.3 Flash模型，通过强化学习微调，专注SRE场景
  • 在AlertEval基准测试中，Scout成本仅为GPT-6.1的1/3至1/8
  • 模型训练使用历史案例模式生成的模拟事故数据，不含客户隐私信息

结构提纲

按章节快速跳转。

  1. §引言

    Datadog推出Scout模型，专为SRE调查优化，降低AI运维成本。

  2. ·模型架构

    Scout基于GLM-5.3 Flash，通过强化学习进行领域微调。

  3. ›成本效益

    Scout在AlertEval测试中成本仅为通用模型的1/3至1/8。

  4. ·训练方法

    使用历史案例生成的模拟事故数据进行训练，不含客户数据。

  5. ›评估体系

    AlertEval基准测试通过专家对比评分，不直接反映问题解决率。

  6. ·应用场景

    模型集成于Bits产品，作为工程师的自动化第一响应者。

思维导图

用一张图看清主题之间的关系。

查看大纲文本（无障碍 / 无 JS 友好）
  • Scout模型
    • 模型架构
      • GLM-5.3 Flash基座
      • 强化学习微调
    • 训练数据
      • 历史案例模拟事故
      • 不含客户数据
    • 成本优势
      • AlertEval基准测试
      • 成本降低3-8倍

金句 / Highlights

值得收藏与分享的关键句。

#AI#SRE#Datadog#模型训练
打开原文

Datadog 为 SRE 调查构建专用 AI 模型 - InfoQ

InfoQ 首页新闻 Datadog 为 SRE 调查构建专用 AI 模型

DevOps

扩展 OpenTelemetry：管理收集器、配置和成本（网络研讨会 11 月 19 日）

Datadog 为 SRE 调查构建专用 AI 模型

2026 年 10 月 29 日 4 分钟阅读

by

  • Matt Saunders

#### 关注我们

Youtube

232K 粉丝

Linkedin

26K 粉丝

Instagram

新

RSS

19K 读者

X

57.1k 粉丝

Facebook

21K 点赞

Bluesky

收听本文 -

0:00

音频准备播放

您的浏览器不支持音频元素。

正常

1.25x

1.5x

喜欢

新下拉阅读列表

  • 阅读列表

Datadog 发布了 Scout，这是一个经过训练用于调查生产问题的模型。它运行在 Datadog 的 AI SRE 产品 Bits Investigation 中，能够接收警报，查看遥测数据并建议问题原因。Datadog 工程师和少量客户正在封闭预览中使用该模型。

公告中描述的大部分工作涉及成本问题。在调查过程中，Bits 可能需要多次调用模型来尝试查询、分析结果并决定下一步检查内容。通用模型可以完成此任务，但 Datadog 表示费用使得无法针对每个警报运行这些模型。公告的作者希望 Bits 在工程师响应页面时就开始工作。

"我们的目标是让 Bits 成为一个全天候的首位响应者，在工程师介入前收集证据并识别可能原因。" Othmane Abou-Amal, Ben Cohen, Afshin Rostamizadeh, Ameet Talwalkar, Omri Sass 和 Daniel Shan

在 Datadog 的 AlertEval 基准测试中，Scout medium 的得分与 GPT-6.1 Sol high 和 Claude Opus 5.5 high 相当。其估计的推理成本比它们低 3 到 8 倍。在 xhigh 设置下，Datadog 表示 Scout 在成本仅为 Claude Fable 5.1 xhigh 四分之一的情况下实现了匹配。由于未公布具体价格，这些数据是相对于 Scout medium 调查的成本而言的。

AlertEval 使用真实警报、归档的遥测数据和 Datadog 工程师撰写的解释。一个大型语言模型（LLM）法官会将 Scout 的分析与专家分析进行比较，在即时原因和根本原因层面匹配时给予奖励。矛盾和缺乏证据的主张会扣分。最终得分范围从 0 到 100，但 Datadog 警告称这并不代表解决问题的比例。

Scout 基于 GLM-5.3 Flash 构建。Datadog 通过强化学习对模型进行了后训练，使用从历史案例中发现的模式生成的事件模拟进行训练。这些模拟包含警报、可查询的遥测数据和已知原因。据公司称，模拟中不包含客户数据。Scout 使用与 Bits 中工具建模相似的工具进行训练，包括跨日志、指标和跟踪的搜索，以及代码、部署和功能标志检查。

"其训练奖励的是找到原因并用证据支持结论。" Othmane Abou-Amal, Ben Cohen, Afshin Rostamizadeh, Ameet Talwalkar, Omri Sass 和 Daniel Shan

技术报告详细描述了训练过程中出现的问题。基于最终答案的奖励机制促使Scout减少主张并提前停止调查，这虽然降低了被惩罚的可能性，但并未提升其作为调查者的水平。团队调整了奖励机制，纳入正确性、探索性和支持证据等因素。他们还通过移除部分训练中的工具或缩短可用时间，防止模型学习到固定的事件处理路径。

Datadog在SREGym（一个包含90个故障的公开数据集）上进行了第二次评估。Scout在中等努力程度下解决了71个案例，在高等努力程度下解决79个，在极高努力程度下解决80个。GPT-6.1 Sol xhigh在极高努力程度下完成82个。Datadog自行进行了这些测试，包括对更新的对比模型的测试，因此独立测试结果将具有重要参考价值。

随着可观测性供应商探索代理应处理多大比例的事件，Scout应运而生。AWS DevOps Agent将多个监控产品的遥测数据与源代码、部署记录和运行手册相结合。AWS正在整合不同工具的信息，而Datadog则专注于训练一个成本更低的模型，用于其产品内部的重复使用。

Honeycomb的Canvas Agent更接近许多工程师手动调查的方式。当警报触发或SLO消耗时，它会打开共享的Canvas界面，执行查询、测试假设，并保留证据供工程师查看。团队可以将常见的调试流程保存为Canvas Skills。Honeycomb还提供MCP服务器，允许外部代理查询其遥测数据。Honeycomb尚未宣布专门的SRE模型，其重点在于查询引擎和记录调查过程的轨迹。

Splunk和New Relic已进一步深入修复阶段。Splunk AI SRE对警报进行分组，并生成带有证据链的可能原因。连接的Claude代理可以在沙箱中准备代码更改并打开拉取请求。New Relic的SRE Agent将运行手册、事件回顾和历史解决方案纳入分析，而Autopilot可以建议修复措施。两者在生产环境变更前都保留了审批步骤。

InfoQ报道的一项ClickHouse研究发现，通用模型可以生成摘要，但需要人工指导才能持续找到根本原因。Instacart采用类似方法的Blueberry：代理在工程师通过Slack评估建议原因前收集上下文信息。

Scout的基准证据仍主要来自Datadog自身。在产品发布后，独立AI新闻机构AGTP指出，AlertEval尚未经过独立测试。它还要求提供审计追踪，显示Scout考虑并排除了哪些证据。Honeycomb的可见Canvas和Splunk的证据链表明，其他供应商也看到了相同的需求。简短答案可能在事件处理中有所帮助，但工程师还需要了解模型是如何得出结论的。

Datadog尚未公布通用可用日期。公司计划增加模拟中的故障类型，并最终允许Bits执行修复操作。预览版本在此前停止：Scout进行调查、给出诊断并提出恢复措施，而工程师仍需对变更负责。

About the Author

section title

#### Matt Saunders

Show more

Show less

#### This content is in the DevOps topic

##### Related Topics:

  • DevOps
  • Site Reliability Engineering
  • AI Assisted Coding
  • 相关编辑推荐
  • 相关赞助商
  • 相关赞助商 2026年11月19日，美国东部时间下午12点 扩展OpenTelemetry：管理收集器、配置和成本 演讲人：David Iparraguirre - Datadog公司高级产品市场经理，Jessica Yang - Datadog公司产品经理

InfoQ 电子报

每周二发送上一周InfoQ内容的汇总。加入超过25万名高级开发者的社区。查看示例

我们保护您的隐私。