Evaluate AI models for observability: o11y-bench joins Fireworks' Specialized Intelligence Index and reaches v1.1
TL;DR · AI 摘要
Grafana Labs宣布o11y-bench加入Fireworks专业智能指数并更新至v1.1，但文章缺乏深度技术分析，属于产品发布稿。
核心要点
- o11y-bench v1.1新增AI模型可观测性评估功能
- 该工具已加入Fireworks专业智能指数
- 文章未提供具体技术实现细节或对比数据
结构提纲
按章节快速跳转。
宣布o11y-bench工具的版本升级和指数合作
新增AI模型可观测性评估能力
- ›行业合作
与Fireworks Specialized Intelligence Index建立合作关系
思维导图
用一张图看清主题之间的关系。
查看大纲文本（无障碍 / 无 JS 友好）
- AI模型评估工具更新
- o11y-bench v1.1
- 可观测性评估功能
- Fireworks指数合作
- Grafana Labs
金句 / Highlights
值得收藏与分享的关键句。
o11y-bench v1.1版本实现了对AI模型可观测性的系统评估
该工具已纳入Fireworks专业智能指数体系
Grafana Labs持续扩展AI监控工具链
为可观测性评估AI模型：o11y-bench加入Fireworks专用智能指数并发布v1.1版本 | Grafana Labs
了解更多
*
- 公司
AI/搜索
站点搜索
询问AI
博客
%3Aquality(90)%2F&w=3840&q=75)
为可观测性评估AI模型：o11y-bench加入Fireworks专用智能指数并发布v1.1版本
•
2026-10-28•5 分钟
在评估用于可观测性的AI模型时，生成一个看似合理的查询或解释是不够的。团队需要了解代理的结论是否得到遥测数据的支持，其对仪表板的修改是否真正有效，以及它是否能持续可靠地交付结果。
这就是我们构建了 o11y-bench的原因，这是Grafana Labs推出的用于评估AI模型在可观测性和SRE任务上的开源基准测试工具。今天，我们很激动地分享两个更新：o11y-bench现已加入Fireworks的Specialized Intelligence Index（AI训练和推理平台的专用智能指数），同时我们发布了o11y-bench 1.1，新版本在评分的准确性、一致性及可复现性方面进行了改进。
将 o11y-bench 引入 Specialized Intelligence Index
Specialized Intelligence Index汇集了由从业者构建的基准测试，用于比较开放模型、封闭模型和专用模型在特定领域任务中的表现，涵盖医疗保健、金融、网络安全和软件工程等领域。它帮助团队识别最适合其工作负载的模型，理解专业化带来的价值，并评估质量、成本和速度之间的权衡。
随着o11y-bench现已加入该指数，可观测性、平台工程和SRE团队可以探索AI模型在真实可观测性工作流中的表现——从查询指标、日志和跟踪，到调查事件和管理Grafana仪表板——同时与其它专用领域和使用场景的基准测试进行对比。
使用 Fireworks 推理运行基准测试
o11y-bench现在还支持Fireworks作为其默认LiteLLM代理的推理服务提供商。这意味着团队可以使用与其他提供商相同的可复现工作流，评估无服务器模型和部署在自身Fireworks账户中的模型。
该集成处理Fireworks凭证、部署名称和推理设置，使基准测试运行配置保持一致。这使得从指数中复现结果或根据自身需求评估Fireworks托管模型变得更加容易。
o11y-bench 如何在真实可观测性任务中评估模型
可观测性在模型评估中应有一席之地。在发生故障时，困难之处往往不在于生成有效的 PromQL、LogQL 或 TraceQL 代码。工程师或代理需要识别相关信号，使用正确的时间范围，跨不同遥测类型连接证据，区分症状与原因，有时还需要在不破坏其他工程师依赖的内容的前提下修改持久化状态。
o11y-bench 通过运行中的 Grafana 堆栈评估这些能力及其他更多方面。代理使用 Grafana MCP 服务器 与合成但真实的遥测数据进行交互，并完成六大领域的 64 项任务：
这些任务的针对性足够强，便于评分，但仍能反映工程师在日常可观测性工作中面临的实际挑战。例如，查询可能在语法上正确，但选择了错误的指标系列；仪表板即使变量、数据源或保存查询存在错误，仍可能正常渲染。
因此，o11y-bench 从结果出发进行评估。它将代理的声明与从相同环境中读取的事实进行对比，并检查代理留下的状态。换句话说，令人信服的答案并不足够，结果必须能够支持该答案。
[为什么一致性很重要](https://grafana.com/blog/evaluate-ai-models-for-observability-o11y-bench-joins-fireworks-specialized-intelligence-index-and-reaches-v1-1/#why-consistency-matters)
每个 o11y-bench 任务会运行三次。基准测试不仅衡量模型是否能解决一次任务，还衡量其在重复尝试中执行该任务的一致性。
这种一致性对可观测性尤为重要。一个模型可能一次得出正确答案，但下一次可能误入歧途或报告不支持的值。在发生故障时，这种不一致性会浪费时间，并使团队更难信任结果。
o11y-bench 优先考虑 Pass^3，即三次运行的平均基准分数，同时也会报告 Pass@3，用于判断模型是否至少成功一次。同时关注这两个指标有助于区分偶发的成功与可重复的表现。
[强化基准测试：o11y-bench 1.1 的新特性](https://grafana.com/blog/evaluate-ai-models-for-observability-o11y-bench-joins-fireworks-specialized-intelligence-index-and-reaches-v1-1/#strengthening-the-benchmark-whats-new-in-o11y-bench-11)
随着 o11y-bench 被纳入 Specialized Intelligence Index，我们发布了 o11y-bench 1.1，使评分更加基于结果、可复现，并能抵御那些听起来合理但未基于环境的答案。
改进主要集中在以下三个方面：
- 基于事实的结果： o11y-bench 不奖励特定方法或措辞，而是检查结果：模型的声明是否与事实一致、保存的更改是否正确，以及其行为是否符合任务要求。报告的数值会与参考值进行比对，引用的追踪信息会从 Tempo 中读取回放，以验证其是否支持代理的声明。
- 确定性评分： 仪表板编辑通过保存状态的前后差异进行评估。如果真实查询为空或失败，结果会被视为评分错误，而不是影响通过率的因素。
- 可复现、校准的评估： 保存的事实使结果无需重新运行代理即可重新评分，且场景随时间保持一致。一个无工具的对照组在 64 个任务中全部失败，表明仅凭看似合理的答案无法通过。
由于 o11y-bench 1.1 使用了更新的评分机制和任务校准，其结果无法直接与 1.0 版本对比。1.1 版本为未来对比建立了新的基准线。
[开放基准测试造就好基准测试](https://grafana.com/blog/evaluate-ai-models-for-observability-o11y-bench-joins-fireworks-specialized-intelligence-index-and-reaches-v1-1/#open-benchmarks-make-better-benchmarks)
o11y-bench 的任务、环境、评分逻辑和结果均为开源。这意味着任何人都可以审查基准测试的运作方式、复现其结果，并帮助识别改进空间。
将 o11y-bench 添加到专业智能指数中，将这项工作扩展到更广泛的模型评估努力中。我们很高兴看到可观测性与其他专业领域并列展示，并为工程团队提供更多评估其工作流程中使用模型的证据。
我们还预计该基准测试将持续演进。新模型、代理工具包、可观测性工具和故障模式将暴露现有评估的不足，并创造进一步提升评估质量的机会。一如既往，我们欢迎社区在这一过程中提供反馈和贡献。
立即开始：
- 模型对比： 浏览 Fireworks 专业智能指数中的 o11y-bench 结果。
- 了解基准测试： 在 o11ybench.ai 查看任务、分类和详细结果。
- 运行或贡献： 访问 GitHub 上的 o11y-bench 仓库。
标签
目录
本页内容
宣传内容
2 月 9 日，阿姆斯特丹
预留日期
通过技术会议和实时演示，探索人工智能和可观测性的最新进展。加入名单，成为首批获悉注册开放信息的人。
20-21 日，旧金山
门票限时30%折扣
通过 Grafana 工程师的实时演示和实践环节，探索用于可观测性的 AI 以及用于 AI 的可观测性。
3 月 23 日，达拉斯
敬请期待
通过技术环节和实时演示，探索 AI 和可观测性的最新进展。加入名单，成为首批获悉注册开放信息的人。
##### [](https://grafana.com/blog/evaluate-ai-models-for-observability-o11y-bench-joins-fireworks-specialized-intelligence-index-and-reaches-v1-1/#is-a-leader-in-the-2026-gartner-magic-quadrant-for-observabi)位列 2026 年 Gartner® Magic Quadrant™ 可观测性平台领导者
3 月 11 日，悉尼
敬请期待
通过技术环节和实时演示，探索 AI 和可观测性的最新进展。加入名单，成为首批获悉注册开放信息的人。
11 月 5 日，伦敦
不到两周时间！
见证 Grafana Assistant 的实际应用，听取拜耳和 thredd 的客户经验分享，并探索监控 AI 代理、提升应用性能和控制遥测成本的实用方法。
4月4日，巴黎
请加入日程
通过技术会议和演示探索AI与可观测性。立即注册，成为首批获知报名开放信息的人群之一。
12月8日，班加罗尔
AI用于可观测性。可观测性用于AI。
观看Grafana Assistant的实际应用，聆听NeoSapien的客户案例，探索监控AI代理、提升应用性能和控制遥测成本的实践方法。
2月23日，法兰克福
请预留日期
通过技术会议和实时演示探索AI与可观测性的最新进展。加入名单，成为首批获知报名开放信息的人群之一。
11月24日，马德里
AI用于可观测性。可观测性用于AI。
报名现已开放。向可观测性专家学习，获取Grafana Labs专家的实践指导，见证Grafana Cloud最新创新功能的实际演示。提前注册可享受30%的优惠。
11月4日，圣保罗
AI用于可观测性。可观测性用于AI。
报名现已开放。向可观测性专家学习，获取Grafana Labs专家的实践指导，见证Grafana Cloud最新创新功能的实际演示。
19-21 Oct, San Francisco
限时30%折扣票务
通过Grafana工程师的实时演示和实践环节，探索AI在可观测性中的应用以及可观测性在AI中的应用。
19-21 Oct, San Francisco
学习团队如何通过AI、OpenTelemetry和自适应遥测技术扩展可观测性。
真实系统。真实事件。真实运维经验。
#### [](https://grafana.com/blog/evaluate-ai-models-for-observability-o11y-bench-joins-fireworks-specialized-intelligence-index-and-reaches-v1-1/#registration-open)开放注册！
我们最大的社区活动回归。了解Grafana + LGTM的未来发展方向，亲身体验并结识正在构建它的人。立即注册。
Grafana Cloud
##### [](https://grafana.com/blog/evaluate-ai-models-for-observability-o11y-bench-joins-fireworks-specialized-intelligence-index-and-reaches-v1-1/#ai-for-observability-observability-for-ai)用于可观测性的AI。用于AI的可观测性。
免费永久计划 — 分钟级快速启动。
- Grafana Assistant — 用于查询、仪表板和故障排除的AI
- 10k Prometheus指标 + 自适应遥测
- 50 GB日志
- 50 GB追踪
- ...以及更多功能
创建免费账户 永不需信用卡信息。
相关内容
下一篇
Grafana 和 Grafana Cloud 发布周期：年终更新
相关内容
#### 
相关视频
#### 
相关文档
#### 
相关产品
还有疑问？
提出你的问题。让 AI 来处理繁重的工作。
获取每一条更新
订阅我们的电子报
订阅
通过提交，您同意我们的隐私政策
Grafana Cloud
- 概述
- 定价
- 免费层级包含什么？
- AI助手
- Agent可观测性
- 应用可观测性
- Kubernetes监控
- 仪表板与可视化
- 数据库可观测性
- 前端可观测性
- 合成监控
- 性能与负载测试
- 事件响应与管理
- AI调查分析
- 最新动态
- Grafana云状态
解决方案
集成
开源
学习
公司
对比
- Datadog vs. Grafana Cloud
- Dynatrace vs. Grafana Cloud
- Elasticsearch vs. Grafana Cloud
- New Relic vs. Grafana Cloud
- PagerDuty vs. Grafana Cloud
- Splunk vs. Grafana Cloud
别只听我们说，立即体验 Grafana Cloud 吧。
Grafana Cloud 状态法律与安全服务条款隐私政策商标政策
版权所有 © 2026 Grafana Labs
##### [](https://grafana.com/blog/evaluate-ai-models-for-observability-o11y-bench-joins-fireworks-specialized-intelligence-index-and-reaches-v1-1/#ahorra-un-30-en-tus-entradas-mientras-dure-el-precio-early-b)早鸟价期间，门票立减30%。
发现如何通过 AI 驱动的可观测性更快定位根本原因，提升应用性能，并向 Grafana Labs 专家学习。
最后注册机会：
00 天
00 小时
00 分钟
00 秒
00 天
00 小时
00 分钟
00 秒
倒计时已经开始。亲临现场见证未来。
通过实时演示和实践技术会议，亲眼见证 AI 在可观测性中的应用以及可观测性对 AI 的赋能。直接向 Grafana 工程师学习，与同行交流，带走可应用于你技术栈的实用方案。立即锁定你的通行证。
00 天
00 小时
00 分钟
00 秒
见证 Grafana 的未来。直播观看主题演讲。
与 Grafana Labs 领导团队一同探索 AI 可观测性、可观测性对 AI 的赋能以及面向所有场景的解决方案。注册观看直播，并提前获取演讲录像。
##### [](https://grafana.com/blog/evaluate-ai-models-for-observability-o11y-bench-joins-fireworks-specialized-intelligence-index-and-reaches-v1-1/#next-week-see-ai-and-observability-in-action)下周：见证 AI 与可观测性落地实践。
通过实时演示和客户案例，探索 AI 与可观测性的未来趋势。发现提升应用性能、监控 AI 代理并控制遥测成本的实用方法。
##### [](https://grafana.com/blog/evaluate-ai-models-for-observability-o11y-bench-joins-fireworks-specialized-intelligence-index-and-reaches-v1-1/#na-prxima-semana-veja-ia-e-observabilidade-na-prtica)下周：亲身体验 AI 与可观测性。
通过现场会议、技术研讨会和与 Grafana 专家的交流，学习如何利用 AI 调查事件并提升应用性能。
##### 构建更可靠的系统。充分利用遥测数据
了解基于AI的可观测性如何帮助您更快地排查问题、提升应用性能并控制遥测成本。通过实时演示、客户案例研究，并在Grafana Cloud上进行实践操作，找到适合您技术栈的解决方案。
##### 保存日期
加入我们在法兰克福的活动，参加关于AI和可观测性的技术会议和实时演示。学习如何更快排查问题、提升应用性能并控制遥测成本。订阅活动更新，提前获知早鸟票30%折扣的发售信息。
##### 保存日期
加入我们在悉尼的活动，参加关于AI和可观测性的技术会议和实时演示。学习如何更快排查问题、提升应用性能并控制遥测成本。订阅活动更新，提前获知早鸟票30%折扣的发售信息。
##### 加入日程
一场关于AI和可观测性的技术会议和实时演示日。注册以获取早鸟票发售信息，享受30%折扣。
##### 保存日期
与我们一同在达拉斯参加为期一天的技术会议和实时演示，探索人工智能与可观测性的前沿。学习如何提升排查效率、优化应用性能并控制遥测成本。注册获取活动更新，并在早鸟票以30%折扣开售时第一时间收到通知。
##### [](https://grafana.com/blog/evaluate-ai-models-for-observability-o11y-bench-joins-fireworks-specialized-intelligence-index-and-reaches-v1-1/#save-the-date)预留日期
与我们一同在阿姆斯特丹参加为期一天的技术会议和实时演示，探索人工智能与可观测性的前沿。学习如何提升排查效率、优化应用性能并控制遥测成本。注册获取活动更新，并在早鸟票以30%折扣开售时第一时间收到通知。
##### [](https://grafana.com/blog/evaluate-ai-models-for-observability-o11y-bench-joins-fireworks-specialized-intelligence-index-and-reaches-v1-1/#save-30-on-tickets-through-oct-1)10月1日前门票享30%折扣
通过实时演示和实践技术会议，探索人工智能在可观测性领域的应用以及可观测性对人工智能的反哺价值。向Grafana工程师学习，与可观测性社区交流，立即注册锁定当前最优价格的参会资格。