Grafana Labs

通过 Adaptive Logs drop rules 消除日志噪声

8.0内容质量
通过 Adaptive Logs drop rules 消除日志噪声

TL;DR · AI 摘要

Grafana 推出 Adaptive Logs drop rules 功能,可在不修改基础设施的情况下过滤日志噪声,降低可观测性成本。

核心要点

  • Adaptive Logs 的 drop rules 可在日志摄入前过滤,减少存储和处理开销。
  • 无需修改代码或基础设施,即可快速屏蔽无用日志如健康检查、DEBUG 日志。
  • 该功能适用于 Grafana Cloud,提升日志管理效率并节省成本。
#Grafana#日志管理#可观测性#运维优化
打开原文
Image 1: 使用自适应日志丢弃规则消除冗余日志行
Image 1: 使用自适应日志丢弃规则消除冗余日志行

2026-05-07 • 5 分钟

![Image 2: Twitter](https://twitter.com/intent/tweet?text=Eliminate%20noisy%20log%20lines%20with%20Adaptive%20Logs%20drop%20rules&url=https%3A%2F%2Fgrafana.com%2Fblog%2Feliminate-noisy-log-lines-with-adaptive-logs-drop-rules%2F)![Image 3: Facebook](https://www.facebook.com/sharer/sharer.php?u=https%3A%2F%2Fgrafana.com%2Fblog%2Feliminate-noisy-log-lines-with-adaptive-logs-drop-rules%2F)![Image 4: LinkedIn](https://www.linkedin.com/sharing/share-offsite/?url=https%3A%2F%2Fgrafana.com%2Fblog%2Feliminate-noisy-log-lines-with-adaptive-logs-drop-rules%2F)

大多数平台和可观测性团队都会遇到一些已知的冗余日志。这些可能是无用的健康检查日志、被遗忘的 DEBUG 日志,或者来自很少使用的服务的冗长 INFO 日志,它们只会增加你的账单。

无论这些日志的内容是什么,也不论它们为何存在,关键问题在于如何有效地清除它们。集中式团队希望可以轻松快速地阻止这些日志被摄入,而无需进行繁琐的基础设施变更管理。以前,我们并没有一种简单的方法可以通过 Grafana Cloud 来丢弃这些日志——直到现在。

随着 Adaptive Logs 中新的丢弃规则功能(目前处于公开预览阶段)的推出,你现在可以自定义规则,在日志写入 Grafana Cloud Logs 之前将其丢弃,从而立即减少冗余并节省成本。

此次更新后,你现在拥有了与 Adaptive Metrics 和 Adaptive Traces 中已有的相同能力:在系统智能优化建议的基础上,加入你自己的自定义规则来丢弃数据。

**丢弃规则如何帮助你通过自适应日志减少浪费**

通过每条丢弃规则,你可以使用任意组合的日志标签、检测到的日志级别或日志行内容,在日志写入云日志之前将其丢弃。请查看 我们的文档,了解其工作原理。

Image 5: 创建丢弃规则的 Adaptive Logs 菜单,其中服务名称为 payment-service,日志级别为 DEBUG,丢弃率为 100%
Image 5: 创建丢弃规则的 Adaptive Logs 菜单,其中服务名称为 payment-service,日志级别为 DEBUG,丢弃率为 100%

以下是一些你可以通过丢弃规则实现的典型用例:

  • 按日志级别丢弃日志。丢弃占用大量日志预算的冗余 DEBUG 日志。
  • 对频繁且重复的日志进行采样。Adaptive Logs 的丢弃规则允许你指定一个丢弃百分比,从而有效地对那些你不想完全丢弃但又很冗余的日志进行采样。
  • 针对特定的冗余日志源。某个服务可能刚刚开始产生大量高频率但低价值的日志。你可以通过指定标签选择器,并结合日志级别或文本字符串等其他条件来定位这些日志。

**丢弃规则在自适应日志中的作用**

丢弃规则是 Adaptive Logs 用于管理日志量的三种机制之一。当日志行进入 Grafana Cloud 时,会按照以下顺序进行评估:

  1. 例外(Exemptions):受保护的日志将不加修改地通过。如果某条日志匹配了例外规则,则不会进行采样。
  1. 丢弃规则:按优先级顺序进行评估。第一条匹配的规则将应用其丢弃率。
  1. 模式(Patterns):优化建议可以应用于未被例外或丢弃规则过滤的日志行。
Image 6: 展示 Adaptive Logs 如何管理日志量的示意图。日志进入 Grafana Cloud 后,若匹配例外规则则被摄入;若匹配丢弃规则,则应用丢弃率;若匹配模式,则应用建议的丢弃率
Image 6: 展示 Adaptive Logs 如何管理日志量的示意图。日志进入 Grafana Cloud 后,若匹配例外规则则被摄入;若匹配丢弃规则,则应用丢弃率;若匹配模式,则应用建议的丢弃率

**丢弃规则、建议和例外:一个完整的系统**

丢弃规则是 Adaptive Logs 中日志成本管理完整系统的一部分。每种机制都有不同的用途:

丢弃规则用于消除已知的噪声。你的平台团队知道健康检查日志不需要存储在 Grafana Cloud 中。通过一条丢弃率为 100% 的规则,可以在所有服务中强制执行这一标准,而无需各个团队修改其日志配置。

丢弃规则可用于特定工作负载的采样。一个批处理任务生成了重复的日志输出。你可以使用流选择器并设置 90% 的丢弃率来保留具有代表性的样本,而无需保留全部日志量。

识别未被发现的日志浪费。 Adaptive Logs 会分析过去 15 天的查询行为,找出你尚未注意到的未使用日志模式。这也是优化建议真正发挥作用的地方——发现你的团队尚未察觉的浪费。

排除规则保留业务关键日志。 你的合规团队要求完整保留审计日志。你的 SRE 团队需要保留支付处理中的每一条错误日志。排除规则可以保护特定的日志流免受任何丢弃规则或建议的影响,这是一种有针对性的方式来保留你无法承受丢失的日志。

暂停 Adaptive Logs 以获得完整可见性。 当你需要更多可见性时(例如发生事件或部署期间),你可以 暂停 Adaptive Logs,临时覆盖丢弃规则一小时。结合持久的排除规则,你的团队可以在关键时刻获得完整的日志可见性。

丢弃规则处理你已经知道的噪音。基于模式的建议则能发现你尚未察觉的浪费。排除规则保护你不能承受丢失的日志。它们共同为你的平台团队提供对日志量和成本的完全控制。

**如何开始**

丢弃规则现已在 Grafana Cloud 中以公共预览版的形式提供。这是一个面向管理员的功能,专为集中管理日志摄入的平台和可观测性团队设计。

要创建你的第一条规则,请导航至 Adaptive TelemetryAdaptive LogsDrop rules(丢弃规则) 标签页 → Create a new drop rule(创建新丢弃规则)

接下来,你需要配置你的筛选条件。我们建议从简单开始。一个不错的初始规则:丢弃来自已知高噪音服务的 90% 的调试级别日志。规则立即生效。你可以在丢弃规则页面监控每条规则对日志量的影响。

由于我们的公共预览版是为管理员设计的,创建丢弃规则需要 Adaptive Logs 管理员角色(plugins:grafana-adaptivelogs-app:admin),该角色默认授予 Grafana 管理员和组织管理员。这确保了由负责组织可观测性成本和策略的团队来管理规则的创建和维护。

如果你已经在使用 Adaptive Logs 的建议功能,那么丢弃规则也位于相同的用户界面中。打开“丢弃规则”标签页即可立即结合使用这两种方法。

此外,你还可以使用我们新推出的、对代理友好的 CLI 工具 gcx 来创建和管理丢弃规则。

在所有 Grafana Cloud 套餐中,Adaptive Logs 均无需额外费用。有关丢弃规则或本文讨论的其他功能的更多信息,请查看我们的文档:Adaptive LogsAdaptive Telemetry

_Grafana Cloud_ _是开始使用指标、日志、追踪、仪表板等功能的最简单方式。我们提供慷慨的永久免费套餐,以及适用于各种使用场景的付费计划。_ _立即免费注册!_

Tags