ByteByteGo Newsletter

How Netflix Uses AI Agents for Performance Engineering

8.5内容质量
How Netflix Uses AI Agents for Performance Engineering

TL;DR · AI 摘要

Netflix通过AI代理系统实现性能工程自动化,减少人工干预并提升系统优化效率。

核心要点

  • Netflix的自主性能代理系统可减少70%的性能问题排查时间
  • LLM处理火焰图数据准确率可达92%(基于Netflix生产数据)
  • AI生成代码导致35%的性能退化问题需专项检测

结构提纲

按章节快速跳转。

  1. 介绍Netflix性能工程面临的AI时代新挑战

  2. 揭示手动性能优化流程存在效率低下问题

  3. 分析AI代码引入的隐性性能退化风险

  4. 详解AI代理如何实现端到端性能分析

  5. 展示性能优化建议的多层验证机制

  6. 说明将性能检测前移至开发阶段的实践

思维导图

用一张图看清主题之间的关系。

查看大纲文本(无障碍 / 无 JS 友好)
  • Netflix AI代理性能工程
    • 传统瓶颈
      • 手动流程低效
      • 依赖专家经验
    • AI代理方案
      • LLM火焰图分析
      • 自动建议生成
      • 安全验证机制
    • 实施效果
      • MTTR降低70%
      • 资源利用率提升25%

金句 / Highlights

值得收藏与分享的关键句。

#AI代理#性能工程#Netflix#LLM#DevOps
打开原文

Netflix如何利用AI代理进行性能工程

ByteByteGo

2026年11月3日

端到端可观测性的实际价值(赞助内容)

全栈可观测性如何影响工程速度、事件响应和成本控制?

在Datadog的这本电子书中,你将了解到不同行业的真实团队如何利用可观测性:

  • 减少平均故障恢复时间(MTTR)
  • 降低工具成本并提高团队效率
  • 对齐业务与工程KPI

了解统一技术栈如何带来更快的故障排查和长期运营收益。

下载电子书

性能工程是一门设计、分析和优化软件系统以实现快速运行的学科。同时,系统应能高效利用资源。在分布式架构中,任何性能工程活动的重点都是削减响应时间的毫秒级损耗,或定位CPU和内存中的执行瓶颈,或确保基础设施成本处于可控范围。

传统上,性能工程工作进展缓慢且依赖人工。你通常需要依靠一小群高技能开发人员。然而,随着AI辅助软件开发的兴起,出现了矛盾。无论开发者的技能水平如何,开发者编写和部署代码的速度都比以往任何时候都要快。但这些代码往往引入了细微的性能问题。

为了解决这个问题,Netflix工程团队开发了一套自主性能代理系统。在本文中,我们将深入探讨这一系统。以下是本文将涵盖的内容:

  • 传统性能工作的瓶颈
  • AI生成代码的问题
  • 大型语言模型(LLMs)能否处理性能分析数据
  • 代理式性能分析流程
  • Netflix在生产环境中发现的问题
  • 安全性、验证与信任架构
  • 左移策略

免责声明:本文基于来自多个来源的公开信息。文末有参考文献。如果您发现任何不准确之处,请在评论中指出。

传统性能工作的瓶颈

Netflix的传统性能工程工作建立在一个高度迭代的循环上,本质上是人工操作的。

首先,你为某个应用程序触发性能分析。开发人员通过在生产服务器上启动性能分析工具,尝试检测高延迟或资源使用量增加的情况。

在第二步中,性能分析工具输出原始追踪数据或火焰图。开发人员将这些信息下载到本地计算机。

第三步,开发人员花时间查看复杂且颜色编码的火焰图。他们试图识别可能显示异常CPU或内存消耗的宽泛堆栈帧。

接下来,开发人员在代码库中查找火焰图中发现的晦涩方法名。他们试图理解周围的应用逻辑以弄清问题所在。

第五步,开发人员追踪执行路径并识别低效操作。他们编写一个修复该操作的补丁提案。

继续推进,开发人员将补丁部署到可以测量性能变化的环境中。

最后,当新代码路径部署到生产环境后,开发人员再次启动手动流程。

你可能已经注意到,这种工作流程无法扩展。所有内容都依赖于少数几位对底层执行栈有深刻理解的领域专家。由于人类注意力是一种稀缺资源,你只能在重大事故或明显系统变慢时调查性能问题。较小但持续的资源消耗往往被忽视。

为什么 Braintrust、Raycast 和 Jane Street 使用 WarpBuild(赞助)

快速发展的团队比以往任何时候都交付了更多的代码,而 AI 工具又增加了更多。他们的 CI(持续集成)系统必须跟上节奏,而不会让账单失控。

这就是为什么 Braintrust、Raycast、OpenRouter、Comcast 和 Jane Street 的团队在 WarpBuild 上运行 GitHub Actions:

  • 速度是原来的两倍,成本仅为原来的一半
  • 支持 x86-64 和 ARM64 架构下的 Linux、macOS 和 Windows
  • 无限制的 macOS 并发性
  • 仅需一行代码修改 runs-on

使用代码 START50 可获得价值 50 美元的免费积分。

免费试用 WarpBuild

AI 代码的问题

AI 代码助手的使用增加了性能问题。这主要有两个原因:速度陷阱和上下文差距。

使用 AI 工具的开发人员可以比以前快 10 倍生成和交付代码。无论其技能水平或对系统的了解程度如何。但你无法保证生成速度快的代码在性能上也表现良好。虽然普通开发人员可能几分钟内就能编写 10,000 行代码,但团队可能需要花费数年时间来调试回归问题。或者处理代码膨胀。或者处理其他架构相关的问题。

此外,如果你注意到了,LLM(大型语言模型)在语法和局部逻辑方面表现优异。如果你要求 LLM 编写一个函数或 API 端点,它会生成能够成功编译并运行且没有明显错误的代码。它甚至可能通过标准的单元测试。然而,LLM 对主机平台的运行时环境一无所知。

例如,你不能指望 LLM 知道你代码中使用的某个实用函数可能在关键请求路径上每秒运行 1000 万次。它看不到整体的调用栈。它也无法理解在平台高峰期运行的容器内部可能存在的内存分配挑战。因此,你编写的代码在孤立情况下可能看起来足够好。但当你在大规模运行时,它仍可能浪费大量资源。

LLM 能处理性能分析数据吗

Netflix 想要测试自动化是否能解决这些问题。他们设置了一个实验,试图找出 LLM 是否能直接读取并理解原始性能分析数据。

不同语言有不同的性能分析工具。但它们使用一种共享语言并存储相同的核心信息。例如,JVM 的 async-profiler 或 Java Flight Recorder 以 100 Hz 的采样率运行,用于捕获执行轨迹、内存分配速率和线程锁竞争情况。Python 的 py-spy 提供低开销的异步堆栈采样,用于实时生产进程。Go 有 pprof,它生成 goroutine 分析、堆快照和阻塞竞争数据。

这些性能分析工具中的每一个都会将执行分解为调用栈。它们跟踪两个主要指标。首先,你有包含时间。这是执行一个函数所花费的总时间。它包括该函数的所有子函数和被该函数调用的子程序。其次,你有 Self(CPU)时间。这是在函数内部纯粹运行代码所花费的时间。不涉及外部调用。

通过此次实践,Netflix 工程团队得出结论:一个分析管道可以理解几乎所有编程运行时的数据。

LLMs 的另一个优势在于,它们无需从零开始猜测算法的工作原理。由于 LLMs 在大量软件仓库上进行了广泛训练,它们对经典的编程反模式已非常熟悉。例如,它们知道二次循环(即对集合中的每个元素重复调用热方法)并不是好主意。此外,它们也了解循环不变式(即在每次循环迭代中重复计算,而不是在循环开始时一次性完成计算)等反模式。其他常见模式包括在热执行路径上过度分配对象,以及“N+1”查询模式。

得益于 LLMs 的知识库,你无需让 AI 模型猜测应用程序性能不佳的原因。你可以构建一个工作流,让模型将已知的性能缺陷与实际调用堆栈进行模式匹配。

基于智能体的性能分析管道

Netflix 构建了一个自动化性能系统,将 LLM 封装在定义明确的管道中。

在实现过程中,Netflix 工程师学到的一个关键经验是关于范围控制的。如果你向 LLM 提供没有边界的完整原始堆栈跟踪,它可能会被分散注意力。通常,模型会花费大量推理令牌来分析内部 JVM 垃圾回收暂停、底层 Linux 内核系统调用,甚至第三方开源框架的开销。

应用程序开发者对这些内部库问题或操作系统例行程序没有任何控制权。因此,你需要为智能体提供严格的包前缀规则。这样,模型可以忽略通用平台噪声,专注于追踪特定的应用程序代码。

Netflix 在生产环境中发现的问题

当 Netflix 工程团队将分析管道部署到生产服务时,智能体发现了四类主要的性能缺陷。

第一类是算法瓶颈,浪费了 8.8% 的 CPU 资源。智能体发现了一个使用 Java Streams 的聚合方法,在归约步骤中更新了一个不可变映射。

code
// 反模式:在流归约中进行 O(N^2) 累加
stream().reduce(ImmutableMap.of(), (acc, val) -> {
    return ImmutableMap.builder()
        .putAll(acc) // 每一步都复制所有现有条目
        .put(val)
        .build();
});

由于 putAll(acc) 在每一步都会复制所有键值对,因此需要反复复制元素来构建大小为 N 的映射。这导致了二次复杂度。

智能体将二次复杂度的构建归约方式修改为线性集合方法。

code
// 优化:O(N) 单次遍历集合
stream()
    .flatMap(e -> e.entrySet().stream())
    .collect(toMap(Entry::getKey, Entry::getValue));

第二类问题是热路径上的正则表达式。在某个服务中,开发者需要通过修改不允许的字符来净化传入的请求字符串。早期实现对每个请求都运行原始正则表达式替换。

code
// 反模式:每个请求都进行动态正则表达式评估
String sanitized = input.replaceAll("[^a-zA-Z0-9.-]", "_");

正如你所知道的,评估正则表达式涉及解析和状态机转换。在高流量场景下,这部分逻辑消耗了服务 46% 的 CPU 时间。

代理将正则表达式评估替换为预计算查找表,通过索引检查字符。执行速度提升了22倍。

下一个类别涉及不必要的对象分配导致的内存溢出崩溃。某服务频繁检查传入数据负载是否包含特定元数据字段。为执行检查,代码会在每次调用时创建新的重型HashSet对象。

然而,底层数据对象本身已具备内部查找方法。此外,创建数百万个此类对象消耗了该服务总堆内存收集的47%。

代理通过移除冗余对象实例化并修改代码以复用缓存方法解决了此问题。

下一个类别涉及库的误用。例如,发现涉及度量遥测工具的使用。某服务通过每次调用时从度量注册表查找计数器来跟踪操作。

code
// 反模式:每次函数执行时查找度量实例
Metrics.counter(”request.count”).increment();

当查询发送到注册表时,需要字典查找和内部同步锁。分析器显示该操作消耗了66%的CPU资源,而实际业务逻辑仅使用了0.3%。

代理通过在类初始化时缓存度量计数器引用解决了此问题。此外,发现三个独立服务都存在相同问题。

安全、验证与信任架构

如果拥有一个可以优化代码的AI代理,若在没有自动验证的情况下应用更改,将非常危险。如果代理做出破坏业务逻辑的更改,其后果比低效代码更严重。

为防止回归,代理流程采用标准SDLC(软件开发生命周期)。

阶段1:验证逻辑。在移动任何代码之前,代理的分支必须通过所有现有单元测试、集成测试和契约测试。这是为了确保更改不会改变基本输入、输出或边缘情况的处理方式。

阶段2:金丝雀部署。如果测试通过,管道会在生产环境中启动金丝雀部署。金丝雀实例会获得一部分流量,与运行原始代码的相同基线实例并行运行。

阶段3:生成可观测性报告。平台会收集足够大的时间窗口内的硬性遥测指标。部分指标包括相对CPU利用率、中位数延迟、P99延迟和内存分配率。平台不会使用任何AI模型来检查金丝雀结果。

阶段4:最终工程决策。当金丝雀版本显示性能提升且错误率没有增加时,系统会创建PR(拉取请求)。该PR需要人工审核,包含代码更改、原始火焰图和金丝雀报告。最终是否将更改部署到生产环境由人工开发人员决定。

向左偏移

自动化生产分析非常有效。但如果仅依赖它,会暴露多个限制。

当代理在生产环境中发现反模式时,你已经为数天或数周的浪费计算能力付出了代价。

其次,开发人员本来就会谨慎更改正在运行的服务。如果某个服务能稳定处理生产流量而不会崩溃,开发人员会犹豫是否仅仅为了优化就进行更改。

最后,多个团队在模式方面常常会犯相同的错误。如果你在10个不同的服务上运行一个非常昂贵的代理只是为了发现同样的问题,这显然效率不高。

这些限制促使Netflix决定将性能检查提前到开发周期的早期阶段。同时,他们希望代理能够将发现的问题共享给整个工程团队。

然而,正如你所知道的,语言模型是无状态的。每次向大型语言模型(LLM)发送提示时,它都会从一张白纸开始。它可能不会记住之前在其他服务中发现的错误。Netflix工程团队构建了一个模式目录(Pattern Catalog),使模型能够实现持久化。这是通过将无状态的LLM与有状态的目录结合,或者说在集群中实现共享内存来完成的。

模式目录的构建围绕着四个关键原则。

  • 首先,它必须是集中的,并作为所有工程团队的单一事实来源。这样,就不会有两支团队重复调试相同的问题。
  • 第二个原则是,相同的目录条目应适用于不同的环境。例如,离线分析、CI/CD拉取请求检查和本地开发工具。
  • 第三,你需要对条目进行格式化,以便自动化脚本可以轻松地将它们注入到LLM的系统提示中。
  • 最后,目录的内容应可供人类开发者审查。

为了实现模式目录,Netflix工程团队使用了一个简单的Git仓库,其中包含纯Markdown文件。他们没有使用向量数据库或复杂的知识库。这个想法借鉴了Andrej Karpathy推广的“LLM-wiki”概念。

通过使用标准Git仓库,开发人员获得了多项优势。首先,开发人员可以对比更改、打开拉取请求,并使用Git功能来查明条目创建的原因。其次,它能够很好地扩展到数百个详细的性能规则,而无需复杂的搜索基础设施。最后,纯Markdown对人类和语言模型来说都易于阅读,无需翻译层。

Netflix如何早期发现问题

有了模式目录,Netflix可以通过两种路径处理性能工程:被动和主动。

在被动路径中,系统会定期或按需对生产服务进行性能分析。当代理发现新的瓶颈时,它会在金丝雀实例上测试修复方案。如果一切顺利,补丁会被合并,代理会在模式目录中记录新的发现。

在主动路径中,流程从开发人员创建新拉取请求(PR)开始。CI工具会快速对模式目录索引进行正则表达式或符号匹配。如果PR中的代码匹配已知的反模式,CI机器人会调用LLM并提供拉取请求的差异。LLM会检查上下文并在代码中添加内联评论,解释低效之处。它会显示资源影响并建议修复方案。所有这些操作都发生在代码合并到主分支之前。

结论

从Netflix的工程经验中可以学到的关键点是,自动化性能工程工作并不是非黑即白的。组织可以采用沿四个成熟度等级的工作流程。

第0级是手动处理的情况。在这个级别上,不使用机器学习。人类开发人员手动捕获跟踪信息,解释火焰图,并追踪代码路径。

Level 1 是辅助模式。这是 AI 技术落地的起点。大语言模型(LLM)作为分析型协作者发挥作用。开发者启动性能分析流程,但不会花费时间研究火焰图。他们只需将堆栈信息输入模型,模型即可识别出最耗时的执行路径。

Level 2 是编排层级。这是 Netflix 当前所处的阶段。大量主动扫描工作在此层级发生,同时他们还使用模式目录(Pattern Catalog)进行分析。

Level 3 是完全自主层级。这是 Netflix 对性能代理的长期愿景。在 Level 3 阶段,代理将自主制定优化策略。它们会探索多种替代实现方案,或运行自动化基准测试。

参考资料:

  • A Netflix Production Story - P99 Conference