LinkedIn Replaces Argo CD with a Custom GitOps Engine for Kubernetes Deployments

TL;DR · AI 摘要
LinkedIn用自定义GitOps引擎替代Argo CD,提升Kubernetes部署效率,故障率下降93%。
核心要点
- 自定义GitOps引擎使部署故障率从925降至63,降幅达93%。
- 采用PUT替代PATCH操作,解决资源版本冲突问题。
- 新系统支持4000+服务,每周处理10万+部署。
结构提纲
按章节快速跳转。
LinkedIn替换Argo CD以提升Kubernetes部署稳定性与效率。
原有架构导致资源同步延迟、状态追踪困难等问题。
列举7个规模化使用Argo CD时出现的典型技术瓶颈。
采用无共享控制器架构,使用PUT操作和Lua健康检查。
- ›性能提升
部署故障率下降93%,失败检测时间缩短66%。
思维导图
用一张图看清主题之间的关系。
查看大纲文本(无障碍 / 无 JS 友好)
- LinkedIn GitOps引擎
- 问题
- 资源同步延迟
- 状态追踪困难
- 字段所有权丢失
- 解决方案
- 无共享控制器架构
- PUT替代PATCH
- Lua健康检查
- 成果
- 故障率下降93%
- 检测时间缩短66%
金句 / Highlights
值得收藏与分享的关键句。
部署基础设施故障率从925降至63,尽管部署量增长3.7倍。
使用Lua健康检查解决跟踪注解与部署状态关联问题。
PUT操作替代PATCH,避免资源版本冲突导致的字段所有权丢失。
LinkedIn 使用自定义 GitOps 引擎替代 Argo CD 实现 Kubernetes 部署 - InfoQ
InfoQ 首页 News LinkedIn 使用自定义 GitOps 引擎替代 Argo CD 实现 Kubernetes 部署
DevOps
QCon 旧金山(11 月 16-20 日):深入技术研讨。改变你思维方式的同行对话。
LinkedIn 使用自定义 GitOps 引擎替代 Argo CD 实现 Kubernetes 部署
2026 年 11 月 12 日 4 分钟阅读
作者:
- 克劳迪奥·马索洛
#### 关注我们
YouTube
232K 粉丝
26K 粉丝
新
RSS
19K 读者
X
57.1k 粉丝
21K 喜欢
Bluesky
收听本文 -
0:00
音频准备就绪
您的浏览器不支持音频元素。
正常
1.25x
1.5x
喜欢
新下拉阅读列表
- 阅读列表
在最近的一篇博客中,LinkedIn 披露其已用自研的 GitOps 引擎替代 Argo CD。这套新系统可跨 250 多个 Kubernetes 集群部署应用,支持超过 4000 个服务,每周处理超 10 万次部署。据披露信息显示,尽管部署量增长了 3.7 倍,部署基础设施故障率仍从 925 次降至 63 次。失败部署的中位检测与处理时间也从 16.1 分钟降至 2.45 分钟。
LinkedIn 最初采用每个集群部署一个 Argo CD 实例的架构,这种设计源于 Argo CD 本身已以类似方式管理集群附加组件。集群规模可达每集群 5000 个节点。中央部署协调器为每个部署生成临时 Pod,Argo CD 隐藏在这些 Pod 后方。团队列举了在大规模使用中出现的七大问题。Argo CD 缺少 observedGeneration 字段,导致无法将同步和健康状态与特定部署关联。LinkedIn 创建了基于跟踪注解的 Lua 健康检查来解决此问题。当使用过期的 repo-server 缓存条目时,标记为“已同步且健康”的应用也可能意外回滚到旧版本。
其中两个问题是架构层面的。Argo CD 为每个 Application 的 group-version-resource 维护一个独立的 watch。LinkedIn 集群的资源类型多样性较低,这意味着一个应用引发的 etcd 数据变动可能影响所有应用的同步速度。在一次测试中,6 万个 Pod 的集群同步耗时不到 3 分钟,而超过 8 万个 Pod 的集群则耗时超过 10 分钟。第二个问题是服务器端应用的 PATCH 操作。Kubernetes 会在对象的 managedFields 超过 10 个不同字段管理器后进行截断,API 服务器随后将丢失字段的所有权信息。在 LinkedIn 的 AI 工作负载中,每个 Pod 运行多个容器,如果某个容器从清单中被移除,它仍可能保留在运行中的 Pod 中。由于生产环境的破坏性操作需要审批,团队禁用了自动清理功能。其余问题包括需要跨集群重启控制器的 CRD 模式变更,以及部分 OutOfSync 状态未能准确反映真实漂移。错误信息则被大量模板代码掩盖。
LinkedIn 评估了 Flux,但发现其采用了相同的控制器范式,因此将其引擎构建为库。每个部署都在自己的 Pod 中运行,没有共享的控制器状态。更新使用 PUT 进行完整替换,而非 PATCH。当发生 resourceVersion 冲突时,系统会通过指数退避机制进行重试。通过实时对象、先前部署的清单和新渲染的清单进行三向差异比较,可以检测到漂移,而真正的漂移会导致部署失败。随后,同一个 Pod 会监视对象的状态,直到其收敛或超时,API 服务器会为用户解析错误。渲染清单中缺失的对象会成为删除候选对象,受删除保护机制约束,而 LinkedIn 的 CRD 收敛逻辑已内置其中。
使用 LinkedIn 部署器的部署
比较使用的是相隔一年的同一日历月份。迁移从 2025 年 7 月持续到 2026 年 4 月,因此 2026 年 5 月成为迁移后第一个干净的月份。基础设施故障统计仅涵盖由部署系统导致的故障,排除了漂移错误,因为两个系统对漂移的定义不同。LinkedIn 表示,改进不仅仅归功于新引擎。在此期间,编排器的错误分类和可靠性也有所提升。两种系统的成功部署中位持续时间相似。然而,平均值和尾部表现有所改善。团队将此归因于命名空间作用域的 informer 缓存。
该引擎是内部使用的,未提及任何开源发布。LinkedIn 仍使用 Argo CD 来管理集群附加组件和系统服务。团队还发现,维护 200 多个 Argo CD 实例使得每次升级都成为耗时数周的项目。
大规模运行 Argo CD 的团队在无需重写的情况下可以检查两件事。首先,统计长期存活对象上的字段管理器,因为管理字段截断可能导致产生无错误的孤立容器。其次,检查同步延迟是否与共享集群上的 Pod 总数匹配,这表明存在 watch 资源竞争。LinkedIn 得出结论,构建或扩展的决策取决于运营模型。他们表示,每个部署的隔离性而非控制器调优,使系统能够随着计算资源扩展。
LinkedIn 并非唯一一家围绕 Kubernetes 构建部署逻辑而非采用通用 GitOps 控制器的大型运营商。Uber 的 Up 平台为每个部署分配了专用控制器,这就是 Uber 部署控制器。它将意图转化为 Kubernetes 原语并发送状态更新,这有助于工作流程推进。Uber 保留了长期运行的控制器,而 LinkedIn 则为每个部署运行一个临时 Pod,没有共享的控制器状态。
Airbnb 更早地构建了自己的工具。在 2019 年 QCon 伦敦会议上,基础设施工程师 Melanie Cebula 在 InfoQ 上介绍了 kube-gen。这个内部框架可以从一个版本化的项目文件生成 Kubernetes 配置。它还包含一个部署工具,用于应用或替换对象并重启 Pod,使更改立即生效。Airbnb 的部署工具还会返回原子化的成功或失败状态,并且在部署开始时重启 30 秒的容器会被视为部署失败。当时,Airbnb 每年的生产部署数量约为 125,000 次。
作者信息部分主容器
关于作者
部分标题
每个作者信息的主容器
#### Claudio Masolo
显示更多
显示更少
#### 本内容属于 DevOps 主题
##### 相关主题:
- DevOps
- Argo CD
- Continuous Deployment
- Kubernetes
- 相关编辑推荐
- 相关赞助商 工程领域中扩展AI采用(由O'Reilly提供)- 立即下载
- 相关赞助商 找出测试遗漏的缺陷。Antithesis通过确定性模拟探索数千种故障场景,在缺陷进入生产环境前发现难以复现的缺陷。了解其工作原理。
InfoQ 电子简报
每周二发送上周InfoQ内容精选摘要。加入超过25万名高级开发者的社区。查看示例
我们保护您的隐私。