Crossing the threshold to dependable open source AI serving

跨越门槛，实现可靠的开源AI服务

组件 | 文章简介

2026年10月20日

4

分钟阅读

AI推理

,

人工智能

开源

Brian Stevens

AI首席副总裁兼首席技术官

Subpattern | social_share_set

组件 | 社交分享

分享

Subpattern | 订阅

组件 | 社交图标

订阅RSS

组件 | 图标

© Red Hat, Inc. CC-BY-4.0授权

Subpattern | 结果导航

组布局

组件 | 导航链接

• 返回所有文章

组件 | 通用

当大型开源权重模型首次引起关注时，行业面临一个挑战。强大的开源模型开始出现，但技术人员缺乏一个能高效运行这些模型的开源推理服务系统。在多年为CPU构建推理引擎后，我和我的团队将全部精力转向vLLM项目。与社区合作，vLLM的功能扩展，成为事实上的推理服务器。如今，vLLM项目已成为PyTorch基金会的一部分，拥有活跃的公司和开发者社区，积极为新模型、硬件和研究技术添加支持。

随着Red Hat持续推进这项工作，与企业用户的交流揭示了一个新现实。让单个服务器高效运行已成为基本要求。下一个挑战是在集群规模上协调模型服务。去年春天，我们宣布了llm-d项目来解决这个问题，开发了一个开源的、原生Kubernetes编排层，用于跨多租户生产集群的分布式LLM服务。今天，Red Hat与我们的社区合作伙伴宣布发布llm-d 1.0版本。达到这一里程碑标志着项目已完全成熟，经过严格代码验证，在真实生产负载下证明了稳定性，并在不断扩大的贡献者社区中得到广泛应用。开源AI服务已从实验性科学项目跨越到可信赖的基础设施，成为可以构建的可靠基础。

第二天项目成熟度和代码加固的表现

在早期开源实验中，团队通过在纯净硬件上进行孤立基准测试来衡量进展。在第二天，当数百个自动化代理和人类用户争夺共享资源时，保持AI服务健康需要完全不同的操作规范。

平台团队向我们提出了一个明确的困境：当开发人员在交互会话中调试代码时，如果自主后台代理向GPU池发送数十个并行工具调用，会发生什么？为第二天构建意味着直接在请求路径中解决这些摩擦点。过去一年，我们的贡献者社区专注于高强度的代码加固。我们构建了优先级感知的流量控制，确保交互用户的延迟敏感查询不会因突发的后台代理而被饿死。我们设计了具有热备用和协调滚动更新的路由器高可用性，使操作员可以在不中断实时流量的情况下升级模型和运行时。代码加固是消除操作意外，让平台团队能够像标准企业管道一样运行分布式推理，而不是脆弱的自定义代码。

在生产负载下验证的稳定性

仅依靠合成基准测试无法建立稳定性。它必须在实际生产规模中经受考验，此时代理上下文会持续数小时扩展，加速器内存面临持续压力。当多轮工作负载反复冲击未受管理的集群时，简单的负载均衡器会分散请求，清除缓存的前缀状态并触发大量重复计算成本。

llm-d 通过使编排层感知推理动态来实现生产规模的稳定性。它保持上下文局部性，将预填充阶段与解码阶段分离，并在异构加速器池中平衡工作负载。在生产环境中，这种操作稳定性带来了显著的效率提升。在 IBM 研究中，通过 llm-d 探索量子纠错硬件时，生成了与代理编码循环完全一致的具有大规模上下文重用的多轮工作负载。该部署实现了 98% 的前缀缓存命中率，并将混合服务成本降低了 5 到 10 倍，相比专有方案。

在基准演示中，研究人员使用 llm-d 部署了 GLM-5.2，这是一个约 7530 亿参数的开源权重模型，运行在广泛部署的 NVIDIA GPU 上，展示了企业如何利用现有 GPU 队列以规模服务前沿级 AI。在数百个代理会话并行运行的工作负载中，llm-d 在代理基准测试峰值时实现了每分钟超过 660 万个输出 token。集群支持高达 3000 个并发编码代理且无抢占，证明 llm-d 能够高效服务大型专家混合模型以处理代理工作负载。

跨扩展生态系统的广泛采用

一个成熟的基础设施项目通过构建它的社区和在流量激增时信任它的团队赢得可信度。目前，llm-d 社区已有来自 25 家组织的 500 多名贡献者，所有人在 CNCF 治理下公开构建。

这种共享投资已在前沿模型实验室、超大规模云服务商、新云服务商和主要企业中投入生产。在 Red Hat，我们通过 Red Hat AI Inference 将这套经过验证的架构直接带给用户，无论他们是在 Red Hat OpenShift AI 中原生运行，还是在第三方 Kubernetes 环境中运行。

llm-d 与 PyTorch

在 PyTorch Conference North America 上庆祝一个在 CNCF 治理下的项目新版本，突显了现代计算的发展方向。分布式推理直接位于深度学习运行时和云原生编排之间的接缝处。编排层发生的变化会直接影响模型运行时能实现的功能。

模型开发者和芯片合作伙伴在 PyTorch 中推动快速创新，而 CNCF 社区则为分布式系统提供了数十年的操作严谨性。将 llm-d 纳入 CNCF 治理是一个有意识的举措，旨在保持控制平面的厂商中立性并消除生态系统摩擦。它在两个社区之间建立了一座开放桥梁。平台团队可以使用标准云原生工作流编排复杂的多加速器集群，同时保留模型作者在 PyTorch 中构建的底层执行速度。

参与 llm-d 和 PyTorch 社区

The future of open source AI will not be locked inside closed-source serving stacks. It’s being built openly by researchers, runtime developers, and platform operators working together across foundation borders. While 1.0 represents a major operational milestone, our community is already moving forward to support emerging hardware architectures, larger model shapes, and evolving agent patterns.

We invite you to help shape that future. Check out the project on GitHub , join the conversation, and collaborate with both the llm-d and PyTorch communities as we build durable infrastructure for open source AI serving.

Component | Card_header

About the author

Subpattern | speaker

Card layout

Component | Image_embed

Component | Person

Brian Stevens

Brian Stevens is Red Hat's Senior Vice President and Chief Technology Officer (CTO) for AI, where he drives the company's vision for an open, hybrid AI future. His work empowers enterprises to build and deploy intelligent applications anywhere, from the datacenter to the edge. As Red Hat’s CTO of Engineering (2001-2014), Brian was central to the company’s initial growth and the expansion of its portfolio into cloud, middleware, and virtualization technologies.

After helping scale Google Cloud as its VP and CTO, Brian’s passion for transformative technology led him to become CEO of Neural Magic, a pioneer in software-based AI acceleration. Red Hat’s strategic acquisition of Neural Magic in 2025 brought Brian back to the company, uniting his leadership with Red Hat's mission to make open source the foundation for the AI era.

Component | CTA

More from this author

Component | Band_header

More like this

Dynamic pattern

Blog post

How Delta Air Lines scaled AI-native development to 1,200 engineers with cloud development environments

Shared GPUs without shared latency: Priority-aware serving in Red Hat AI

Original podcast

Can agentic AI patch the internet?

How Red Hat cleared IT debt for scalable AI

Keep Exploring mbox

Subpattern | simple_text

Browse by channel

Component | Cta_multi_basic

Subpattern | simple_cta

Explore all channels

Pattern | raw_html

Automation

The latest on IT automation for tech, teams, and environments

Artificial intelligence

Updates on the platforms that free customers to run AI workloads anywhere

Open hybrid cloud

Explore how we build a more flexible future with hybrid cloud

Security

The latest on how we reduce risks across environments and technologies

Edge computing

Updates on the platforms that simplify operations at the edge

Infrastructure

The latest on the world’s leading enterprise Linux platform

Applications

Inside our solutions to the toughest application challenges

Virtualization

The future of enterprise virtualization for your workloads on-premise or across clouds