Introducing TPU Sync: Fast KV cache and weight transfer for inference and RL on TPU

TL;DR · AI 摘要
TPU Sync通过异步DMA传输和共享内存架构,将TPU推理延迟降低90%,并实现强化学习中权重的高效传输。
核心要点
- TPU Sync使KV缓存传输延迟降低90%,TTFT缩短90%(235B-480B模型)
- 集成PyTorch(TorchTPU)和JAX,支持vLLM/SGLang等框架
- 提供低级DMA原语用于Pathways和McJAX RL流水线
结构提纲
按章节快速跳转。
思维导图
用一张图看清主题之间的关系。
查看大纲文本(无障碍 / 无 JS 友好)
- TPU Sync架构
- 核心机制
- 统一内存分层(HBM/DRAM/SSD/DCN)
- 异步DMA传输
- 零拷贝缓冲区访问
- 应用场景
- 推理:多级KV缓存
- 强化学习:权重传输
- 技术优势
- 90% KV传输延迟降低
- TTFT缩短90%
- 兼容主流框架
金句 / Highlights
值得收藏与分享的关键句。
TPU Sync将KV传输延迟降低90%,通过直接访问设备缓冲区而非复制锁定
在无TPU Sync时,标准厨房需要重复预处理食材(prefill recomputation)
集成到PyTorch(TorchTPU)和JAX,支持Pathways/McJAX RL流水线
介绍 TPU Sync:TPU 上快速的键值缓存与权重传输 | Google Cloud 博客
人工智能基础设施
介绍 TPU Sync:TPU 上用于推理和强化学习的快速键值缓存与权重传输
2026 年 11 月 10 日
##### 张凤辉
Google Cloud 高级工程师
##### 于伟人
Google Cloud 高级产品经理
##### 立即体验 Gemini
职场人工智能的入口
立即体验
随着前沿人工智能从无状态单轮提示演进到百万 token 代理、解聚服务和持续强化学习(RL),人工智能基础设施的主要瓶颈已从原始计算能力转移到对实时模型状态的编排——这包括推理过程中存储在大规模键值(KV)缓存中的上下文状态,以及强化学习过程中从训练器更新并广播到 rollout 采样器的参数状态。每当这种状态被困在单个芯片的内存中或在网络传输中停滞时,AI 加速器就会处于空闲状态。
我们从第一性原理设计了 TPU Sync,作为跨 TPU 集群的模型状态层——基于架构洞察:加速器的高带宽内存(HBM)、主机 DRAM、共享存储和数据中心网络(DCN)应作为一个协同设计的内存层次结构运行。作为开源的原生 C++ 库,TPU Sync 通过异步 DMA 传输直接在该层次结构中移动 TPU 分块张量,使数据移动与主动计算重叠。
对于推理,它将 TPU 计算与网络背压解耦,将主机 DRAM、本地 SSD 和 Google Cloud 管理的 Lustre 转化为自动化的多级 KV 缓存;对于强化学习,它暴露了低级 DMA 和 DCN 原语,高级 RL 框架可以利用这些原语将更新后的权重从训练器流式传输到采样器。通过直接访问设备缓冲区而非复制或锁定它们,TPU Sync 一致地将 KV 传输延迟降低了 90% 以上,并在前缀缓存和解聚服务工作负载中,将重型开源权重 MoE 模型(235B–480B 参数)的首次生成时间(TTFT)平均减少了 90%。
通过这个共享的模型状态层,TPU Sync 直接集成到现有的基础设施堆栈中,包括 PyTorch(通过 TorchTPU)和 JAX——作为 vLLM、SGLang 和 llm-d 解聚服务的 TPU KV 缓存连接器,同时为 Pathways 和多控制器 JAX(McJAX)RL 管道提供低级传输原语。
理解 TPU Sync:厨房类比
为理解 TPU Sync 的影响,想象一家高端餐厅的厨房。将 TPU 想象为一位在狭小操作台(芯片的 HBM)上工作的极其快速的主厨。当准备一场盛大的宴会时,主厨需要大量食材(KV 缓存),这些食材很快就会使操作台变得杂乱。
- 标准厨房(无 TPU Sync):当小操作台被填满时,主厨不得不丢弃已准备好的食材,并在下次需要订单时从头开始重新切配——导致厨房因重复的准备工作(预填充重新计算)而停滞。
- 升级后的厨房(带 TPU Sync):TPU Sync 增加了一个宽敞的侧边储物间(固定主机 RAM)、一个所有厨房工作站均可访问的共享冷储室(集群共享存储),以及一支协调的送餐员团队。送餐员直接在操作台、储物间和相邻工作站之间滑动完整的准备托盘,无需重新打包(原生 TPU 布局的直接 DMA)。
关键在于,当厨师持续烹饪时,跑者们不断交换托盘(异步、非阻塞传输)。
TPU Sync 的核心使用场景
TPU Sync 在需要深度上下文、高并发、多轮推理和强化学习 rollout 的工作负载中,可提升系统吞吐量和延迟表现:
- 长上下文 AI 代理和多轮对话:在进行长达 256K 到 1M+ token 的会话或分析大型文档时,模型会持续生成不断增长的 KV 缓存。TPU Sync 会自动将较旧的 KV 块从 TPU HBM 分层转移到主机 RAM 的大容量池中(实验性支持进一步转移到共享二级存储)。
- 包含重系统提示的企业应用(前缀缓存):AI 服务平台会接收数千个包含通用指令或文档的查询。TPU Sync 将前缀缓存扩展到分布式主机内存,使并发会话可复用预计算的 KV 块,绕过冗余的预填充计算。
- 解耦服务架构(预填充/解码):在现代企业部署中,工作负载被隔离:计算密集型节点处理初始大规模提示(预填充),而内存密集型节点逐个生成响应(解码)。TPU Sync 通过充当高带宽主机到主机(H2H)流式传输管道,弥合硬件差距,将预填充节点处理的上下文直接传输到解码节点,持续减少超过 90% 的数据传输开销。
- 强化学习流水线(实验性):已在内部 RL 工作负载中验证,并作为实验模块包含在代码库中。TPU Sync 提供底层 DMA 和 DCN 传输原语,供高级 RL 框架用于在训练器和推理采样器之间同步模型权重,包括自动跨不同训练器和采样器并行布局的重新分片,以减少 rollout 工作节点等待权重更新的时间。
通过 TPU Sync 突破内存墙
本质上,TPU Sync 在 TPU HBM 与主机 RAM 之间,以及通过 DCN 在 TPU 主机之间建立高性能数据传输路径。它通过以下四个关键架构优势实现这一目标:
- 保留布局的直接 DMA 与原地缓冲区别名:TPU Sync 直接访问底层 JAX PJRT 缓冲区或 PyTorch 张量,并通过单次硬件 DMA 在 TPU HBM 与锁定页(DmaMap 注册)主机内存之间直接传输切片。通过在 HBM、主机 DRAM、存储和传输链路中保持张量在原生 TPU 物理瓦片布局,数据可立即准备就绪,无需 Python 序列化、布局转换或用户空间反弹缓冲区,即可执行矩阵乘法单元(MXU)运算。
- 计算重叠传输:TPU Sync 不通过独占锁或设备内复制静态 KV 缓存和权重缓冲区,而是创建原始 PJRT 缓冲区别名(PJRT_RawBuffer),无需持有 PJRT 使用锁,使块级传输可与活跃的原地计算并发执行,并内置 DMA 节流机制防止大传输延迟内核启动。
- 数据路径中不涉及 XLA 编译:由于 TPU Sync 在 XLA 图表之外的原生 C++ 中执行传输和分块感知的步进重新分片,跨不同训练器和采样器拓扑移动 KV 块或重新分片权重不会触发运行时编译——从而保持数据路径的高效性和框架无关性。
- 高带宽 PCIe DMA 和 DCN 流式传输:通过 raw_transfer 库的直接 PJRT 原始缓冲区 DMA 管道,TPU Sync 在每台 Ironwood(TPU v7x)主机上实现了高达 223 GB/s 的 D2H 和 H2D 总吞吐量(接近 256 GB/s PCIe Gen5 硬件上限),并通过单个 200 Gbps 网卡实现高达约 192 Gbps 的 DCN 流式传输(或通过 NUMA 感知的多网卡条带化在双 200 Gbps 网卡上实现约 350 Gbps)。
TPU Sync 提供了一个低级数据传输 API,使开发者更容易将高速 TPU 数据传输集成到更高级别的框架中。
更高级别的架构
基于其核心传输和重新分片原语,TPU Sync 为分布式缓存管理提供了模块化的编排堆栈:
- 全局 KV 存储:一个全局注册表,将提示前缀哈希映射到物理缓存块,处理动态查找,并协调 LRU 驱逐和层级降级。
- TPU Sync 控制器:负责生成传输计划、协调节点间数据移动,并处理租约管理和恢复的编排层。
- KV 缓存管理器:本地执行引擎,跟踪块状态,管理 HBM、主机 DRAM(包括 /dev/shm 热启动持久化)以及实验性 POSIX 存储后端,并执行异步 DMA 传输。
图 1。TPU Sync 作为 TPU 上的模型状态层,统一了 TPU HBM(第 1 层)、固定主机 DRAM(第 2 层)、共享存储(第 3 层)和多主机 DCN,通过单个布局保留的 DMA 数据平面进行管理。
解决分拆服务和前缀缓存
让我们更详细地了解 TPU Sync 如何帮助解决前面部分列出的一些用例。通过将主机固定内存视为一个显著的高速第 2 层缓存,TPU Sync 减少了标准 HBM 配置的碎片化和内存限制。
预填充/解码(P/D)分拆服务
在最先进的服务拓扑中,预填充(计算密集型)和解码(内存密集型)阶段在不同的节点池中隔离。为了避免延迟气泡,TPU Sync 通过高度优化的三步流水线桥接这一差距:
- 直接 DMA 卸载:一旦预填充节点处理初始提示,TPU Sync 立即通过其异步 D2H DMA 路径将生成的 KV 块移动到固定主机 RAM 中。
- 主机到主机流式传输:随后,TPU Sync 控制器协调高带宽的主机到主机(H2H)传输,直接将上下文流式传输到指定的解码节点。
- 重叠摄入:当块到达解码节点的主机 RAM 时,TPU Sync 触发异步 H2D 传输,直接将数据传输到 TPU HBM。这与主动解码计算同时进行,显著减少了首次令牌传输时间(TTFT)。
由主机驱动的前缀缓存
对于需要共享大型系统提示或运行多轮智能代理循环的高并发系统,TPU HBM 的容量不足以容纳多个活动缓存块。TPU Sync 将前缀缓存从 HBM(第一层级)扩展到分布式主机内存池(第二层级)。由于 TPU Sync 的传输是异步的,它能够将主机内存中下一个所需前缀的 PCIe DMA 加载与当前请求的计算重叠执行——从而最大限度地减少请求之间的 TPU 空闲时间。
对于超出主机 DRAM 容量的工作负载,TPU Sync 还包含一个实验性 POSIX 存储后端(第三层级+),该后端异步地将较旧的 KV 块写入本地 SSD 或共享的 Google Cloud 管理 Lustre 存储——与 GKE 上的 llm-d 前缀亲和路由配合使用,使副本能够在不同层级之间召回缓存前缀而无需重新计算提示。
示例性能结果
P/D 分离推理结果亮点:
- KV 传输开销减少超过 90%:对于 Qwen3 235B 等重型模型,KV 传输延迟中位数从数秒降至稳定的约 230 毫秒。
- TTFT 显著降低:在受控低并发测试基准下,重型模型(Qwen3 235B)的 TTFT 平均减少 60%,480B 模型在低并发下平均减少 90%。
- 高流量可扩展性显著提升:在持续流量高峰期间,TPU Sync 使 235B 模型的每秒令牌输出吞吐量平均提升 30% 至 70%,具体提升幅度取决于流量分布。
前缀缓存结果亮点:
- 扩展 KV 缓存容量超出 HBM:当重型 MoE 模型权重占用设备 HBM 大部分空间时,片上内存仅能容纳少量长上下文前缀。卸载到固定主机 DRAM 可使有效缓存容量提升一个数量级。
- 高并发下保持高缓存命中率:通过分布式主机内存池池化,可在数千个并发会话中保持共享系统提示和多轮代理上下文的活跃状态,而非在 HBM 中反复抖动。
- 显著减少预填充重新计算:直接绕过重复指令块和系统提示的重型计算层,使 64K 上下文工作负载的平均 TTFT 最多减少 90%,同时实现吞吐量提升 50% 以上,并将 P99 令牌间延迟(ITL)减少 30%。
有关测试配置的详细信息,请参见下方注释 1。
生态系统采用与合作伙伴
TPU Sync 作为开放且可组合的内存基板,贯穿我们的 PyTorch-on-TPU 和 Kubernetes 服务生态系统,与关键开源维护者和基础设施合作伙伴紧密协作构建:
- Inferact(vLLM-TorchTPU):与 Inferact(vLLM-TorchTPU 维护者)联合开发,TPU Sync 通过 vLLM 本机 KVConnector 接口直接集成。它为前沿开源模型提供 Direct-DMA 主机内存卸载和跨多主机 P/D 分离。
- RadixArk(SGLang-TorchTPU):与 RadixArk(SGLang-TorchTPU 维护者)合作,TPU Sync 既作为 SGLang 分层缓存的高速 P/D 分离传输后端,也作为其本机 I/O 后端。
- llm-d 1.0 集成:llm-d 1.0 在 GKE 上与 TPU Sync 配合,实现全局前缀缓存亲和路由、按 rank 解码会话固定,以及 Google Cloud 管理 Lustre 的实验性两阶段容量卸载。
- 经前沿AI实验室和企业验证:前沿AI机构已开始采用我们的PyTorch-on-TPU服务堆栈,并评估TPU Sync多层级架构用于生产部署——包括Meta,以及Wayfair等大型企业及多芯片合作伙伴。
入门指南
TPU Sync今日作为开源项目发布,提供适用于PyTorch(tpu-sync-torch)和JAX(tpu-sync-jax)的Python wheel包,并已与vLLM-TorchTPU、SGLang-TorchTPU及llm-d on GKE集成。访问GitHub仓库可查阅架构文档、C++和Python API以及部署指南。
我们致力于与开源社区合作,推动TPU上的模型状态层发展——支持新型前沿架构、扩展存储分层以及更长期的智能体和强化学习工作负载。如需获取最新性能结果,请查看我们在公开基准测试(InferenceX)上的持续进展。
- 性能结果基于2026年7月在TPU v7x(2x2x1拓扑结构)上进行的内部测试,配置为每块TPU芯片使用PCIe Gen5(x16)接口,每台主机启用一个或两个200 Gbps网卡,运行tpu-inference v0.24.0(使用JAX 0.10.2和libtpu 0.0.42.1)。所展示的指标代表在受控实验室条件下观察到的平均和中位数性能提升。实际真实场景中的性能表现、缓存命中率和延迟降低情况将根据系统配置、网络带宽、并发流量和具体用户工作负载模式而有所不同。
Posted in
- AI infrastructure
- Compute
- TPUs