Bringing Google TPUs to Oracle Cloud Infrastructure

Google 与 Oracle 合作将 Google TPUs 带入 Oracle Cloud Infrastructure | Google Cloud 博客

AI 基础设施

将 Google TPUs 带入 Oracle Cloud Infrastructure

2026 年 10 月 28 日

##### Karan Batta

Oracle Cloud Infrastructure 高级副总裁

##### Gurmeet Goindi

产品管理高级总监

随着 AI 工作负载在各行各业的扩展，组织需要在 AI 生命周期中优化吞吐量、延迟和单位经济性的计算方案。为满足这一需求，Oracle 与 Google Cloud 合作，将 Google 张量处理单元（TPUs）引入 Oracle Cloud Infrastructure（OCI），使 OCI 成为首个在 Google 之外提供 TPUs 的超大规模云服务商。我们将在 2027 年日历年度开始在 OCI 上部署 TPU 资源。

TPUs：从硅芯片到软件的协同设计

十年前，Google 基于明确的产品理念打造了首款 TPU：通过将定制硅芯片与光学网络、供电、液冷和编译器软件协同设计，可实现单瓦性能和总体拥有成本的提升，这是单一组件无法企及的。

TPU v1 的每瓦吞吐量是当时处理器的 30 倍。如今，TPUs 在 Google 的十亿用户产品中训练和运行 Gemini，第八代 TPU 每芯片可提供高达 12.6 PFLOPS 的原生 FP4 计算能力，相比上一代性能每瓦提升 2 倍的情况下，其算力超过 TPU v1 的 92 TFLOPS 超过 100 倍。然而，单纯的 FLOPS 数值无法决定训练和推理阶段的客户经济性。对于训练，关键指标是有效吞吐量（goodput），即集群用于生产计算的时间占比；对于推理，关键指标是延迟和每 token 成本。TPUs 通过系统级协同设计同时优化这两个指标。

通过将片上芯片间互连（ICI）路由与光电路交换（OCS）结合，控制平面可实时检测硬件或链路退化，并在不重启任务的情况下动态绕过故障点，实现大规模训练任务中数千个芯片超过 97% 的有效吞吐量，以及生产服务的高可用性。增加的片上 SRAM、更大的 HBM 容量，以及减少网络跳数超过 50% 的新型低直径互连拓扑，使最新一代 TPU 在低延迟服务场景中实现每美元性能提升高达 80%。

这种硬件效率在开发者无摩擦采用时转化为产品开发速度。我们在 PyTorch 大会上的最新公告进一步表明，我们致力于将 Google TPU 软件生态打造为开放且开发者友好的环境。值得注意的是，我们的原生 PyTorch 栈 TorchTPU 现已作为开源项目在 GitHub 上发布。您现在可以使用已依赖的工具（包括 vLLM、SGLang、llm-d、TorchTitan、Ray、TorchRec、Hugging Face、LiteRT）在 TPU 上进行训练、服务和部署模型。

这种可移植性使团队能够将每个工作负载分配给提供最低每 token 成本或最快训练时间的加速器，而无需重写模型代码。随着今天的宣布，他们将很快能够将这些工作负载分配到 Google Cloud 或 Oracle 基础设施上的 TPU。

• 专为高AI密度设计的数据中心：Google 的 TPU 系统专为机架规模的直接液体冷却而设计，而 OCI 的下一代数据中心正是为此类架构构建。Oracle 提供灵活且耐用的算力资源，可根据客户需求的变化，在前沿模型训练与生产推理之间灵活切换。将 TPU 的能效与 Oracle 创新的供电和冷却方案结合，可帮助快速在全球范围内部署高效节能的 AI 计算能力。

• Oracle Acceleron 提供的安全、高性能网络：当 TPUs 通过 ICI 和 OCS 在芯片之间传输数据时，Oracle Acceleron 提供了将 TPU 算力与 OCI 其他部分连接的基础网络架构。Acceleron 的 SmartNIC（具备硬件级租户隔离）、高性能互连和零信任数据包路由技术，可在不占用主机计算资源且不削弱安全边界的情况下，实现 Oracle 数据库、存储与 TPU 集群之间的高吞吐量、低延迟数据传输。

• 与企业数据的紧密连接：Oracle 数据库通常是企业组织的核心系统。在 OCI 中直接提供 TPU，使组织能够在现有企业数据旁运行微调和推理任务，无需耗费成本进行跨云传输。

• 多架构选择：在 OCI 中同时提供 TPU 和 GPU，使团队能够根据成本和性能需求，将每个 AI 工作负载阶段分配给最合适的加速器。

通过将 Google TPUs 带入 Oracle Cloud Infrastructure，Google Cloud 与 Oracle 正在将十余年专为 AI 打造的系统工程经验开放给更广泛的构建者生态系统。当客户在更多云平台上拥有更多专为特定用途设计的计算选择时，整个行业将能够更快地构建并更高效地运营。我们迫不及待想看到你们将创造出什么。

Posted in

• AI infrastructure

• Partners