What’s new in AI infrastructure and orchestration in October

本月 AI 基础设施新动态 | Google Cloud 博客

AI 基础设施

2026 年 10 月 AI 基础设施与编排领域新进展

2026 年 10 月 31 日

##### Alex Barrett

Google Cloud 博客编辑

##### Dave Bartoletti

AI 与计算基础设施产品经理

##### 今日体验 Gemini

职场 AI 入口

立即体验

Google Cloud AI 基础设施团队在 10 月再次迎来繁忙的月份，推出了多项新产品并进行了重要更新，旨在以可扩展且高效的方式支持当前的 AI 和智能体工作负载。我们也很荣幸在 NVIDIA GTC、PyTorch 大会以及 AGNTCon + MCPCon 等行业顶级会议上，与客户、合作伙伴及更广泛的社区分享我们的最新进展。让我们深入了解这些更新：

产品、技术与工具更新

• 全新计算服务：Agent Compute Engine 是专为智能体设计的计算服务，提供高性能、硬件隔离的微虚拟机沙箱，同时扩展了智能体治理功能，如 Agent Gateway 和 Agent Registry，旨在保障并扩展自主 AI 智能体的安全性。其核心优势包括亚秒级快速启动、通过写时复制内存共享实现极端工作负载密度、企业级安全与身份管理，以及跨云可观测性。

• AI 超级计算机更新：在 2026 年 NVIDIA GTC 柏林会议上，我们宣布对智能体基础设施进行升级，包括基于 NVIDIA Vera Rubin NVL72 平台的 A5X 实例、Virgo 网络扩展架构以及托管 Lustre 存储。这些协同开发的创新成果为企业带来加速性能和增强的主权 AI 控制能力，而先进的机密计算功能则可帮助您安全高效地训练和部署复杂的多步骤模型。

• GKE 产品更新：GKE 的 CPU 启动加速功能（预览版）利用 Kubernetes 原地 Pod 扩容技术，在容器初始化时动态提升 CPU 资源，并在无需重启容器的情况下将其回退至稳定状态。此功能消除了启动时的限流问题，可将高负载工作负载的冷启动速度提升高达 2 倍，从而降低云基础设施成本。

• GKE 产品更新：Google Kubernetes Engine（GKE）的 Wiz 运行时传感器附加组件（预览版）带来低干预部署、自动化生命周期管理、企业凭证安全以及全舰队治理，将 Wiz 的 eBPF 运行时威胁检测能力扩展至标准版和 Autopilot 版 GKE 集群。

• 现代化工具：重磅集结。Google Cloud Modernize 将 Google Cloud 的迁移与现代化工具整合为统一组合，包括迁移中心、Google Cloud VMware 引擎、Google Cloud 主机现代化解决方案，以及我们新推出的 EKS-to-GKE 迁移代理。企业团队现在可在基础设施评估、平台现代化和应用现代化领域获得专为智能体设计的统一能力。

• Cloud Run 产品更新：Cloud Run 上的 Temporal 无服务器工作者可根据 Temporal 任务队列需求自动扩展工作者池，并在空闲时缩容至零。该集成消除了集群管理需求，通过 Temporal 工作者版本控制降低成本，安全处理有状态、长期运行的工作流和 AI 智能体工作负载。

• 新开源产品：llm-d 1.0 是一个开源的、原生 Kubernetes 服务框架，可将模型服务器集群转化为协调的服务池，统一管理跨 Google Cloud TPU 和 GPU 混合舰队的分布式大语言模型推理。该产品由 Google 与合作伙伴联合推出，提供生产级功能，包括缓存感知路由、分级 KV 缓存卸载和基于优先级的流量控制，显著提升上下文复用率，降低首次生成令牌延迟，并高效扩展多租户代理工作负载。

• 新开源产品：与 Meta 合作，我们开源了 TorchTPU，这是一个原生 PyTorch 堆栈，可将 Google TPU 直接集成到 PyTorch 生态系统中，与 GPU 和 CPU 并行使用。现在开发者可以使用 Hugging Face、vLLM 和 TorchTitan 等熟悉的框架，在 TPU 上原生训练、服务和部署模型。

• Google 分布式云更新：对于受严格主权法规约束的组织而言，他们希望利用 AI 处理数据但无法上传至云端。最新版 Google 分布式云（GDC）air-gapped 将前沿 AI 模型和 Gemini 多模态企业搜索功能带入这些隔离环境。此外，GDC air-gapped 支持基于 NVIDIA Blackwell Ultra 架构的 NVIDIA HGX B300 系统，并增强网络和安全功能。

• 边缘推理产品：Google 开源了 ML Drift，这是一个为 LiteRT 构建的跨平台设备端 GPU 计算引擎，通过抽象 OpenGL ES、OpenCL、Metal 和 WebGPU 的硬件复杂性，实现经典机器学习任务和先进生成式 AI 模型在边缘的峰值性能、增强的 5D 张量支持和内存效率。

• 开源权重模型支持：Reflection 的 Beam 是一个开源权重模型，包含 501 个参数，采用 Apache 2.0 许可证发布，专为前沿软件工程和长期代理任务设计。我们宣布在 AI Hypercomputer 和 NVIDIA AI 基础设施上提供 Beam 服务的即用型部署方案，并实现零日支持。

实践者指南与操作手册

• AI 网络参考架构：在《AI 推理模型服务网络架构 - 仅限 GKE 与其他后端》中，学习使用 Private Service Connect、Apigee API 管理和 Model Armor 实现的 AI 推理模型服务参考架构，这些架构通过集中式治理和私有 IP 路由，简化 GKE、Cloud Run 和混合云环境下的多模型扩展与提示安全性。

• 操作指南：《GKE 上 TPU 可观测性故事：第 2 部分 - 动态切片增强功能》通过引人入胜的叙事式可观测性指南，由 AI 平台首席工程师 Alex 主导，解析 GKE 新一代 v7 TPU 的动态切片可观测性工具和指标。通过真实案例和实用命令行代码片段，逐步演示诊断工作流程。第 1 部分请参见此处。

客户与合作伙伴动态

• AI21 在 AI Hypercomputer 上实现 AI 工作负载启动时间减少 83%：前沿实验室 AI21 需要新的训练堆栈来部署其 Jamba 系列模型，选择配置了 GKE A3 和 A3 Ultra 实例的 AI Hypercomputer。通过这一方案，AI21 表示将高优先级任务等待时间从 72 小时缩短至 12 小时，并将每周人工调度干预次数从 20 次降至 0 次。

• Visko 在 Google Cloud TPUs 上流式传输实时世界模型：Visko 是一家开发交互式世界模型的人工智能初创公司，其部署了一个端到端的实时推理流水线，将视频生成、超分辨率放大和同步音频整合到单个 Cloud TPU 切片中。在本博客中，团队讨论了他们如何构建该流水线、所进行的架构优化，以及为其他构建超低延迟生成式 AI 的初创公司提供的实践经验。

• ZenteiQ 通过 GKE 和 llm-d 将物理 AI 推理扩展 4 倍：为了预训练能够理解物理定律、控制方程和数值求解器的模型，印度人工智能初创公司 ZenteiQ 设计并构建了一个大规模批量合成数据生成流水线，该流水线跨多个模型家族运行，并将经过验证的数据集输入训练流程。GKE 和 GKE 推理网关为 ZenteiQ 提供了流水线中的推理路由层，使其聚合推理吞吐量扩展了 4.07 倍，每日输出从每 1000 个加速器生成 14.7 亿个 token 增长至 59.7 亿个 token。

• Palo Alto Networks 现代化云交付安全服务：自 2018 年以来，Palo Alto 一直与 Google Cloud 合作提供 Prisma Access 安全服务，现在是更新服务的时候了。为了不损害其安全保证，Palo Alto 将平台拆分为两个独立可扩展的层级：一个运行在 GKE 上、使用 Axion C4A 实例处理流量路由和转发的入口层级；以及一个运行在专用单租户虚拟机上、由内部负载均衡器支持的处理威胁检测的安全层级。现在每个层级都可以独立扩展、更新和运行。

• Oracle 是首家在 Google Cloud 之外提供 TPUs 的超大规模云服务商：通过部署 Google TPUs，Oracle 扩展了其 Oracle Cloud Infrastructure (OCI) 上可用的人工智能芯片种类，为客户运行人工智能工作负载提供更多选择。Google TPUs 将于 2027 年在 OCI 上提供。

研究、报告和深入分析

• 新资源：随着企业组织从孤立的人工智能实验转向生产级系统，工程、财务到高管团队等不同部门往往使用不同的技术术语；《人工智能基础设施百科全书》通过解析复杂的基础设施术语，弥合了这种沟通鸿沟。

• 分析师报告：我们非常高兴地宣布，Google 在 2026 年 IDC MarketScape 首届 Agentic AI 平台评估中被评为领导者。

• 深入分析：一份配套技术指南，描述了 Agent Compute Engine 的架构，以及 Google Gemini 团队如何需要虚拟机的隔离性和容器的速度与密度，以实现为每个 Gemini 用户提供个性化代理的目标。

2026 年 9 月

#### 产品、技术和工具更新

Google Kubernetes Engine 更新：GKE 团队一直致力于提升平台的可扩展性，9 月的改进以多种形式呈现：

• 新功能：需要为智能代理工作负载提供更高密度的执行运行时？我们开发了新的开源 GKE Agent Substrate，可运行数百万个沙箱，密度比标准容器运行时高 10 倍。Agent Substrate 还通过原生零信任内核和网络隔离，实现每秒超过 500 次挂起/恢复操作的亚 500 毫秒恢复性能。

• 产品更新：GKE 现在内置了零规模扩展功能。得益于 HPA（配合自动扩展指标）和对 KEP-2021 的支持，无需配置复杂组件即可实现工作负载的自动缩放。了解更多请阅读博客。

• 产品更新：此外，GKE HPA（配合上述自动扩展指标）现在支持基于自定义 PromQL 指标进行上下缩放，除了标准指标外，还可根据对业务有意义且独特的条件触发工作负载。了解更多请访问此处。

• 新功能：另一个可扩展性功能是 GKE Pod 快照，它允许您保存工作负载的运行状态（包括 CPU 和 GPU 内存），并按需恢复。根据内部测试，GKE Pod 快照可将 AI 推理启动时间减少高达 89%。了解更多请访问此处。

• 新迁移工具：最后，如果您一直想将容器工作负载从 AWS EKS 迁移到 GKE，但担心需要耗费大量工程资源的复杂操作，我们推出了 GKE 智能迁移，这是一个专为迁移设计的代理插件，用 AI 辅助的迁移流水线取代了脆弱的临时提示，且受到确定性防护机制的保护。该工具由代理技能集合和本地模型上下文协议（MCP）服务器组成，利用 AI 将复杂的 AWS EKS IaC 和 Kubernetes 清单直接转换为 GKE 落地区域。通过入门指南开始使用。

• 功能更新：强化学习（RL）和评估工作负载极具挑战性：在标准代理 RL 循环中，LLM 策略会在 GPU 上生成代码片段等操作，并在隔离的 CPU 沙箱中执行以观察奖励信号。然而，当将此循环扩展到支持数万次并行 rollout 时，会出现基础设施瓶颈，例如空闲加速器、镜像基数和饱和的控制平面。为此，我们开发了专为 RL 优化的 GKE Agent Sandbox，以及 Agent Sandbox RL 编排 SDK 和与主流 RL 框架（如 gym 和 harness）的原生集成。所有功能现已全面上线，了解更多请访问此处。

存储更新：AI 训练和生成了大量数据，这些数据必须存储在某处——块存储系统、文件系统、对象存储和数据库中。我们宣布对存储产品组合进行了增强，以帮助这一关键层级应对代理工作负载的挑战：

• 产品更新：Filestore 代理卷为代理工作负载提供高性能、弹性、持久化文件存储。得益于与 GKE Agent Substrate 和 GKE Agent Sandbox 的紧密集成，Filestore 代理卷可在毫秒级时间内自动分配并挂载专用的、隔离的文件工作区到 GKE 代理沙箱。请求预览访问权限请访问此处。

• 新产品：如果您运行生成式 AI 和 RAG 数据层（如 Milvus、Pinecone、Qdrant、Vespa、Redis 和内存上下文缓存），可以了解一下现已全面上线的 M4N 系列虚拟机，该产品提供领先的每核 IOPS 和吞吐量。结合 Google Cloud 的定制钛架构卸载和 Hyperdisk Extreme，M4N 实例可实现高达 25,000 MiB/s（25 GiB/s）的聚合主机存储性能和高达 100 万 IOPS。

• 新产品发布：Compute Engine 的另一款新产品 Z4D 现已正式发布（GA），是一款专为 AI/ML 训练和推理工作负载设计的强大存储解决方案。当配置为裸金属实例时，Z4D 能同时提供代理微虚拟机所需的高本地 SSD（LSSD）容量和低延迟，因此您可以在每台主机上运行数千个隔离的沙箱，实现原生性能和效率。了解 Z4D 机型详情请访问此处。

• 产品更新：当前的 AI 训练和推理流水线生成数据的速度远超大多数存储管理系统能够处理的范围，给试图了解存储环境的团队带来挑战。新版 Storage Intelligence advisor 让回答“我的存储桶中有什么？”这一问题变得更简单，并能快速识别异常变化。随后增强的批量操作功能可让您跨存储桶自动化执行大规模变更——例如迁移存储类别、批量删除过期或临时数据，或应用元数据、标签、保留策略或加密变更。了解 Storage Intelligence advisor 最新功能请访问此处。

• 新产品发布：最后但同样重要的是，AlloyDB for PostgreSQL 的新版本整合了 Google 先进的基础设施——Colossus 分布式文件系统和 Jupiter 网络，为代理时代打造了一种无妥协的全新数据库架构。

#### 实践指南与操作手册

• 操作指南：希望让全球各地分散的 GPU 和 TPU 像一个统一池一样通过单一入口点进行管理吗？在本博客中，我们将展示如何实现这一目标。在边缘侧，多集群 GKE 推理网关专注于全球多区域流量分配和高可用性。在其之下，LLM-d 路由器处理复杂的内存感知调度算法以保持高利用率。该架构刻意保持与运行时、模型和加速器无关，测试表明，通过多集群 GKE 推理网关路由流量所产生的额外开销不足 1%。

• 指南：正在使用或计划使用 GKE 上的 TPU 进行 AI 模型训练或推理吗？训练大型语言模型（LLMs）或运行高吞吐量推理服务需要大量专用 AI 硬件（如 Cloud TPU 和 GPU）的投入。为了充分利用每一分投入，您需要了解 GKE 中的工作负载生命周期指标。本详细指南解释了如何将不透明的集群行为转化为可操作的遥测数据。

#### 客户与合作伙伴动态

• GKE 客户案例：了解游戏初创公司 SeaVerse 为何依赖 GKE Agent Sandbox 来处理其多租户工作负载，以及该平台如何帮助其将基础设施成本降低 60%。

#### 研究报告与深度分析

如果您之前错过，我们也很高兴地分享 Google 在 Gartner 和 Forrester 的三项关键分析师报告中被列为领导者，并在产品或战略方面取得了最高评分。

• Google 在 Forrester Wave™：公共云平台，2026 年第三季度中获得所有云提供商中最高的总体评分！

• Google 在 2026 年 Gartner® Magic Quadrant™ 战略云平台服务中被列为领导者：在所有被评估供应商中，“愿景完整性”方面排名最靠前。

• Google 在 2026 年 Gartner 容器管理魔力象限中被列为领导者：在所有被评估供应商中，“执行力”方面排名最高。

• Google Cloud 在最新版 SemiAnalysis ClusterMax 3.0 报告中获得金牌评级，该报告对全球 GPU 提供商的可靠性、性能、支持、定价和安全性进行了评估。查看完整报告了解详情。

2026 年 8 月

• 产品更新：Filestore 是 Google Cloud 的首款原生安全可扩展 NFS 文件服务，如今已成为 AI 和智能体工作流的热门存储平台。通过直接基于 Colossus（Google 的基础分布式存储系统）构建的新后端存储层，Filestore 现在能更高效地完成任务。该新后端支持独立分配 IOPS 而无需依赖存储容量，并与 GKE 深度集成。在 AI 环境中，这项改进可帮助您处理所谓的“智能体群”——需要同时读写共享数据集的大量智能体——而不会出现性能下降。了解更多请参阅博客文章。

• 新功能：gVisor 沠箱现已在 GKE 的分布式 Ray 集群中可用。我们与 Anyscale 合作推出了 Ray 的实验性库，将 Google 的开源应用内核 gVisor 直接引入分布式 Ray 集群。gVisor 提供轻量级环境，相比普通容器具有更强的隔离性，同时具备快速启动时间和低内存开销。要尝试 GKE 上的这些沙箱功能，请查阅 Ray 沠箱用户指南。

• 产品更新：寻找高性能且易于使用的个人 AI 智能体运行基础设施，但又不想花费太多？新的 Cloud Run 实例是 Cloud Run 上的专用单例计算运行时，即使智能体处于空闲状态也不会关闭。更棒的是，连续 30 天运行一个配备 1 个 vCPU 和 1 GiB 内存的 Cloud Run 实例仅需 5.70 美元。

#### 实践指南、文档和操作手册

• 操作指南：Model Context Protocol（MCP）领域传来重大消息：根据 2026-07-28 规范，该协议核心已完全变为“无状态”。握手协议已被移除，SEP-2575 定义的初始化/已初始化握手以及 SEP-2567 定义的逻辑 Mcp-Session-Id 请求头也已完全删除。现在每个请求都具备自描述性和独立性。了解更多关于最新 MCP 规范带来的变化，以及更重要的实现方法，请参阅 Google Developers 博客。

• 指南：实时 AI 系统会颠覆传统网络负载均衡技术。“后端不再处理孤立请求，而是需要管理持续的双向实时流。您需要同时处理音频片段、转录文本、模型输出和合成语音的持续双向传输。”当用户参与时情况会更复杂。“服务器必须立即停止当前语音生成，切换上下文，可能触发新工具，并开始起草不同响应；这一切必须在不中断连接的情况下完成。”了解 AI 时代负载管理的新方法，请阅读《使用会话感知负载均衡扩展实时 AI 智能体》。

• 操作指南：学习如何在 GKE 上构建弹性可扩展的 LLM 推理平台，即使混合使用不同 GPU 加速器也能实现。该架构方案结合了 Capacity Advisor 和 Compute Advisor，以及高性能存储如 RunAI:model streamer 或 GCPFuse 并行下载功能。获取所有细节请参阅相关文档。

• 文档：配备 GPU 或 TPU 的主机存在一个特殊问题，即无法通过实时迁移进行更新，这会带来维护上的挑战。在新的文档页面中，学习如何根据训练和推理工作负载对停机时间的容忍度来更新配备加速器的主机。

• 文档：高级计算镜像（Advanced Compute Images，ACIs）是用于 AI/ML 和 HPC 基础设施的标准镜像堆栈，因此无需手动构建自定义镜像。在新的文档页面中，学习如何通过 Google Cloud CLI、控制台或 SchedMD 的 Slurm 工作负载管理器创建 ACI 镜像。

• 指南：AI 工作负载在架构设计上极具挑战性，资源消耗大且波动剧烈，这可能导致扩展瓶颈和大量未充分利用（或误用）的计算资源。一篇新博客概述了在 Google Cloud 中实现动态容量管理的三种主要方式：1）为计划内的停机时间安排容量；2）为计划外停机时间维护自动后备容量；3）依赖 GKE 的核心编排功能来自动化资源分配。

• 业务流程自动化软件提供商 UiPath 面临着波动性工作负载，希望获得更可预测的成本。为此，它重新设计了基础设施，从隔离的集群迁移至共享的 Google Cloud GPU 队列，该队列包含用于训练的 A3 虚拟机实例（NVIDIA H100 GPU）和用于推理的 G4 虚拟机实例（NVIDIA RTX PRO 6000 Blackwell Server Edition GPU）。您可以通过此链接了解更多关于其架构的信息。

• Mirendil 是一家专注于加速 AI 开发的前沿 AI 实验室，宣布其正在使用配备 TPUs 和 NVIDIA GPU 的 AI 超级计算机来支持其模型预训练和后训练应用。

• Replenit 是一家零售客户关系管理提供商，其在 Google Cloud 上构建了 AI 决策引擎，使用了 BigQuery、Gemini 企业代理平台以及在其 Cloud TPUs 上运行的开源 Gemma 模型。该公司报告称，后者的组合使其流水线成本相比之前的云服务提供商降低了 90%。阅读完整案例研究以了解详情。

• Malachyte 在 Bigtable、Apache Kafka 管理服务、Pub/Sub、Compute Engine 和最后但同样重要的 GKE 上构建了其 AI 驱动的电子商务推荐平台。在本博客中了解这些组件如何协同工作。

2026 年 7 月

• 产品更新：Google Cloud 管理 Lustre 现已正式发布（GA），提供四种性能层级，每 TiB 容量的吞吐量范围从 125 MB/s 到 1000 MB/s —— 并可扩展至 8 PB 存储容量。管理 Lustre 解决方案由 DDN 的 EXAScaler 提供支持，结合了 DDN 在高性能存储领域数十年的领导地位与 Google Cloud 在云基础设施方面的专业知识。

• 产品更新：C4N 网络和存储优化虚拟机现已正式发布（GA）。C4N 是我们首款专为消除数据传输瓶颈而设计的网络和块存储优化虚拟机系列。基于第五代 Intel Xeon 可扩展处理器和 Google 的 Titanium 卸载硬件构建，搭配 Hyperdisk Extreme 时可实现 400 Gbps 网络带宽、每秒 9500 万数据包（MPPS）以及高达 25 GiB/s 的块存储吞吐量。

• 新功能：GKE Dataplane V2 支持最多 15,000 个节点并启用网络策略（GA）。该功能使标准 GKE 集群在保持完整主动网络策略执行的同时，可扩展至 15,000 个节点，满足大型企业和 AI/ML 客户的大规模基础设施需求。

• 新功能：llm-d 中的协作式时间切片。如果您正在运行强化学习（RL）工作负载，现在可以将独立的 RL 任务交错部署到共享的物理硬件上，将加速器利用率从约 40% 的基准提升至 70%，同时不影响模型收敛性和准确性。

• 新 AI 安全工具：想要在 GKE 上保护 AI 供应链、安全部署 AI 工作负载并减少影子 AI？我们开源了 k8s-aibom，这是一个轻量级、无特权的 Kubernetes 控制器，可持续监控容器集群，自动检测运行中的 AI 运行时（如 vLLM 和 Triton），并生成标准的 CycloneDX 机器学习物料清单（ML-BOM）。立即查看 k8s-aibom 项目并参与贡献。

• 操作指南：7 月 27 日，Google 宣布为 Moonshot AI 的 Kimi K3 2.8 万亿参数开源权重模型提供 Day 0 支持，模型权重当天即发布。无论您选择通过 Model Garden、自定义编排还是 GKE 配合 llm-d 配方进行部署，本指南都提供详细步骤说明，帮助您在 Google Cloud 上评估和试点 Kimi K3。

• 操作指南：Google Kubernetes Engine（GKE）托管的 DRANET 同时支持 GPU 和 TPU。该实现有多种配置方式，包括标准集群（您拥有完全控制权）和自动集群（Google 为您处理复杂配置）。深入实践请参见动手实验室：GKE 自动集群与 TPU、GKE 托管 DRANET 以及 Gemma 4。

• 操作指南：学习如何在 TPU 而非 GPU 上运行 Ray。在本系列两部分的第一部分中，我们将讨论 TPU 切片（提示：Ray 将其视为另一种可调度的加速器），然后逐步介绍 Ray 的各种 AI 库（第二部分）。

• 操作指南：使用全新微基准测试套件评估 TPU 在示例工作负载中的表现。该工具可帮助您准确判断设备是否达到理论性能规格，并识别特定性能差距或架构瓶颈。立即深入了解。

• 操作指南：在不增加预算的情况下扩展您的代理规模。学习如何通过 GKE 编排技术，利用 GKE Agent Sandbox 和 Pod 快照安全地在固定计算资源上部署更多代理。无论您的目标是性能优化还是成本控制，我们将教您如何调整关键参数以实现最佳代理效率。

• 技术蓝图：Mistral 3 大规模推理在 Ironwood 上的优化实践。本文介绍了 Google 团队如何在 Ironwood（TPU v7x）上对 Mistral 3 大型 MoE 模型进行推理优化，实现 1.5 倍性能提升。他们通过混合分片、用树状归约替代线性 VPU 求和、优化 GMM/MLA 内核以及采用异步调度等方法，最终在保持基准准确率中立的前提下将吞吐量提升高达 48%。阅读完整博客了解详情。

• 报告：在首次发布的 Gartner Ⓡ Magic Quadrant™ for AI Infrastructure 中，Google 被评为领导者，其“执行力”评分最高，“愿景完整性”评分最远。Gartner 指出，Google 的专有可扩展计算能力、集成的 AI 超计算机架构，以及我们 AI 计算能力的规模是其关键优势。[此处下载报告](#)

• 报告：我们最近对 1,400 多位高级 IT 领导者进行了调查，调查结果揭示了一个显著趋势：AI 抱负与基础设施现实之间的差距正在扩大。事实上，83% 的组织表示需要升级基础设施以支持生产级智能体 AI。[阅读配套博客](#)，了解如何通过调整基础设施以满足智能体应用对系统的需求，帮助您从试点阶段过渡到生产阶段。

2026 年 6 月

#### 产品、技术和工具更新

• 产品更新：保护与 AI 一起使用的敏感数据是先进且安全的云基础设施的关键部分。机密计算通过基于硬件的可信执行环境（TEEs）对使用中的数据进行加密保护，并确保可验证的数据完整性，现已在专为加速器优化的 G4 机型系列上提供，该系列配备 NVIDIA RTX PRO 6000 Blackwell Server Edition GPU。[立即使用机密 G4 虚拟机和机密 G4 GKE 节点](#)

• 开发者资源：新的 TPU 开发者中心是模型构建者、优化者和开发者学习如何充分发挥 Google Cloud TPU 性能的首选平台。[了解更多](#)

• 新产品：通过全新基于 OpenTelemetry 的 TPU AI 监控数据收集代理扩展您的 AI 工作负载。首次实现将高保真 TPU 硬件监控数据路由至 Google Cloud Monitoring、Google Managed Prometheus 或您自己的自托管 Grafana 堆栈。[立即了解](#)

• 操作指南：学习如何在 GKE 推理网关上使用 TPU、Cloud Storage FUSE 和动态资源分配（DRA）构建高可用性 AI 推理工作负载。[本博客](#) 提供概述，或可通过[动手实践教程](#) 获取所有技术细节。

• 操作指南：您知道吗？通过 Model Context Protocol（MCP），您可以将 AI 代理连接到 Cloud Storage 中的非结构化数据。[本博客](#) 通过三个客户案例说明为何需要这样做，然后指导您选择完全托管服务或自托管本地服务器实现更灵活的定制控制。

• 报告：根据独立基准测试报告，GKE 推理网关相比下一个领先的托管 Kubernetes 服务，吞吐量提高 15.7%，等待时间缩短 92.8%，令牌间延迟降低 62.6%。这种性能得益于其使用的前缀缓存技术，通过存储长重复提示前缀的 KV 缓存（激活状态）来优化 LLM 性能。[了解更多](#)

• 架构深度解析：深入探讨冷启动问题，这次聚焦于 TPU 和 GKE，以及 Run:ai Model Streamer 如何改变这一动态。

• 客户案例：Pager Health 借助 GKE、BigQuery、Cloud SQL 和 Gemini 企业代理平台，消除运营碎片化，为美国用户打造简化且个性化的医疗体验，改变人们的生活。

• 客户成功案例：Trustpilot（客户评论平台）利用经过微调的Gemma模型构建了高吞吐量流式处理管道，该方案基于Dataflow和Gemini Enterprise Agent Platform实现，运行在采用A100 GPU的A2虚拟机上，并使用Gemini Enterprise Agent Platform维护的vLLM优化版本。

2026年5月

• 产品更新：GKE Agent Sandbox现已正式发布。

• 新开源项目：Agent Substrate是一个新的开源项目，旨在持续突破智能体基础设施密度的极限。

• 新功能：Google AI Edge Portal（谷歌AI边缘门户）现已支持对设备端大语言模型（LLM）进行基准测试和调试。该解决方案可大规模测试和评估设备端机器学习（ML）性能。了解更多请访问此处。

• 产品深度解析：我们深入介绍了Cloud Storage Rapid（云存储快速服务），这是专为AI工作负载设计的新一代高性能存储方案。发布初期包含Rapid Bucket（原Rapid Storage，快速存储桶），这是一种高性能的区域对象存储服务，以及Rapid Cache（原Anywhere Cache，任意缓存），该服务可按需加速读取操作，并将计算与数据共置以提升现有存储桶中工作负载的性能。

#### 研究报告与深度解析

• 架构深度解析：Google全球基础设施副总裁Bikash Koley与工程院士Arjun Singh概述了AI工作负载对网络基础设施带来的挑战，并深入探讨了我们在数据中心互连、广域网和全球网络方面为更好支持AI工作负载所做的深度增强。

• 架构深度解析：我们推出了用于TPU上前沿AI模型开发的新集群级可靠性模型，摒弃了基于实例级别的可靠性设计。

• 客户成功案例：视觉媒体提供商Imgix通过配备NVIDIA RTX PRO 6000 Blackwell GPU的G4虚拟机的AI超算平台，每天为全球用户提供超过80亿张图片和视频服务。

发布分类：

• AI基础设施

• AI与机器学习

• 容器与Kubernetes

• 计算

• 网络

• 存储与数据传输