Streaming comes to API Gateway: real-time and AI-ready APIs, without changing your spec

API网关迎来流式传输功能：无需修改接口定义即可构建实时与AI就绪的API - Google开发者博客

Google Tag Manager (noscript)

结束Google Tag Manager (noscript)

HTML

API网关迎来流式传输功能：无需修改接口定义即可构建实时与AI就绪的API

2026年10月22日

Mak Ahmad

产品经理

Geir Sjurseth

Jeremy Whitlock

软件工程师

分享

• Facebook

• Twitter

• LinkedIn

• 邮件

在过去十年的大部分时间里，API调用都遵循着交易模型。客户端发送请求，等待，然后一次性接收完整响应。这种模式正是大多数API管理工具（包括API网关）最初设计时的处理方式，至今仍描述着大量生产环境的流量。

但这种模式已无法涵盖所有流量类型。生成响应的模型会逐个输出token，而非最后一次性批量输出。处理多步骤任务的代理会实时报告进度。仪表盘、协作编辑器、实时推理端点等都需要保持双向数据传输的持续连接。

在此之前，开发者在API网关中构建这些体验时，不得不做出一个令人不愉快的选择：要么将API网关置于API前端但放弃流式传输功能，要么绕过网关处理流式传输端点但失去认证、API密钥校验和可观测性等网关核心能力。最终团队往往陷入分裂架构——治理后的API走一条路径，未受管控的流式传输流量走另一条路径。

我们宣布API网关的流式传输功能现已进入公测阶段。您的流式传输端点现在可以与其他所有服务一样，通过相同网关并应用相同策略进行管理。

对于AI应用而言，流式传输功能也强化了API网关与Gemini平台的连接。使用模型路由的网关现在可以实时传输Gemini平台模型花园中Gemini、Claude和OpenAI gpt-oss模型的响应，与部署在其他位置的流式传输后端保持一致的工作方式。与Gemini平台中的Apigee和Agent Gateway配合，API网关成为访问Google Cloud AI网关能力的轻量级入口。

可流式传输的内容

API网关现已支持现代API依赖的完整流式传输模式：

• 服务器发送事件（SSE）——向浏览器或客户端SDK传输模型输出的行业标准，也是大多数OpenAI兼容聊天完成API的底层传输协议。

• 分块传输编码和HTTP响应流式传输——包括换行分隔JSON（NDJSON）和任何其他渐进式传输响应体。响应会实时传递，而非在后端生成完毕后进行缓冲处理。

• WebSockets——用于聊天、协作、实时仪表盘、通知和交互会话的全双工连接。

• gRPC流式传输——服务端流式传输和双向流式传输，使您能够为之前无法代理的gRPC服务添加网关。

流式连接最多可保持1小时。与任何长连接一样，客户端应实现重连逻辑以确保会话在流式传输结束后继续运行——行为良好的WebSocket或SSE客户端本就应该这么做。

您的API契约无需改变

这是我们最欣慰的部分：您无需学习任何新内容。

流式传输并不是一种不同的产品、不同的资源类型，也不是描述 API 的不同方式。无需添加新的扩展、流式传输专用的注解，也无需为流式传输操作创建单独的规范。描述现有 API 的同一份文档，同样可以描述您的流式传输 API。

您目前依赖的所有功能将继续按原样正常工作：

• API 密钥验证
• JWT 验证（包括 Firebase、Auth0、Okta 和 Google ID 令牌）
• 服务账户后端认证
• Cloud Logging 和 Cloud Monitoring 集成
• 路径模板和请求路由

在公开预览阶段，创建网关时需要手动启用流式传输功能：

gcloud api-gateway gateways create GATEWAY_ID \
  --api=API_ID \
  --api-config=CONFIG_ID \
  --location=REGION \
  --enable-streaming

纯文本

已复制

仅需启用这个标志即可，这就是全部区别。在 GA 阶段，流式传输将成为 API 网关的默认行为，无需手动启用，且与预览阶段一样，无需修改 API 配置。

可预测的主机名

除了流式传输功能，网关现在获得了一个确定性的默认主机名：

GATEWAY_ID-PROJECT_NUMBER.REGION.gateway.dev

（示例：streaming-test-12345.us-central1.gateway.dev）

此前默认的 gateway.dev 主机名包含一个生成的哈希值，这意味着您必须在创建网关之后才能知道其 URL。这是一个看似微小但会造成大量摩擦的问题：在资源创建完成之前，您无法将端点写入客户端配置、Terraform 模块、CI 管道、防火墙白名单或合作伙伴集成文档。如果环境被销毁并重新构建，URL 也会在您不知不觉中发生变化。

现在主机名是您已选定值的纯函数。您可以在网关创建之前生成、模板化、记录并提交到源代码控制中，每次在相同项目和区域中重建相同网关时，都能获得完全相同的 URL。对于以代码形式管理环境或从开发环境推广到预发布环境再到生产环境的用户来说，这消除了整个类别的初始化问题。

为什么这对 AI 工作负载很重要

流式传输并不是 AI 应用的边缘功能，而是预期的交互模式。

用户期望看到模型响应在生成过程中逐步显示，而不是等待 30 秒后才出现。智能代理需要报告中间步骤。工具调用协议和远程 MCP 服务器依赖于长期保持、逐步传输的连接。无法进行流式传输的 API 管理层会严重限制 AI 应用的用户体验。

通过流式传输功能，API 网关成为处理智能代理流量的可行入口点——而入口点的价值与以往完全相同，只是现在更加紧迫。AI 端点成本高昂，会消耗配额，需要针对每个消费者进行身份验证和限速，还需要可观测性。这些正是 AI 网关旨在解决的治理问题。另一种选择——每个团队都自行在模型端点前部署自己的代理——正是组织最终无法回答“谁在调用什么”这类基础问题的原因。

API网关中的模型路由功能可让您暴露一个兼容OpenAI的单一端点，并根据请求负载中的模型字段将请求分发到Gemini、Claude或OpenAI gpt-oss模型。结合模型路由和流式传输功能，客户端可以获得熟悉的基于标准的流式传输接口，同时您仍可集中控制哪些模型可被访问、由谁访问以及遵循何种策略。

流式传输、模型路由和MCP支持都是API网关内的功能，为Google Cloud中的AI网关能力提供了轻量级接入方式。这些AI网关能力使团队能够监控、保护和控制其生态系统中工具、模型和代理的智能体流量，并以可组合的套件形式提供，您可以根据每个使用场景选择合适的网关。如需更全面的AI策略和全生命周期管理，请使用Apigee。如需管理并保护代理连接，请使用Gemini平台中的Agent Gateway。您也可以组合使用这些网关：API网关或Apigee可以部署在代理和API的前端或Agent Gateway的后端，使代理能够访问模型、工具和MCP服务器。例如，您可以将代理的出站流量通过Agent Gateway进行严格的安全治理，然后将请求传递给API网关处理模型路由。

公共预览期间需知事项

功能处于预览阶段时需注意以下事项：

• 流式传输功能在网关创建时启用。现有网关无法原地转换；请创建新网关并启用该功能进行尝试。

• 初始预览发布时部分API网关功能暂不可用，但将在预览期间陆续推出。包括通过无服务器NEG的自定义域名以及通过Cloud控制台Terraform的外部应用负载均衡器流式传输启用功能。

• 延迟指标反映流式传输持续时间。流式传输连接的请求延迟衡量的是流的生命周期而非首字节时间，因此预期长连接会改变您的延迟图表形态。

入门指南

如果您已经在使用API网关，最快看到效果的方式是将新启用流式传输功能的网关指向现有的SSE后端，观察事件逐步到达。无需修改接口规范。

• API网关文档
• 将API部署到网关
• API网关中的流式传输功能

posted in:

• 云服务
• 公告
• 活动
• 影响力
• SSE API网关
• gRPC流式传输
• 获取灵感
• WebSockets API网关
• 流式传输API网关
• 资源中心

上一篇

下一篇

相关文章

列表

移动开发

人工智能

公告

行业趋势

统一边缘AI：Coral NPU的开源标准如何实现从模型到硅芯片的便携式、节能型智能

2026年10月20日

云服务

最佳实践

将TorchTPU集成到TorchTitan并优化TPU模型

教程

在Gemini Agent平台构建受控的自进化AI代理架构

影响力

使用任意框架（从ADK到LangChain及更远）驱动代理开发全生命周期

2026年10月21日

导航点 /