InfoQ

Google ML Drift Accelerates On-Device AI Inference Across Diverse GPUs

6.9内容质量
Google ML Drift Accelerates On-Device AI Inference Across Diverse GPUs

TL;DR · AI 摘要

Google ML Drift Accelerates On-Device AI Inference Across Diverse GPUs - InfoQ InfoQ Homepage News Google ML Drift Accel...

核心要点

  • 主题聚焦：Google ML Drift Accelerates On-Device AI Inferen
  • 来源：InfoQ，建议结合原文判断细节。
  • AI 分析暂不可用，本条为保底评分与摘要。
#AI#编程#后端#安全#产品
打开原文

Google ML Drift 加速多款GPU上的设备端AI推理 - InfoQ

InfoQ 首页新闻 Google ML Drift 加速多款GPU上的设备端AI推理

移动

扩展OpenTelemetry：管理收集器、配置和成本（网络研讨会11月19日）

Google ML Drift 加速多款GPU上的设备端AI推理

2026年10月25日 2分钟阅读

作者：

  • Sergio De Simone

#### 关注我们

YouTube

232K 粉丝

LinkedIn

26K 粉丝

Instagram

新

RSS

19K 读者

X

57.1k 粉丝

Facebook

21K 点赞

Bluesky

收听本文 -

0:00

音频准备就绪

您的浏览器不支持音频元素。

正常

1.25x

1.5x

喜欢

新下拉阅读列表

  • 阅读列表

谷歌发布了ML Drift，这是一个开源、跨平台GPU计算引擎，专为设备端AI和机器学习推理设计。该引擎采用Apache 2.0许可证，通过抽象不同GPU硬件和底层API的复杂性，支持OpenGL ES、OpenCL、Metal和WebGPU。

ML Drift是驱动LiteRT的核心GPU加速引擎。通过开源，谷歌使开发者能够为从传统计算机视觉、音频和深度处理到生成式AI的应用构建自定义图形和推理运行时。

ML Drift的主要目标之一是简化开发者在为边缘设备创建应用时遇到的多样化GPU硬件的访问。

开发者面临各种GPU架构、驱动版本和底层API，事先并不知道应用将在哪种特定硬件上运行。

谷歌表示，ML Drift旨在建立可移植性和性能的新基础，实现“传统ML的稳定性”和“最先进生成式AI的峰值性能”。

为实现这一目标，ML Drift在传统TFLite GPU代理基础上引入了多项技术改进，包括通过张量虚拟化实现统一着色器、可扩展的自定义操作以及五维张量支持。它还针对Arm、Intel和高通技术公司的GPU进行了硬件特定优化，以“最大化现代GPU的硬件利用率”。

通过Dawn（Chromium的WebGPU实现），ML Drift扩展了Windows和Linux上的桌面推理支持，同时在macOS上保留原生Metal后端支持。Dawn利用WebGPU的硬件抽象层提供统一的API模型，避免直接对接DirectX和Vulkan等平台特定图形API的需要。

谷歌使用Gemma模型在开发者级工作站硬件上对ML Drift进行了基准测试，报告称与llama.cpp和MLX LM等其他框架相比，内存开销降低了12%。公司还强调，ML Drift已通过Chrome、YouTube Shorts、Photos和Meet等应用在数百万设备上运行。

在YouTube Shorts中，ML Drift在Android和iOS上实现基于分割效果的平均帧延迟降低高达40%。在Google Photos中，它将计算摄影和分割流水线速度提升至快2秒。Adobe Lightroom和Photoshop在Select Subject、Select Sky和Adaptive Portrait等AI驱动的图像编辑功能上实现了高达30%的性能提升。最后，Snapchat在Android上通过ML驱动的人脸和风格生成效果实现了30%的模型延迟降低，使使用更大扩散模型成为可能。

在LinkedIn上对这一消息发表评论时，AI/ML工程师Pavithra Agraharam表示：

在无需布局技巧的情况下原生支持5D张量，这对在边缘GPU上运行空间模型和Transformer模型来说是一个重大突破。将逻辑张量与物理内存分配解耦，应能显著减少实时推理过程中的内存碎片。

Tensorust的创始人兼唯一开发者Matthew Charles Vladislav Busel质疑道："它在延迟和内存使用方面与最新iPhone上的Core ML相比如何？因为目前我们大多数人都是基于这个进行部署的。"不过，谷歌尚未提供任何比较数据。

随着ML Drift的发布，谷歌将停止更新旧版TensorFlow Lite GPU delegate。为保持与现有模型的兼容性，公司建议迁移到LiteRT ML Drift GPU加速器。应用开发者可以使用LiteRT ML Drift加速器，而GPU和系统工程师则可以访问其底层C++ API来构建自定义GpuModel计算图并编写自定义着色器。

作者信息主容器

关于作者

章节标题

每个作者信息主容器

#### Sergio De Simone

显示更多

显示更少

#### 本内容属于移动端主题

##### 相关主题：

  • 开发
  • AI、ML与数据工程
  • 开源
  • 大型语言模型
  • 本地推理
  • 移动端
  • 边缘计算
  • 谷歌
  • TensorFlow
  • 相关编辑内容
  • 相关赞助商
  • 相关赞助商 2026年11月19日，美国东部时间中午12点 扩展OpenTelemetry：管理收集器、配置和成本 演讲者：David Iparraguirre - Datadog高级产品市场经理，Jessica Yang - Datadog产品经理

InfoQ新闻通讯

每周二发送上周InfoQ内容摘要。加入超过25万名高级开发者的社区。查看示例

我们保护您的隐私。