Smaller apps and faster GPU inference with LiteRT in Google Play services

通过 Google Play 服务中的 LiteRT 实现更小的应用和更快的 GPU 推理 - Google 开发者博客

Google Tag Manager (noscript)

结束 Google Tag Manager (noscript)

HTML

通过 Google Play 服务中的 LiteRT 实现更小的应用和更快的 GPU 推理

2026 年 10 月 28 日

Google AI Edge 团队

Android ML 团队

分享

• Facebook

• Twitter

• LinkedIn

• 邮件

Google Play 服务中的 LiteRT 是 Android 的设备端自定义模型推理运行时，每天在数十亿台设备上处理超过万亿次推理。今天，它迎来了最大的升级：通过 ML Drift 技术实现的 GPU 推理速度比旧版 GPU 代理快约 1.4 倍，并通过新的 CompiledModel API 提供，这是 LiteRT 对旧版 Interpreter API 的现代替代方案。

此前，要使用这种更快的 GPU 架构需要在应用中打包 LiteRT。在我们的测试中，切换到 Google Play 服务中 LiteRT 的应用体积减少了约 8MB，这使应用下载速度更快，对用户设备的负担更轻，因为运行时（包括 GPU 加速器）只需随 Play 服务一起安装一次，而无需在每个应用中都包含。目前有超过 10 万个 Android 应用打包了 LiteRT 或 TensorFlow Lite 的副本，因此当应用切换时，节省的空间会迅速累积。

如果您在 Android 应用中使用 CPU 或 GPU 运行自定义 ML 模型，我们建议您切换到 Google Play 服务中的 LiteRT。您可以在 Google AI Edge Gallery 应用中看到它的实际效果，其中 Scrapbook 功能的图像分割就是通过 Google Play 服务中的 LiteRT 运行的。

为什么使用 Google Play 服务中的 LiteRT

采用 Google Play 服务中 LiteRT 的开发者可以立即获得以下优势：

• 更小的应用，更多免费存储空间：由于 APK 中不再包含任何 ML 运行时，您的应用体积更小，下载速度更快。此外，随着越来越多的应用切换使用共享的运行时，存储和内存节省效果会随着应用数量的增加而增长。

• 自动更新：性能改进、错误修复和安全补丁通过 Play 服务的阶段性推送进行分发，可以及早发现设备特定问题，而无需您发布应用更新。

• 更广泛的运行环境：Google Play 服务中的 LiteRT 支持从 Android 7（API 级别 24）的手机，现在还支持 Wear OS 4+ 和 Android Automotive OS（Android 11+）。

• 经过大规模验证：ML Kit 的 Vision 和 Text API（如主体分割和文档扫描器）已经在数十亿台 Android 设备上通过 Google Play 服务中的 LiteRT 实现了大规模应用。通过采用 Google Play 服务中的 LiteRT，您将在自己的应用中使用经过验证的相同基础设施。

CompiledModel API

LiteRT 是 TensorFlow Lite 的演进。它保留了您依赖的 .tflite 模型格式，并新增了 CompiledModel API，使跨碎片化硬件的加速更加可靠：

• 更简单：针对 CPU 和 GPU 加速使用统一的工作流程，而不是为每个加速器使用不同的代理和设置路径。LiteRT 在支持 OpenCL 的设备上使用 OpenCL，否则使用 OpenGL。如果同时请求 GPU 和 CPU，但在设备上没有可用 GPU 时，将回退到 CPU。

• 更快：由 ML Drift 技术驱动，LiteRT 的最新开源 GPU 引擎已每日在数百万台 Google 应用设备上使用。GPU 推理速度比旧版 TensorFlow Lite GPU 代理快约 1.4 倍。

• 可移植性：跨平台支持，相同的 .tflite 模型可在 Android、iOS、桌面和 Web 上运行。

• 灵活性：旧版 Interpreter API 仍支持 CPU，因此您可以分阶段进行迁移。

入门和升级

是否正在从头开始，或从捆绑的LiteRT切换？在Google Play服务中使用LiteRT只需几行代码：

• 添加com.google.android.gms:play-services-litert:17.0.0（或更高版本）。如果今天使用捆绑的LiteRT，请移除litert依赖项。

• 从Play服务获取LiteRT环境：

val liteRtEnvironment =
    LiteRt.initialize(
        context,
        LiteRtDsl.initializationOptions { setEnableGpu(true) }
    ).await()

Kotlin

已复制

• 在创建CompiledModel时传递LiteRT环境。其余代码保持不变。

如果您已经在Google Play服务中使用旧版Interpreter API，切换到play-services-litert后，原有的Interpreter代码仍可在CPU上运行。如需在GPU上运行，请迁移到CompiledModel API。

让您的编码代理来处理。在代理模式下，Android Studio的新LiteRT技能可自动完成迁移到Google Play服务中的LiteRT和CompiledModel API。只需让它执行“将我的TFLite代码迁移到CompiledModel”，或输入@litert-runtime，它就会将您的应用切换到play-services-litert，重写Interpreter调用，并设置带CPU回退的GPU加速。它还可以生成新的LiteRT应用框架。请将其视为初步方案：检查差异，构建项目，并在真实设备上对比输出结果。立即在GitHub上获取该技能。

从旧版API升级？旧版GPU代理和自定义代理API已被弃用，建议使用CompiledModel GPU加速以及编译器插件和调度API。NNAPI将在2027年起被移除。旧版SDK现在仅提供关键安全补丁。您已发布的应用仍可正常运行，但请立即规划迁移到CompiledModel API：使用弃用API的代码将无法与最新SDK编译，而继续使用旧版SDK可能会因其他依赖项更新导致冲突。详见发布说明。

下一步

展望未来，Google Play服务中的LiteRT将成为在Android上运行自定义任务模型的基础，支持CPU和GPU加速。

• LiteRT将持续获得定期更新，包括更优的GPU加速和更广的模型覆盖范围。

• Play服务中的NPU支持正在积极开发中。

准备开始？

• 阅读Google Play服务中的LiteRT文档

• 尝试Android Studio的LiteRT技能

• 在Google AI Edge Gallery应用中尝试Scrapbook

• 有什么阻碍您迁移，或需要帮助？请在GitHub讨论区发帖或提交问题。

我们迫不及待想看到您的创作。

发布于：

• 移动端

• AI

• 操作指南

• 公告

• 学习

• 探索

• 影响力

上一篇

下一篇

相关文章

列表

移动端

Web

教程

操作指南

快速可靠的A2UI，支持可切换的推理格式

2026年10月27日

问题解决

在GCP上使用多智能体集群构建对话式电商：一个可运行的原型

导航点 /