Bring multimodal semantic search to the edge with EmbeddingGemma 2

通过 EmbeddingGemma 2 将多模态语义搜索带到边缘设备 - Google 开发者博客

Google Tag Manager (noscript)

结束 Google Tag Manager (noscript)

HTML

通过 EmbeddingGemma 2 将多模态语义搜索带到边缘设备

2026 年 10 月 6 日

Google AI Edge 团队

Android ML 团队

分享

• Facebook

• Twitter

• LinkedIn

• 邮件

今天，Google DeepMind 发布了 EmbeddingGemma 2，这是一款在同类模型中表现最佳的开源权重多模态嵌入模型，能够原生地将文本、图像、视频帧和音频映射到统一的向量空间。对于开发本地搜索和媒体检索体验的开发者而言，它能够减少串联独立图像字幕生成、语音转文本和文本嵌入模型时产生的延迟和内存开销。专为本地隐私优先型应用设计的 EmbeddingGemma 2 在 7.4 亿参数的紧凑模型中覆盖文本、视觉和音频模态，提供模块化编码器，仅需约 191MB 活动内存即可运行文本权重，Google Pixel 11 Pro 设备上完整多模态模型占用约 567MB 内存。最显著的是，EmbeddingGemma 2 可作为超低延迟的设备端决策引擎。无需任何训练数据或微调，它能直接将用户输入与分类标签和描述进行匹配，实现毫秒级的零样本意图路由。要了解模型架构和包括多模态嵌入能力在内的评估详情，请查看 Google DeepMind 博客。

在本文中，我们将分享您如何通过 Google AI Edge 的交互式展示、移动设备上的 Google AI Edge Gallery 以及 Mac 上的 Google AI Edge Foresight 立即体验 EmbeddingGemma 2 的强大功能，并介绍如何利用该模型构建自己的私有设备端语义搜索、视觉关键帧检索和条件触发工作流。未来几周内，我们还将通过 ML Kit 在 Android 上提供该模型作为服务，包括利用 NPU 加速进一步优化各类设备的性能。

• 多模态检索与相似性匹配：由于查询标记嵌入和余弦相似性排序可通过 MediaPipe UniversalEmbedder 和 SemanticRetriever 在设备上快速执行，因此每次按键时搜索结果都会实时更新。只要您输入“Katze”（德语中的“Cat”），网格会立即显示收藏中的所有猫的照片；继续输入“Katze schläft auf Tastatur”（德语中的“Cat sleeping on keyboard”）会动态重新排序，并实时将您脑海中想到的特定照片置顶。除了支持多语言的文本查询，用户还可以从手机中选择任意图片，或使用实时摄像头流来检索视觉和语义上相关的照片。

Video Moments Finder 展示了 EmbeddingGemma 2 的跨模态表示的另一个应用示例，使用户能够在不转录音频或生成中间文本字幕的情况下，定位本地视频录像中的特定视觉时刻。

搜索本地视频文件中的特定时刻

• 设备端视频关键帧索引和自然语言搜索：用户选择本地视频（如家庭视频或运动集锦）后，设备端引擎会将音频片段与视觉内容进行索引并生成嵌入表示。当用户输入描述性查询，如“孩子们在笑”、“狗接飞盘”或“人吹生日蜡烛”时，引擎会计算提示嵌入向量，将其与视频帧嵌入进行比较，并立即突出显示匹配时刻的确切时间戳。

从 Google Play Store 或 Apple App Store 下载最新版本的 Google AI Edge Gallery 应用，尝试这些新演示。查看 GitHub 仓库以了解其实现方式，并使用 EmbeddingGemma 2 开始构建您自己的体验。

Google AI Edge Foresight 在 Mac 上的生产力提升与上下文检索

我们很高兴宣布推出 Google AI Edge Foresight for Mac，这是一款实验性应用，将上下文感知的会议助手直接带到您的设备上。通过完全本地的 AI 处理，Foresight 无缝协助做笔记、索引和回忆会议记录及私有文件。通过与系统音频和麦克风直接集成，它可开箱即用任何会议平台，即使完全离线也能正常工作。

自动增强速记笔记

AI 实时检测并回答问题

由 EmbeddingGemma 2 和 Gemma 4 模型提供支持，Foresight 提供以下功能：

• 增强的笔记功能：通过实时从当前会议对话中检索信息来丰富手动速记笔记。
• 跨模态检索：使用自然语言轻松查找不同类型的媒体（图片、文档、记录和笔记）。
• 设备端优势：您的敏感信息始终保持安全，无论网络连接如何，都能实现不间断的生产力，且无需云订阅费用。

通过将文本、音频和视觉数据映射到单一向量空间，Foresight 在您的个人知识库中运行本地、安全的搜索。您需要的详细信息始终触手可及，无论是会议中实时回答问题，还是撰写详尽的笔记，您的敏感数据始终不会离开设备。

今天下载 Google AI Edge Foresight Mac 应用，为所有会议带来一个智能、本地的助手。

使用 ML Kit 和 MediaPipe Tasks 构建端到端搜索

为 Android 构建使用 ML Kit

// Android with ML Kit code block remains unchanged

为针对Android生态系统的开发者提供服务，EmbeddingGemma 2 是一款专为设备端执行而设计的轻量级任务专用模型。我们将在未来几周内将这些统一搜索功能引入ML Kit，为未来的生产级Android应用提供标准化的平台集成方案。通过与ML Kit集成，开发者无需管理模型或担心APK膨胀即可直接获得生产级质量的EmbeddingGemma功能。ML Kit将通过NPU加速（如可用）和自动模型更新实现极快的性能表现。

使用MediaPipe Tasks构建跨平台应用

集成类似Google AI Edge Gallery和Foresight中展示的本地搜索功能，通常需要开发者处理低级媒体预处理以将数据输入嵌入模型。为简化这一过程，MediaPipe Tasks现将EmbeddingGemma 2支持扩展至现有的Embedder和Semantic Retriever，这构成了我们当前RAG SDK的新接口。

无论您是针对iOS、macOS、Windows、Linux还是Web平台开发，MediaPipe Tasks都提供统一的开发者体验，实现一次编写即可部署到所有平台。无需开发者手动管理预处理和数据转换，Embedder和Semantic Retriever任务提供开箱即用的解决方案，完全抽象了这些步骤。

• MediaPipe Universal Embedder Task：自动处理图像缩放、张量归一化和多模态分词。直接传递原始图像或文本字符串即可获得768维（或截断的128d-512d）归一化向量，无需任何样板代码。

• MediaPipe Semantic Retriever Task：这是一款边缘优化的嵌入向量搜索引擎，在设备端建立索引并执行快速近似最近邻（ANN）搜索，可在个位数毫秒内返回排序匹配结果。

EmbeddingGemma 2还可通过MediaPipe Decision Task作为多模态实时决策引擎使用。这使开发者能够轻松分类图像、文本或音频输入，无需微调即可在设备端即时做出决策，实现路由或动作预测等用例。下图示例展示了MediaPipe Decision任务以不到100ms的响应时间评估每回合500个选项，展示了EmbeddingGemma 2作为完全在设备端运行的决策引擎的效率。

EmbeddingGemma 2在设备端实现低延迟的MediaPipe Decision任务

使用LiteRT和EmbeddingGemma 2构建跨平台应用

虽然MediaPipe Tasks提供了开箱即用的便捷性，但需要对处理和加速进行精细控制的跨平台应用可以直接构建在LiteRT上——这款经过验证的引擎驱动着ML Kit、MediaPipe Tasks、Google AI Edge Gallery和Foresight。通过CPU、GPU和NPU的统一加速，部署过程大大简化，具备卓越的可移植性：单个.litertlm文件可在所有支持的边缘平台的CPU和GPU上直接运行。在Android上，ML Kit API（即将推出）将利用LiteRT为平台提供优化实现，让您在无需担心模型生命周期管理的情况下同时获得性能和简洁性。

为 EmbeddingGemma 2 提供最佳推理速度，我们针对计算密集型工作负载（如视觉编码）进行了定向优化。这使得 AI 体验能够实现高度响应和实时交互，例如在 Google AI Edge Gallery 应用中实现“边输入边搜索”功能，视觉嵌入在 MacBook M5 Pro GPU 上仅需 37.3 毫秒（26.9 张图像/秒）。更多测量数据请参见下表。

表：代表性设备上 EmbeddingGemma 2 视觉延迟（单位：毫秒），按 CPU、GPU 和 NPU 分类。延迟列表示视觉嵌入延迟，评估时每张图像最多使用 70 个视觉标记。

内部架构优化

通过以下优化，EmbeddingGemma 2 在内存受限的边缘设备上实现了高性能执行：

• 跨模态模块化：仅加载所需编码器（例如为照片和视频搜索加载文本 + 视觉编码器，或在添加语音备忘录时动态激活音频编码器），以最大化边缘设备效率并管理系统内存压力。

• 量化感知训练（QAT）：将模型权重压缩至 INT4 和 INT8，使多模态向量搜索能够在中端消费级硬件上实现。

• 自适应输入输出缩放：根据文本和图像输入大小，运行时动态加载最优计算图，所有 CPU、GPU 和 NPU 后端均支持此功能。该设计在避免计算浪费的同时支持可变文本长度，同时让开发者能够控制视觉标记预算以实现延迟与精度的最佳平衡。对于输出，内置的套娃表示学习（MRL）切片支持实时维度截断，最多可减少 8 倍的本地存储和索引占用。

LiteRT 在广泛的边缘设备和 Web（WASM）平台上提供稳定、跨平台的性能。如需查看完整支持的硬件平台列表和最新性能基准，请参见我们的 Hugging Face 模型卡片。您可以通过 Google Cloud 上的 LiteRT 基准测试工具使用更多物理设备进行测试，或通过我们的零配置网页演示立即体验浏览器端的交互式 playground。

今天即刻开始

EmbeddingGemma 2 和 Google AI Edge 为将快速、私有且离线的多模态检索直接集成到您的应用中提供了基础构建模块。无论您是在尝试即时图像搜索、视觉关键帧检索还是环境条件触发，所需的所有工具都已全面上线。

• 体验 EmbeddingGemma 2 演示：通过 Android 和 iOS 上的 Google AI Edge Gallery 应用，在您的设备上亲自尝试 Instant Media Search 和 Video Moments Finder，还可通过 AI Edge Foresight 直观体验个人知识库检索。

• 测试 EmbeddingGemma 2：在 Google Cloud 的 Developer Device Platform 上，使用超过 200 台不同真实物理设备对 EmbeddingGemma 2 进行基准测试和功能开发。通过我们的交互式 Google Colab 和 GitHub 指南快速入门。

• 部署 EmbeddingGemma 2：直接从 Hugging Face LiteRT 社区下载已准备就绪、预量化版本的 .litertlm 包。

• 开始构建：探索 MediaPipe Tasks 的开箱即用集成方案，或遵循 LiteRT-LM 开发者指南进行更多定制实现。在 Google AI Edge Gallery 应用中查看参考实现。

致谢

我们特别感谢为本项目做出重要贡献的各位成员：

Abhishek Jatram, Aditya Srivastava, Akshat Sharma, Alexander Kanaukou, Alice Zheng, Ami Kubota, Ander Dobo, Andrew Zhang, Brad Lassey, Chanchal Raj, Chandramouli Amarnath, Charlie Xu, Chenchen Tang, Chintan Parikh, Chirag Gupta, Cormac Brick, David Chou, Debapriya Maji, Denis Daletski, Fengwu Yao, Florian Kübler, Geonsun Lee, Gregory Karpiak, Henrique Schechter Vera, Himangshu Roy, Hriday Chhabria, Ian Ballantyne, Ivan Llanos, Jae Yoo, Jenn Lee, Jianing Wei, Jing Jin, Jingjiang Li, Jingtao Zhou, Jingxiao Zheng, Juhyun Lee, Julius Kammerl, Karthik Thirumalai, Kat Black, Kristen Quan, Kristen Wright, Lu Wang, Lutz Justen, Malini PV, Marissa Ikonomidis, Matthew Chan, Matthew Soulanille, Matthias Grundmann, Mogan Shieh, Na Li, Naina Singla, Olivier Lacombe, Priya Patel, Qidong Zhao, Queenie Zhang, Renjie Wu, Rishika Sinha, Rishubh Khurana, Ronald Wotzlaw, Sachin Kotwani, Sahil Dua, Sandeep Patil, Sebastian Russo, Sebastian Schmidt, Shengyi Lin, Shuangfeng Li, Somdatta Banerjee, Steven Toribio, Suril Shah, Sylvain Vignaud, Tenghui Zhu, Vinod Mamillapalli, Vladimir Kirilyuk, Wai Hon Law, Weiyi Wang, Xiaoming Hu, Xinan Cheng, Xu Chen, Yi-Chun Kuo, Yishuang Pang, Yu-hui Chen.

发布在：

• 移动端

• 网络

• 人工智能

• 公告

• 学习

• 探索

• 资源

• 活动

上一篇

下一篇

相关文章

列表

人工智能

教程

公告

嵌入Gemma 2：开发者指南

移动端

网络

解决方案

介绍 Credentio：Google 开源 C++ 库用于 C2PA 内容凭证

2026 年 8 月 13 日

云

问题解决

使用 Google Cloud API Gateway 将 REST API 转换为 MCP 工具

2026 年 9 月 24 日

宣布 Kotlin 1.0 ADK：在 Kotlin、Android 及其他平台构建生产级 AI 代理

2026 年 9 月 9 日

导航点