Philipp Schmid(@_philschmid)
If you are building real-time voice agents with @GoogleDeepMind Gemini Live, you can now trace your ...
8.5内容质量
TL;DR · AI 摘要
Google DeepMind Gemini Live与LangChain集成，支持实时语音代理追踪，提升调试效率。
核心要点
- Speaker callback hooks可捕获用户中断事件前的精确音频
- Live timeline用蓝橙色区分用户语音与Gemini响应
- 注册LangSmithGoogleADKLivePlugin即可启用实时追踪功能
结构提纲
按章节快速跳转。
- §技术集成
Google DeepMind Gemini Live与LangChain的实时追踪功能整合
- ·核心机制
Speaker callback hooks捕获中断前的精确音频数据
Live timeline通过颜色区分用户输入与模型响应
- ·使用方法
通过注册LangSmithGoogleADKLivePlugin启用插件功能
Usage metadata分离文本令牌与音频令牌计费
思维导图
用一张图看清主题之间的关系。
查看大纲文本（无障碍 / 无 JS 友好）
- Gemini Live与LangChain集成
- 核心功能
- 音频追踪
- 可视化时间轴
- 元数据分离
- 技术实现
- Speaker callback hooks
- 颜色编码系统
- 使用方式
- 插件注册
金句 / Highlights
值得收藏与分享的关键句。
Speaker callback hooks capture only the exact audio your user heard before an interrupted event
Live timeline highlighting user speech in blue, Gemini responses in orange
Usage metadata separates regular text tokens from native Gemini audio tokens
#Gemini Live#LangChain#实时语音#AI代理
打开原文Philipp Schmid 在 X 上的推文："如果你正在使用 @GoogleDeepMind Gemini Live 构建实时语音代理，现在可以在 @LangChain 中直接追踪你的语音到语音代理循环！- 说话者回调钩子仅捕获用户在中断事件前实际听到的精确音频。- 实时时间轴以蓝色突出显示用户语音，以橙色显示 Gemini 回应，并以自定义工具执行（例如 1.29 秒的城市天气查询）。- 使用元数据将常规文本标记与原生 Gemini 音频标记分开，让你始终清楚自己的精确使用情况。要尝试的话：在你的 Google ADK 代理中注册 LangSmithGoogleADKLivePlugin 即可完成。[视频演示由 Caroline di Vittorio 制作]" / X
Philipp Schmid
@_philschmid
如果你正在使用
@
GoogleDeepMind
Gemini Live 构建实时语音代理，现在可以在
LangChain
中直接追踪你的语音到语音代理循环！- 说话者回调钩子仅捕获用户在中断事件前实际听到的精确音频。- 实时时间轴以蓝色突出显示用户语音，以橙色显示 Gemini 回应，并以自定义工具执行（例如 1.29 秒的城市天气查询）。- 使用元数据将常规文本标记与原生 Gemini 音频标记分开，让你始终清楚自己的精确使用情况。要尝试的话：在你的 Google ADK 代理中注册 LangSmithGoogleADKLivePlugin 即可完成。[视频演示由 Caroline di Vittorio 制作]
00:00
2:33 PM · Jul 23, 2026
5.7K
次浏览
11
8
56
21 /think