ElevenLabs on AI Gateway

ElevenLabs 与 AI Gateway 合作 - Vercel

Vercel 与 ElevenLabs 达成合作，将 14 款 ElevenLabs 模型引入 AI Gateway。为庆祝此次发布，AI Gateway 上所有 ElevenLabs 模型在前 14 天（截止 11 月 9 日）享受 50% 的折扣。

AI Gateway 支持六种不同类型的 ElevenLabs 音频模型：

• 语音转文本：转录录音或实时生成语音字幕。
• 流式文本转语音：在语言模型仍在撰写回复时即开始播放音频，用户无需等待完整答案。
• 实时语音代理：让用户在单次实时会话中与应用对话并听取其回应。适用于客服热线、教学助手和应用内助手。
• 音乐：通过纯文本描述生成所需长度的完整歌曲或伴奏。
• 音效：根据简短描述生成游戏音效、界面音效或循环播放的环境音。
• 多人声对话：通过一次通话完成整场对话，每位说话者使用不同人声。

所有音频模型均可通过单一网关 API 密钥访问。您的应用或代理可转录用户语音，使用数百种模型进行推理，然后以 ElevenLabs 人声进行回答。您还可以使用生成的音乐和音效创建配乐。

所有请求都会与您的其他 AI Gateway 流量一同显示在使用情况、成本和追踪视图中。

$?

/$

复制链接到标题 模型类型

AI Gateway 为您提供访问 14 款 ElevenLabs 模型的权限，涵盖语音转文本、实时语音和音乐领域。

模型类型 | 模型 ID --- | --- 语音转文本 | elevenlabs/scribe-v2, elevenlabs/scribe-v2-realtime 流式文本转语音 | elevenlabs/eleven-flash-v2.5, elevenlabs/eleven-flash-v2, elevenlabs/eleven-multilingual-v2, elevenlabs/eleven-v3-conversational 实时语音代理 | elevenlabs/eleven-realtime-v1-max, elevenlabs/eleven-realtime-v1-mini 音乐 | elevenlabs/music-v2.5, elevenlabs/music-v2 音效 | elevenlabs/sound-effects-v2 多人声对话 | elevenlabs/eleven-v4, elevenlabs/eleven-v4-turbo, elevenlabs/eleven-v3

复制链接到标题 语音与转录

Scribe v2 Realtime 在用户仍在说话时将其语音转换为文本。随后您选择的语言模型撰写回答。低延迟的 ElevenLabs 语音模型 Eleven Flash v2.5 在流式传输时即朗读该回答，使用户在模型完成写作前即可听到回复开始。

由于每个步骤都是独立模型，您可以在不改动其余流程的情况下更换转录、语言或语音模型。

在以下示例中，用户询问是否能赶上转机。文本模型结合航班状态和登机口距离生成回答，语音模型随后进行播报。

import {
  experimental_streamSpeech as streamSpeech,
  experimental_streamTranscribe as streamTranscribe,
  streamText,
} from 'ai';
const heard = streamTranscribe({
  model: 'elevenlabs/scribe-v2-realtime',
  audio: microphoneStream,
  inputAudioFormat: {
    type: 'audio/pcm',
    rate: 16000
  },
});
const { textStream } = streamText({
  model: 'anthropic/claude-haiku-5.5',
  prompt: await heard.text,
});
const { audioStream } = streamSpeech({
  model: 'elevenlabs/eleven-flash-v2.5',
  text: textStream,
  voice: 'hpp4J3VqNfWAUOO0d1Us',
});

代码会转录16kHz麦克风音频流，将完成的文本发送给语言模型，并直接将模型的文本转换为语音。

复制链接到标题 实时语音代理

Eleven Realtime v1 Max 和 Eleven Realtime v1 Mini 通过单一模型处理完整的对话流程，适用于需要自然来回交流的场景（如客服通话或应用内助手）。这两个模型通过单个WebSocket会话接收用户音频并返回语音回复，无需单独设置转录或语音生成步骤。

Eleven Realtime 会接收"Can I change the delivery address for my order?"（我能更改订单的送货地址吗？）并通过同一WebSocket会话回复"I can help with that. What’s your order number?"（我可以帮忙。请问您的订单号是多少？）。

import
{
gateway
}
from
'ai'
;
const
{
token
,
url
}
=
await
gateway
.
experimental_realtime
.
getToken
(
{
model
:
'elevenlabs/eleven-realtime-v1-max'
,
}
)
;

浏览器自行建立WebSocket会话，服务器只需为所选模型生成短期有效令牌，从而避免将API密钥暴露在客户端。

在浏览器端，使用@ai-sdk/react中的useRealtime钩子进行连接，该钩子可处理WebSocket连接、麦克风捕获和音频播放。在hook的sessionConfig中设置ElevenLabs语音ID和turnDetection: { type: 'semantic-vad' }。这些模型支持语义语音活动检测（VAD）来判断用户何时结束说话，但不支持服务器端VAD。实时指南详细说明了完整的浏览器设置流程。

复制链接到标题 音乐与音效

Music v2.5 和 Music v2 可根据文本描述创作原创音乐。指定音乐类型、情绪或乐器，模型将按您要求的时长生成完整曲目（含或不含人声）。如需更精细控制，可分段定义歌曲结构，为每个段落设置独立风格和时长。

Sound Effects v2 以相同方式处理短音效，如脚步声、门撞击声或游戏关卡中循环的雨声。

这三个模型均使用generateSpeech，但用描述所需声音的文本代替朗读文本。这个示例请求30秒音频：

import
{
generateSpeech
}
from
'ai'
;
const
{
audio
}
=
await
generateSpeech
(
{
model
:
'elevenlabs/music-v2.5'
,
text
:
'A mellow lo-fi beat with soft piano'
,
providerOptions
:
{
elevenlabs
:
{
musicLengthMs
:
30000
}
}
,
}
)
;

复制链接到标题 多人对话

Eleven v4、Eleven v4 Turbo 和 Eleven v3 可在一个请求中处理包含多位说话人的剧本。您为每句台词分配声音，每次声音切换即开始新对话回合。双人主持播客或全阵容场景会返回为连续录音，无需拼接独立片段。

import
{
experimental_streamSpeech
as
streamSpeech
}
from
'ai'
;
const
host
=
'hpp4J3VqNfWAUOO0d1Us'
;
const
guest
=
'CwhRBWXzGAHq8TQ4Fs17'
;
const
{
audioStream
}
=
streamSpeech
(
{
model
:
'elevenlabs/eleven-v4'
,
text
:
[
{
type
:
'text'
,
text
:
'Did the deploy go out?'
,
voice
:
host
}
,
{
type
:
'text'
,
text
:
'It shipped an hour ago.'
,
voice
:
guest
}
,
]
,
providerOptions
:
{
elevenlabs
:
{
dialogue
:
{
voices
:
[
host
,
guest
]
}
}
}
,
}
)
;

每个声音都是ElevenLabs的声音ID。剧本内容也可以通过语言模型实时生成。

复制链接到标题 关于AI网关

AI 网关提供统一的 API 用于调用模型、跟踪使用情况和成本，并配置重试、故障转移和性能优化以实现高于服务提供商的可用性。它包含内置的自定义报告功能、零数据保留支持、API 密钥预算、路由规则等功能。

AI 网关如实反映服务提供商的定价且不加价，在推理过程中（包括自带密钥（BYOK）请求）均不收取平台费用。

AI 网关的音频文档中包含覆盖 ElevenLabs 模型的示例。在 AI 网关上浏览所有音频模型，并在 11 月 9 日前以 5 折优惠试用 ElevenLabs。