Introducing Otari: The Open-Source LLM Control Plane
TL;DR · AI 摘要
Mozilla AI 发布 Otari，一个开源的 LLM 控制平面，简化多模型提供商的基础设施管理。
核心要点
- Otari 提供统一平台管理多个 LLM 提供商的路由、预算和治理
- 开发者可通过 Otari 的 Agent Harnesses 构建代理应用，内置工具和编排
- Otari 开源，可在 GitHub 获取，支持托管和自托管环境部署
结构提纲
按章节快速跳转。
思维导图
用一张图看清主题之间的关系。
查看大纲文本（无障碍 / 无 JS 友好）
- Otari: LLM 控制平面
- 核心功能
- 路由管理
- 预算控制
- 治理框架
- 技术优势
- 开源架构
- 跨提供商兼容
- 自动故障转移
- 使用场景
- Agent 应用开发
- 多云部署
- 成本优化
金句 / Highlights
值得收藏与分享的关键句。
Otari provides a single control plane for your LLM infrastructure...
These capabilities should not have to be rebuilt every time...
Control your LLM infrastructure before complexity controls you.
介绍 Otari：开源 LLM 控制平面
公告
#### Mus Himdi , Anushri Gupta
2026 年 7 月 6 日
—
1 分钟阅读
如果您正在构建基于 LLM 的应用程序，您可能正在管理多个 LLM 提供商、一堆 API 密钥以及自己的路由、预算和故障转移逻辑。访问语言模型已不再是挑战。有效运营 LLM 基础设施才是。
今天，我们激动地推出 Otari，这是由 Mozilla.ai 开发的开源 LLM 控制平面。
LLM 基础设施的统一方法
Otari 为您的 LLM 基础设施提供单一控制平面，帮助开发人员和工程团队在多个 LLM 提供商之间管理路由、预算、治理、部署和可靠性。
通过一个平台，开发人员可以：
- 通过单个端点在多个 LLM 提供商之间路由请求。
- 使用内置的预算、使用情况可见性和自动预算执行来控制 LLM 开支。
- 通过集中式 API 密钥、工作区和访问控制来管理治理。
- 使用托管或自托管环境在需要的位置进行部署。
- 通过智能路由和自动故障转移提高可靠性。
- 使用提供内置工具和编排功能的 Agent Harnesses 构建代理就绪的应用程序。
Otari 为开发人员提供了一个统一的平台来控制 LLM 基础设施，使他们能够减少管理复杂性的时间，而将更多时间用于构建 AI 应用程序。
为什么 Mozilla.ai 开发了 Otari
在 Mozilla.ai，我们相信开发人员应该能够构建开放、灵活且由他们掌控的 AI 系统。
在与正在采用 LLM 的开发人员和组织合作时，我们反复看到相同的基础设施挑战。团队正在为每个应用程序独立构建自定义路由逻辑、管理提供商密钥、跟踪使用情况、执行预算和实施治理。
这些功能不应该在每次创建新的 LLM 驱动应用程序时都需要重新构建。
我们认为它们应该属于一个专用的控制平面，该控制平面位于应用程序和 LLM 提供商之间，为开发人员提供一个统一的管理基础设施的地方。
这就是我们开发 Otari 的原因。
开始使用 Otari 构建
Otari 现已发布。
探索平台，阅读文档，访问 GitHub 上的开源项目，开始使用 Otari 构建。
在 otari.ai 了解 Otari。
在复杂性控制您之前，先控制您的 LLM 基础设施。