Mozilla AI Blog

The Control Layer: Why the Next Era of AI Is About Infrastructure, Not Just Models

8.5内容质量
The Control Layer: Why the Next Era of AI Is About Infrastructure, Not Just Models

TL;DR · AI 摘要

AI基础设施管理将成为企业核心挑战,碎片化、成本控制和数据治理问题凸显,Mozilla推出Otari应对生产级AI部署需求。

核心要点

  • 2026年企业AI应用生产化后,数据所有权和成本问题导致预算在数月内耗尽
  • Otari通过统一管理多模型、成本追踪和地理约束解决碎片化难题
  • 2025年agentic coding使产品部署速度提升,但加剧了基础设施需求

结构提纲

按章节快速跳转。

  1. 2022-2026年AI从实验到生产化的发展阶段及预算变化

  2. 碎片化模型使用导致操作混乱,成本不透明加剧预算失控

  3. Otari解决方案

    Mozilla开发的基础设施工具支持多模型管理、成本追踪和数据治理

  4. 2025年后agentic coding加速部署,主权AI讨论提升数据管控需求

  5. 生产级AI部署引发系统所有权、数据泄露和政府监管新挑战

思维导图

用一张图看清主题之间的关系。

查看大纲文本(无障碍 / 无 JS 友好)
  • AI基础设施挑战
    • 碎片化问题
      • 多模型版本共存
      • API/价格/延迟差异
    • 成本控制
      • 预算消耗速度
      • 成本不透明
    • 解决方案
      • Otari工具
      • 数据治理框架

金句 / Highlights

值得收藏与分享的关键句。

#AI基础设施#企业应用#模型管理#成本控制#数据治理
打开原文

控制层:为什么下一代AI的核心是基础设施,而不仅仅是模型

专家观点

#### John Dickerson

2026年7月7日

7分钟阅读

模型只是容易的部分——如何获取并保持价值

这是我过去几年对企业AI演进的观察:

  • 2022年秋季,世界认为经济即将陷入衰退。2023年的IT预算被冻结。
  • 2022年11月30日:ChatGPT发布,C-Suite中非技术部门首次有了与AI交互的具象入口——一个在线可用的简单聊天界面。
  • CEO、CFO、CRO在假期回家后,被早期生成式AI的演示震撼(让泰勒·斯威夫特像埃米纳姆一样说唱、总结邮件、讨论旅行计划)。他们被折服后,仅在2023年为生成式AI的试点项目解冻了IT预算。
  • 2023年:试点项目与实验阶段。唯一新增的预算都投入生成式AI,因此所有IT团队都聚焦于此。
  • 2024年:90%的生成式AI试点项目因缺乏前景被砍掉,剩下的10%开始通过GRC流程准备部署。
  • 2025年:应用进入生产环境,但防护措施、成本追踪和ROI衡量水平参差不齐。(同年晚些时候,代理式编程成为现实,使产品部署速度显著提升。)
  • 2026年:生成式AI在生产环境中的内外部使用呈爆炸式增长。年度预算在数月内就被消耗殆尽。随着主权AI讨论的兴起和政府对前沿实验室参与度的提升,系统与数据所有权的担忧也同步增加。

简而言之,我们已从"我们是否应该尝试AI?"转变为"为什么这还没上线?",再到"ROI是多少?天哪这花了多少钱?!我的数据去哪了?!"

截然不同的讨论!

实验成本低廉:申请个API密钥,看看会发生什么,然后继续。但生产环境完全不同。你需要可靠性、可审计性以及规模化成本控制。你可能还需要对地理区域、本地计算资源以及拥有自有模型的能力设置硬性约束。这就是我们开发Otari的原因。不是因为模型不够好——事实上恰恰相反,目前已有足够多的模型能胜任各种任务。但能在组织层面管理这些模型的基础设施尚未存在。我们正在构建它。

过去两年发生了什么变化

一个有争议的观点:最重要的转变并非模型能力。当然,模型确实有了显著提升,尤其是开源和开放权重模型。但真正的变化是采用速度。AI在生产环境中的应用已从少数几家资源充足的科技公司,扩展到各行各业数千个团队。随之而来的是无人完全预料到的问题。

首先是碎片化。大多数团队不只使用一个模型——他们使用几十个。从宏观来看,这可能是一个GPT用于文本摘要,Claude用于编程,一个本地开放权重模型用于处理敏感任务。即使他们是"OpenAI团队",仍会有团队使用GPT-5.5、-5.4、-5.4-mini、-5.4-nano以及那些在部署时表现良好但从未更新过的旧模型。每个模型都有自己的API、定价、延迟特征和速率限制。看似灵活的选择很快演变为运营混乱。

第二:成本不透明。AI推理的扩展是非线性的。在测试阶段花费200美元/月的功能,如果使用情况发生变化,投入生产后可能需要花费20,000美元/月。随着即将到来的前沿实验室IPO使代币的"风险投资补贴"逐渐消失,代币的真实成本变得越来越不透明,这一问题将变得越来越重要。大多数团队直到收到账单时才意识到自己需要承担的费用。目前所有供应商都没有原生工具能够在问题发生前提供预警。

第三:治理漏洞。当AI进入金融、医疗、法律、教育等受监管行业时,"哪个模型在何时对谁说了什么以及原因"将成为合规要求。而全球范围内正在进行的主权AI讨论又增加了这些要求的复杂性。当前的基础设施对此毫无应对之策。

管理多个供应商的挑战

这就是多供应商复杂性在实际中的真实表现。一个产品团队正在将请求路由到三到四个不同的模型供应商,每个供应商都有多个模型,同时还连接到临时的本地解决方案。他们为故障构建了自定义的故障转移逻辑,用电子表格跟踪成本。工程师们根据直觉和不完整数据手动调整不同模型处理不同请求类型的策略。

这不是可持续的架构。

问题不在于团队做错了什么,而是工具尚未跟上。当云计算成熟时,组织停止了手动管理服务器,转而采用抽象了复杂性的平台。我们现在正处于AI发展的同样转折点。模型就是计算资源。它们之上的控制层才是缺失的部分。

成本可见性是首要问题

成本作为战略问题的重要性被低估了,尽管2026年随着组织开始意识到"代币最大化"正在以可疑的回报消耗大量资金,这一状况正在改变。话虽如此,大多数将AI基础设施视为成本中心的组织在思考方式上存在误区。真正的问题不是"我们花了多少钱",而是"我们是否在最低成本下实现了所需的结果,我们甚至知道吗"?这两个问题是截然不同的。

目前,大多数团队无法回答第二个问题。他们无法跨供应商比较每结果成本。他们无法实时看到哪些路由在消耗预算却没有成比例的价值。他们无法设置策略("在特定使用场景中绝不允许超过X支出,除非发生Y")并自动执行。

财务团队最终会要求——事实上现在已经开始要求——这种级别的可见性。那些提前应对的工程团队将相对于未应对的团队获得结构性优势。

为什么控制变得越来越重要

我反复强调的核心观点,也是我们正在构建的解决方案是:控制就是新的护城河。

过去几年,团队之间的竞争集中在使用哪个模型上。这种优势正在消失。模型正在商品化。顶级模型之间的边际差异正在缩小,每个性能层级都有多个竞争选项,甚至包括可以在树莓派上运行的模型。下一个竞争层级是运营:谁能以可靠、高效且安全的方式大规模部署AI?

这是一个基础设施层面的问题。

这里的“控制”究竟意味着什么?它意味着根据成本、能力、延迟和合规性智能地路由请求。它意味着对AI的行为及其原因进行实时可观测性。它意味着在组织层面设置策略,并确保这些策略得到一致执行,而无需让每个团队都重新发明轮子。它意味着可以在不重写应用层的情况下切换服务提供商。

控制意味着将AI作为成熟的工程学科来运营。

为什么Mozilla决定构建Otari

Mozilla一直坚信某种特定的互联网形态:开放、去中心化、以公共利益为指导,并由公众共同治理。当我们审视AI基础设施的发展方向时,我们看到了一个熟悉的模式:权力逐渐集中在少数几家服务提供商手中。大多数组织依赖于无法检查、修改或控制的黑箱系统。

我们以前见过这样的故事。我们知道如果没有人干预,结局会如何。

Otari就是我们的应对方案。它是一个面向大型语言模型(LLMs)的控制平面,核心是开源设计,旨在赋予组织对其AI基础设施的真实控制权。它不仅仅是一个路由器,也不仅仅是一个成本仪表盘,而是一个位于应用与模型之间的完整控制层,为您提供可见性、治理能力和灵活性,让您按照自己的条件运营AI。

我们刻意选择以开源方式构建它。在医疗、教育、国防、金融和公民技术领域,最需要这种能力的组织无法承担被锁定的风险。是的,开源是一种分发渠道——与我们的核心价值观一致——但我们认为它不仅仅是渠道:对于推动世界经济的最重要行业、机构和组织来说,开源是实现采用的绝对必要条件。

Otari的机会:定义一个全新类别

智能体时代已经到来,而非未来。软件领域的下一次架构变革不是另一个模型发布,而是智能体协调系统:能够并行协调数十甚至数百个AI智能体的系统,每个智能体都进行模型调用、产生成本、接触需要治理的数据。在规模上管理这种复杂性的难度比当前基础设施所能处理的要高出几个数量级。这就是需要解决的问题,而目前尚无理想的解决方案。

这一差距就是新的类别。不是某个功能,也不是某个细分领域。而是每个严肃的AI部署都需要的基础层。现在开始构建控制能力的组织将获得复利增长的操作优势。而那些等待的组织则将被迫在从未为其设计的系统上追加治理功能。

我们正在构建 Otari,使其成为这一控制平面,通过开源方式让社区共同塑造这一领域的发展方向,也让最需要它的组织能够真正采用它。医疗系统、公共机构、金融机构、公民基础设施:它们无法依赖黑箱供应商。ServiceNow 的 Amit Zavery 直接指出:"每个客户在考虑采用 AI 和自主代理时,都担心控制权问题。" Dell Inc. 的 Michael Dell 提出了基础设施层面的论点——云服务提供的核心价值是弹性扩展:"但它并未承诺、也难以实现对敏感企业数据进行大规模、可预测成本的自主代理 AI 处理。" 甚至 Palantir 的 Alex Karp 也在讨论选择权和开源 AI:"技术客户真正想要的是对计算资源、模型、数据栈和核心价值的控制权。他们希望明确拥有生产资料的所有权。" 最重要的机构和企业必须掌握自己的技术栈,而 Otari 正是实现这一目标的重要一步。

AI 的未来不仅仅是关于哪个模型会胜出。它关乎谁掌控着模型之上的控制层。我们认为,当控制权被正确实现时,它应该属于每个人。我们通过开源方式构建 Otari,正是为了证明这一点。你可以访问 Otari.ai 的托管实例,或从我们完全开源的 GitHub 仓库部署自己的自托管网关——掌控你的推理过程,掌控你的 AI 技术栈。