Turning Opportunistic AI Inference Capacity Into Better Ads Recommendations

将机会型AI推理能力转化为更优质的广告推荐 - Meta工程实践

POSTED ON

OCTOBER 12, 2026

TO

ML Applications

将机会型AI推理能力转化为更优质的广告推荐

.entry-meta

.entry-header

By

Jinfu Leng

,

Rohith Menon

Nicolas Stier

Praveen Sampath

Hunter Zhang

Xiaocong Liang

Haonan Wu

Michael Fulthorp

Tao Cai

Paras M

Zeliang Chen

Shashank Tripathi

Manasi Khanuja

• 在Meta，我们构建了一个系统，通过利用集群中的闲置推理能力来增强广告推荐效果。

• 系统中的两个弹性控制杠杆使广告推荐工作能够在机会型容量上扩展，同时不损害基准性能。

• 本文将描述我们在Meta规模上如何设计和运营该系统，以及它如何为广告主创造显著价值并提升容量效率。

推理集群面临容量悖论：它们可能在全球范围内受到约束，但局部区域却存在大量闲置容量。在Meta，我们构建了一个系统，将这些局部闲置容量聚合为共享的机会型容量池，并将其转化为更优质的广告推荐。通过激活这些原本闲置的容量，系统帮助用户看到更相关的广告，同时在不增加额外容量采购的情况下提升广告主效果。

安全利用机会型容量具有挑战性。这些容量分散在各团队拥有的分配额度、地区和加速器类型中，可能在短时间内被回收。因此广告推理系统必须在容量供给变化时动态调整工作负载，同时避免对承担基准工作负载的专用容量造成过载。

我们通过两个互补的弹性控制杠杆解决这一挑战。Rank More Ads (RMA) 调整排名阶段评估的候选数量。Serve Better Models (SBM) 调整路由到更强大模型的请求数量。

物理和逻辑隔离保护了用于基准服务的预留容量。独立的反馈回路分别控制RMA候选数量和SBM模型覆盖范围，而服务器和客户端的价值感知负载削减机制使系统在容量突然被回收时能够优雅降级。这些机制共同作用，使可选工作负载能够根据机会型容量弹性扩展和收缩，同时保障延迟和可靠性。

推理容量悖论：全局受限但局部闲置

推理集群必须保持足够的容量以满足严格延迟和可靠性目标下的需求。然而，需求和容量在时间、地区、资源组合和加速器类型上很少完美匹配。因此即使集群整体受限，部分区域仍可能出现容量闲置。常见原因包括：

• 峰值供给与需求波动不匹配：推理集群必须按峰值需求进行配置，但流量会随时间和季节变化。因此在需求较低时，峰值时段所需的容量可能暂时闲置。

• 模型开发与容量交付时间错位：推理容量按供应链时间表到达，而模型开发和上线遵循独立的时间表。这导致容量可用与模型就绪之间出现时间差。

• 区域资源比例不匹配：推理工作负载需要加速器以及配套资源（如CPU）。当这些资源无法按需比例提供时，一种资源可能处于空闲状态，而另一种资源则限制了服务容量。

• 加速器类型不匹配：推理舰队可能包含多个供应商、世代和架构的加速器。工作负载并不总能在这些加速器类型之间迁移，这会导致某些硬件上的容量无法立即满足现有需求。

这些不匹配现象导致了一个行业性推理容量悖论：舰队可能在全球范围内受到限制，但局部地区仍有大量容量处于空闲状态。在Meta的规模下，这些临时空闲的容量加起来可能代表大量资源，安全使用时可生成更优质的广告推荐。

从碎片化预留到共享的机会容量池

在Meta规模的异构舰队中，瞬时空闲的推理容量是不可避免的——即使有主动规划来最小化结构性不匹配。然而，由于这种容量本质上与波动的基础需求相关，它伴随着独特的运营限制——可被抢占（随时可能被回收）、可用性高度波动，并且没有任何长期保证。

要成功消费这种波动资源而不影响基础性能，工作负载必须具备某些结构性特性：

• 高度的工作负载弹性：当容量池变化时，工作负载可以快速增加或减少大量可选工作，而不会影响基础预期。

• 规模下的持续质量：工作负载可以在机会池能提供的范围内持续提升输出质量。具有这种特性的工作负载通常已经使用了大量专用容量。

• 有限的跨服务依赖：自包含的工作负载减少了必须响应波动容量的上下游系统数量。

两种互补的弹性杠杆

基于这些结构性特性，我们确定了两种互补的杠杆，它们符合这些标准，可用于消费空闲容量并产生巨大的价值提升。

增加广告推荐数量（RMA）

对于每个用户请求，广告推荐系统必须在不到一秒的时间内从数百万个候选广告中选择少量广告。系统使用一系列排序阶段，其中越来越强大的机器学习模型评估逐渐缩小的候选集。后续阶段仅评估前一阶段的顶级候选。

当有机会容量时，RMA会增加排序阶段评估的候选数量。评估更多候选会增加找到与用户相关广告的可能性。由于额外的候选需要通过CPU密集型的上游处理（如检索、特征处理）以及加速器密集型的推理，RMA通常需要同时具备CPU和加速器的富余。

提供更优模型（SBM）

广告评估可以使用不同复杂度的模型。更强大的模型可以提高预测质量，但使用专用容量为每个请求运行它们效率不高。

SBM 根据加速器容量的变化，动态调整由更强大模型处理的请求数量占比。它通过保持进入排序阶段的广告数量恒定，使上游 CPU 需求保持相对稳定。这使得 SBM 能够利用 RMA 无法消耗的纯加速器空闲资源。

SBM 的模型路由器组件利用请求价值信号，优先处理那些最可能从更强大模型中获益的请求。

为何需要两种调节机制

两种机制消耗的资源组合不同。RMA 需要同时使用 CPU 和加速器资源，而 SBM 可以在不显著增加上游 CPU 负载的情况下使用加速器资源。两者结合可利用比单一机制更广泛的空闲资源。

每种机制的边际影响会随着流量、当前覆盖率和可用资源组合而变化。在特定时刻，新增的空闲资源可能通过增加排序候选数量来提升广告相关性，或通过将更多请求路由到强大模型以提高预测准确性。我们根据两种机制的实际性能和资源需求，定期调整它们之间的资源分配。

安全利用空闲资源进行广告推理

空闲资源的回收速度比管理大规模服务舰队的工作负载控制回路更快。因此，系统设计围绕一个核心要求：失去空闲资源可能导致排序工作量减少，但绝不能影响基线工作负载的容量。我们通过隔离路由目标、两个针对工作负载的反馈回路和快速本地负载丢弃机制来实现这一要求。

通过物理和逻辑隔离保护基线流量

可选工作不能占用为基线服务预留的容量。SBM 和 RMA 通过不同方式实现这种隔离。

对于 SBM，隔离是物理层面的。基线模型和强大模型使用独立的路由目标。专用副本专门用于处理基线模型请求，而运行在空闲资源上的副本则处理被选中使用强大模型的请求。当空闲资源减少时，系统会降低路由到强大模型的请求数量占比，这些请求将改用已预留容量的基线模型处理。

对于 RMA，隔离是逻辑层面的。系统计算部署在空闲资源上的模型副本能支持的额外候选排序工作量，并利用总容量为 RMA 设置全局预算。每个模型副本可能同时处理基线工作和额外工作，无需对单个请求进行物理隔离。通过限制总增量工作量不超过副本承载能力，即可保护基线流量。

当空闲资源减少时，RMA 会降低其全局候选数量目标，SBM 会减少强大模型覆盖范围。在两种情况下，系统都会移除可选工作而非让其占用基线服务预留的容量。这确保了基线流量始终处于其延迟和可靠性目标范围内。

通过延迟反馈控制候选数量

RMA 采用由中央比例-积分-微分（PID）控制器和客户端执行机制组成的闭环反馈系统。从简化视角来看，控制器通过观测到的尾部延迟计算向下游排序发送广告数量的目标值，客户端将该目标值应用于新请求。当延迟低于目标值时，控制器会增加排序的广告数量；当延迟上升时则减少数量。这使 RMA 能够利用受容量状况影响的延迟信号，在条件变化时收敛到可持续的候选数量。

基于价值感知模型选择的请求路由

SBM 使用包含中央控制和客户端路由的对应反馈环路。中央控制器为更强大的模型设置目标覆盖率，客户端模型路由器决定哪些符合条件的请求使用该模型，哪些继续通过基线模型处理。

路由器使用请求价值信号，根据预测的用户对广告参与可能性，将请求分组到不同区间。探索与利用过程会定期测量每个区间使用更强大模型的增量效果，并更新两个模型之间的分配比例。这是必要的，因为更强大模型的增量收益并不总是与请求的绝对价值一致。该过程还跨区间保留探索性流量，使系统持续收集适应所需的观察数据，而非强化过时的路由决策。

校准环路通过调整目标覆盖率，使实际流量占比在不同地区和时间变化时保持接近目标值。当容量缩减时，中央控制器会降低目标覆盖率，客户端将更少请求路由到更强大模型。从机会路径移除的请求将继续通过基线模型处理。

多层级价值感知负载削减

RMA 和 SBM 的反馈环路持续将机会性工作与可用容量对齐，但其中央组件的响应时间在分钟级别。因此突然的抢占可能在客户端接收到新目标前就移除容量。系统为能立即响应的工作负载添加了价值感知保护：

服务器端负载削减：如果机会池在客户端视图更新前失去容量，服务器会立即移除低价值的机会性工作。对于 RMA，它们会减少单个请求中处理的候选数量；SBM 则对路由到更强大模型的请求应用等效的价值感知削减策略。这能快速吸收接近服务瓶颈处的突变。

客户端负载削减：RMA 和 SBM 客户端以最新控制器目标为指导原则，同时直接观测服务器状态。当观测到服务器过载时，客户端会直接削减低价值的机会性工作，即 RMA 请求更少附加广告，SBM 将更少请求路由到更强大模型。

这两种负载削减机制都能在数毫秒内响应，填补控制器-客户端环路收敛前的空档期。服务器端和客户端负载削减在选择移除工作时都使用价值信号，这能最大限度降低过渡期间的影响。

当前工作与未来方向

提高工作负载弹性

我们希望通过扩展RMA和SBM的运行范围、扩大弹性控制杆的种类，更有效地利用机会容量。对于RMA而言，这意味着在排序阶段支持更高数量的候选对象；对于SBM而言，使用更强大的模型，将额外的加速器容量转化为更精准的预测。我们还在开发新的控制杆，例如预计算弹性，该方法在请求发生前完成计算工作，因此受实时流量位置和时间的限制更小。

扩展可用容量池

机会容量在不同地区和加速器类型之间是碎片化的，只有在相同位置具备兼容模型和支持资源时才具有价值。我们正在扩展模型可移植性和跨区域推理能力，使更多可用容量能够被高效利用。

基于价值的容量分配自动化

每个控制杆的边际影响会随着流量、覆盖范围和可用资源组合的变化而变化。在某一时刻，下一个机会容量单位可能通过排序更多候选对象或将更多请求路由到强大模型来展示更相关的广告。我们正在构建一个基于优化的系统，根据对用户和广告商的收益，自动调整AI推理容量在各类弹性控制杆之间的分配。目标是在满足区域限制、硬件兼容性、闲置容量耐久性等使用案例约束条件的前提下，最大化容量的回报。

致谢

这项工作得到了Meta跨职能虚拟团队的关键贡献：David Amsallem, Mohit Bharti, Maddie Digne, Stephen Dimmick, Maomao Ding, Amit Dutta, Sebin George, Aashik Gowda, Atul Goyal, Mohak Goyal, Nelson Guo, Tiger Hao, Yaning Huang, Dianshi Li, Yang Li, Bai Liu, Bofeng Liu, Wei Liu, Yisi Liu, Daniel Molina Hurtado, Maciej Naruszewicz, Arka Pal, Annan Pan, Brian Park, Brian Peschka, Michael Shao, Bikash Sharma, Alexander Sun, Weiman Sun, Kaiyue Tao, Patrick Taylor, Kevin Tong, Ellie Wen, Chao Xie, Lu Yang, Sihan You, Hansen Zhang, Anthony Zhu

我们同时感谢以下领导者的支持与赞助：Neeraj Agrawal, Justin Charlap, Brian Ellis, Prabhakar Goyal, Hong Jiang, Shri Karandikar, Santanu Kolay, Uladzimir Pashkevich, Rob Schwartzberg, Eric Shan, Matt Steiner, Nathan Yan, Tak Yan, Caijie Zhang, Alex Zhong