Meta Andromeda: Powering the Next Generation of Ads Retrieval Through Model-System Co-Design

Meta Andromeda：通过模型-系统协同设计推动下一代广告检索 - Meta 工程实践

发布日期

2026年10月28日

分类

机器学习应用

,

生产工程

Meta Andromeda：通过模型-系统协同设计推动下一代广告检索

.entry-meta

.entry-header

作者

卢海宇

古烁

杨阳（Tony）

任景文

季天晨

张庆

郭文天

吴浩成

曾思琪

蒲云晨

王良

孙崇林

• 本文介绍了下一代 Meta Andromeda 系统——Meta 的个性化广告检索引擎，并阐述了通过协同设计模型、系统和 GPU 硬件如何为广告检索开辟新的效率边界。

• 在生产环境中，该系统能够在检索规模下以接近排序级模型的性能为每个符合条件的广告进行评分，并每秒处理超过 10 亿条广告，创下广告检索阶段模型的新吞吐量基准（即相比 2024 年 Meta Andromeda 系统提升 100 倍）。

• 对广告主而言，这意味着在相同的延迟预算下，检索系统能自动从更大的候选广告池中匹配广告，从而实现更好的性能。自 2025 年以来，Meta Andromeda 在 Facebook 上带来了 2.4% 的转化率提升。

Meta Andromeda 是 Meta 的个性化广告检索机器学习系统，是广告推荐流程的第一阶段。检索阶段能在毫秒级时间内将海量的候选广告缩小到少量优质候选；随后更复杂的排序阶段则会对这些候选广告进行精细评分。

历史上，排序阶段的深度建模质量在检索规模上应用成本过高。基于 Andromeda 在 NVIDIA GH200 Grace Hopper 超级芯片上的 2024 年部署所建立的检索基础，本文将分享如何通过模型、系统和硬件的协同设计，将接近排序级的性能扩展到检索规模。

扩展检索规模的挑战与机遇

2024 年的 Andromeda 部署通过端到端优化的检索实现，从定制 AI 硬件的分层索引和 GPU 原生操作符，扩展到专用 ML 模型，使模型容量提升了四个数量级。此后，生成式 AI 创意工具帮助广告主快速创建了数亿条新广告，使 Meta 的广告候选池规模达到前所未有的水平。

在如此庞大的广告候选池中，以更高的系统吞吐量使用更精确的模型进行评分，需要在模型质量、系统架构和硬件利用方面实现根本性的技术突破。

更高性能需要新的架构

广告检索在质量提升方面具有显著的投入产出比：检索模型性能的微小改进都能带来广告主价值的大幅增长。我们广告候选池的快速扩张使优化硬件容量投入产出比变得日益关键。2024 年的 Meta Andromeda 检索模型通过 GPU 优化的深度神经网络架构建立了高度有效的基础。然而，要在当前规模上以可持续的计算成本持续提升检索性能，我们必须超越这一范式。这需要根本性的架构演进，以在不显著增加成本的情况下大幅提升模型性能边界。

百亿规模下的新系统瓶颈

2024 年 Meta Andromeda 系统每秒每张 GPU 显卡可评估数千万条广告。为满足新的业务需求，系统需要实现每秒每张显卡处理数十亿条广告的吞吐量。在达到数十亿条广告每秒的吞吐量时，广告张量在内存层次结构中传递时的内存带宽成为新的性能瓶颈。GPU 内核之间的中间张量每秒会产生数太字节的内存流量，而本地 CPU 主机与远程模型评估硬件加速器之间传输广告数据，会占用全部网络带宽。这要求设计一种新的系统协同方案，将这些碎片化、分布式的任务统一到单一 GPU 管道中。

接近硬件极限的优化挑战

当检索任务在 GPU 上运行时，关键的优化问题是：“我们距离当前硬件的性能上限还有多远？未来模型扩展还有多少提升空间？”要回答这个问题，需要将检索管道的每个组件都推至当前硬件世代的极限，这一挑战促使我们与 NVIDIA 展开联合合作。

每个挑战都推动了相应的技术突破。

通过模型-系统协同设计释放检索性能

下一代检索模型架构 —— 检索专家混合（MoE）

Meta Andromeda 最新版本引入了三项协同创新架构，将大语言模型（LLM）启发的专家混合（MoE）机制引入检索系统（见图 1）。这种高度表达且推理高效的架构确立了新的检索性能-效率帕累托前沿：在约 300 倍于 2024 年 Meta Andromeda 检索模型的推理 FLOPs 消耗下，模型性能已接近典型检索-排序系统的排序级表现。

在用户建模方面，我们从单一用户塔结构转向由多个专业用户塔组成的专家集成系统。通过整合大量高保真信号（包括序列广告互动事件、用户群体表示、LLM 语义特征和跨平台协同互动信号），该架构能够捕捉多样化、随时间演变的上下文相关用户兴趣。

在候选广告塔中，我们采用融合实时服务上下文的联合编码策略，确保下游交互模型接收到上下文感知的表示。

在交互总控层，交互模型从密集神经网络演进为基于 MoE 注意力机制的门控网络，该网络动态地将候选广告路由至最相关的用户专家，以极低的 FLOPs 消耗实现接近排序级的性能表现。

该架构的核心特征是其性能与底层硬件执行模型进行了协同设计。单个 GH200 GPU 的模型推理吞吐量已突破每秒 1000 亿条广告，这种效率使得模型容量可通过更丰富的特征交互、增加专家子网络和加深架构层次进一步扩展，而无需成比例增加 GPU 成本。每次模型的迭代优化都会转化为更高的广告主价值。

图1：检索MoE架构。多样化的高保真用户信号输入到一组异构用户专家中。广告内容与实时服务上下文融合形成上下文化广告输入，驱动广告感知的MoE路由器，仅激活与当前用户-广告相关性最高的前K个专家，生成用户-广告相关性评分。最终实现检索规模下的排序级匹配质量——相比2024年Meta Andromeda模型，推理时FLOPs减少约300倍，单颗Grace Hopper超芯片可处理超100亿条广告/秒。

将模型与系统共设计到单个GPU流水线中

2026年Meta Andromeda通过两项创新将模型-系统共设计推向新高度：一是为每个用户-广告交互融合模型与系统工作负载的单GPU内核；二是通过单GPU设备将每个用户请求逻辑与每个用户-广告GPU内核进行共定位。为此，构建了高度优化且完全融合的GPU流水线，承载完整的端到端Meta Andromeda工作流。

#### 融合内核

从宏观层面看，Meta Andromeda每个用户-广告工作负载的推理时间是一个跨越模型执行和系统逻辑的紧凑操作序列——包括嵌入向量收集、用户-广告交互模型执行和评分计算。检索MoE门控架构中约300倍的FLOPs减少为模型执行与非模型系统工作负载的完全融合提供了必要空间，相比2024年仅融合模型执行内操作的方案，现在可将模型执行与系统工作负载完全融合到单个GPU内核中。结果是单颗GH200芯片可实现超100亿条广告/秒的处理速度。

这至关重要，因为检索工作负载本质上受内存带宽限制。在每秒处理数十亿条广告时，即使每条广告的中间张量体积很小，也会在每秒产生数TB级的高带宽内存（HBM）流量。这些中间张量的内存负载，而非算术运算，已成为多内核检索流水线的主要瓶颈。

融合内核彻底消除了这一瓶颈。与其为模型和系统操作分别调度多个小型GPU内核，不如在单次遍历中完成所有用户-广告计算。中间结果保留在GPU寄存器和线程块共享内存中，从不写入HBM，从而实现对GPU峰值内存带宽的高效利用，而非浪费在冗余的中间流量上。

#### 共定位策略

单独测试时，单个GPU上用户-广告融合内核可实现每秒数十亿条广告的处理速度。然而，索引匹配（即执行广告商定向规则）和Top-K选择等每个用户请求操作运行在独立的本地CPU主机上，通过网络连接与运行在远程加速器上的融合GPU内核评分服务通信。在每秒处理数十亿条广告时，仅此流量就足以饱和网络链路，使网络带宽成为瓶颈，而非GPU计算能力。

协同设计的解决方案是简化系统架构以匹配模型架构：将索引匹配、评分和Top-K选择统一部署在同一GPU上。系统不再需要在不同主机之间传输庞大的候选列表，而是将用户特征和定向查询作为紧凑的请求负载发送至单个GPU服务器，该服务器在本地运行完整的检索流程并仅返回最终的Top-K结果。这使网络流量减少约100倍，并将系统重新调整为GPU计算密集型模式。

将索引匹配迁移至GPU并非易事。广告索引匹配需要在数十个特征类别中评估复杂的广告商定义定向逻辑，并且必须支持广告全天候创建、修改或过期时的实时索引更新。在GPU上实现这一功能需要重新设计索引结构以支持GPU并行执行，同时保持生产环境中定向语义的完整准确性。

Meta Andromeda单GPU流水线

结合上述两项创新，完全协同部署的单GPU流水线可在单个GPU服务器上每秒处理超过10亿条广告，同时对候选池中所有符合条件的广告进行评分。这为广告检索阶段模型设立了新的吞吐量基准，如下一章节所述，系统仍存在显著的扩展空间。

图2：Meta Andromeda单融合GPU流水线系统架构。该流水线将索引匹配、融合评分和Top-K选择统一部署在单个GPU服务器上。融合评分内核通过单次片上遍历完成所有用户-广告计算——从嵌入向量收集到MoE交互和评分，通过寄存器和共享内存保存中间结果以消除HBM瓶颈。这种协同设计通过仅发送紧凑请求负载使网络流量减少约100倍，在Facebook和Instagram上实现每秒超过10亿条广告的处理能力，同时对所有符合条件的广告进行评分。

GPU加速检索：Meta与NVIDIA合作

当生产流水线达到每秒处理10亿条广告的性能后，一个自然的问题随之而来：系统距离当前一代硬件的性能上限还有多远？未来模型扩展还有多少提升空间？2026年初，Meta与NVIDIA启动联合合作项目来解答这些问题——系统性优化检索流水线的每个组件，将吞吐量推向硬件极限。NVIDIA提供了优化的GPU内核，Meta则进行了全流程集成和基准测试。每个组件的性能较基准版本提升了2至5倍。

#### 交互网络（检索MoE门控网络）

优化后的门控内核性能提升5.3倍，从每秒24亿条广告提升至超过100亿条广告，达到GPU峰值HBM带宽的约85%。在这一吞吐量下，门控机制的执行时间/延迟与相同硬件上简单点积评分内核的性能相当——而模型的表达能力却显著增强。这验证了协同设计的有效性：在Tensor Core硬件上，额外的模型复杂度几乎可以忽略不计。INT8量化进一步在优化后的FP16内核基础上实现最高2倍的吞吐量提升，且精度与16位精度相当。

#### 索引匹配

通过针对性的GPU内核优化，索引匹配吞吐量提升了2倍以上，达到每秒超过1000亿条广告——这一数值是评分网络的十倍。这种性能余量意味着索引匹配可以跨多个检索路径重复运行而不会成为瓶颈。

#### 端到端GPU流水线

除了单个内核优化，协作团队对完整的检索流程进行了剖析，发现流水线组件间的数据移动——而非计算——占用了端到端延迟的显著比例。通过在索引匹配和评分模块间协同设计数据布局，消除不必要的间接寻址，团队消除了这一性能损耗。应用所有优化后，完整流水线在单个GPU服务器上的基准测试吞吐量达到当前生产环境的数倍，随着更多优化集成到生产环境，性能提升预期将进一步扩大。

Figure 3: 交互网络、索引匹配和端到端流水线的优化广告/秒性能。

#### 在下一代NVIDIA平台上的持续工作

基于上述Hopper平台的成果，我们正在将优化和协同设计工作扩展到Grace Blackwell平台。在此，我们专注于平台架构优化，以支持不同的CPU-GPU计算比例，此前的研究表明这对类似Andromeda的工作负载至关重要。我们正在评估端到端应用性能对这些比例的敏感度，分别利用Grace级CPU性能和Blackwell级GPU性能处理各自的工作负载部分。

更广泛地说，我们正在探索这些发现如何扩展到下一代平台架构，通过在CPU+GPU执行、资源比例和耦合度方面提供更大灵活性，使这些架构改进能够更有效地应用于类似Andromeda的工作负载。

这些结果证实，协同设计的检索流水线尚未达到性能上限。随着量化技术进一步释放评分吞吐量，且索引匹配性能达到评分网络的十倍以上，该架构能够吸收显著更多的模型复杂度——更深层的交互网络、更丰富的特征空间以及更多检索路径——而无需成比例的基础设施扩展。

广告检索的前进方向

此处描述的进展遵循单一原则：最大的性能提升来自于将模型、系统和硬件设计为一个集成堆栈，而非单独优化每个组件。检索MoE门控架构在无需额外服务成本的情况下实现了接近排序级别表达能力。将整个检索流水线融合到单一GPU上消除了网络和内存瓶颈。而将流水线推向硬件极限的测试证实，系统仍存在显著的性能余量。

展望未来，驱动这些成果的协同设计原则同样适用于下一代模型架构和硬件平台，已验证的性能余量将使系统在无需成比例基础设施扩展的情况下持续扩展。

对于使用Meta产品的用户而言，这意味着在相同的延迟预算内，他们将看到更相关、更优质的广告。对广告主来说，这意味着更精准的客户匹配和更高的转化率。对Meta而言，这意味着来自广告主的收入增长和成本降低，因为每块GPU现在每秒可以评估更多广告。随着Advantage+自动化和生成式AI创意工具的推动，符合条件的广告数量持续增长，Meta Andromeda的协同设计架构能够随之扩展以满足需求。

致谢

我们想感谢Gosh Arzumanyan、Habiya Beg、Andrew Bocking、Zain Brohi、Rohit Chandel、Claire Chen、Jason Chen、Wenlin Chen、Zhenyu Chen、Yuze Dai、Zhou Fang、Junjie Feng、Stephen Fitz、Chunli Fu、Yicong Fu、Xiaorui Gan、Sohan Gantala、Yingsheng Gao、Golnaz Ghasemiesfeh、Ishu Goyal、Wentian Guo、George Han、Yihan He、Jun Hu、Xuan Hu、Kun Huang、Qin Huang、Tianchen Ji、Crystal Jin、Tao Ju、Rajat Karnwal、Santanu Kolay、Michael Kwan、Ilia Lewis、Baiyu Li、Chao Li、Jim Li、Li Li、Lin Li、Liyuan Li、Mingda Li、Ted Li、Xiaotian Li、Yanyu Liang、Yue Liang、Irene Liu、Gaoxiang Liu、Jason Liu、Siqi Liu、Wei Liu、Xiao Liu、Yuheng Long、Yining Lu、Siyi Luo、Anuj Madan、Phalguna Mankar、Jiachen Mao、Yuji Mo、GP Musumeci、Guruswamy Namasivayam、Kexin Nie、Sandeep Pandey、Uladzimir Pashkevich、Clementine Plati、Heng Qiao、Hang Qu、Lei Qu、Anand Rajan、Jatin Sethi、Puneet Sharma、Ruchit Sharma、Yan Shi、Chang Shu、Sean Song、Alec Stashevsky、Matt Steiner、Zheng Sun、Nikhil Vinayak Supekar、Jim Tao、Chintan Thakkar、Tian Tong、Aleksandr Ulanov、Daksh Vasistha、Simha Venkataramaiah、Abhishek Verma、Ruud Vinke、Vidhoon Viswanathan、Sasha Vorontsov、Eric Walden、Dong Wang、Feng Wang、Haole Wang、Jeff Wang、Senhong Wang、Ye Wang、Di Wu、Haocheng Wu、Shawn Wu、Jimmy Xiang、Nan Xiao、Ruichao Xiao、Chao Xie、Yudi Xie、Fangzhou Xu、Nathan Yan、Tak Yan、Hang Yang、Song Yang、Yuhan Yang、Yavuz Yetim、Bowen Yu、Li Yu、Qifan Yuan、Xiaodong Yuan、Lin Zeng、Siqi (Cindy) Zeng、Caijie Zhang、Joanna Zhang、Min Zhang、Qing Zhang、Zhengkai Zhang、Fangyu Zou以及Meta Andromeda项目成功背后的整个v团队。