GenRecs Tokenization: Transforming Ads Recommendation at Meta with Stable Model Vocabulary

GenRecs 标记化：通过稳定模型词汇改造 Meta 广告推荐系统 - Meta 工程实践

POSTED ON

OCTOBER 19, 2026

TO

ML 应用

GenRecs 标记化：通过稳定模型词汇改造 Meta 广告推荐系统

.entry-meta

.entry-header

By

Carl Hu

,

Justin Johnson

Parish Aggarwal

Kaushik Rangadurai

Senthil Manickavelu

Tianwei Zhang

• 生成式推荐系统（GenRecs）标志着广告推荐范式的重大转变，从对每个广告单独打分，转向同时推理广告内容和用户偏好以预测最佳广告效果。利用大型语言模型（LLMs）内置的世界知识，使广告匹配更加智能精准，为广告主带来复合增长效益。

• GenRecs 标记化是实现这一目标的基础数据表示方式。不同于为每个项目维护独立 ID，GenRecs 标记化通过稳定语义词汇中的标记集来表示每个项目。

• 结合 Meta 的生成式广告模型（GEM）和自适应排序模型，GenRecs 标记化已为广告主在各场景中带来 +0.35% 的转化率提升。

GenRecs 改变了 Meta 广告推荐系统当前的预测方式。作为"生成式推荐系统"的缩写，GenRecs 将我们的方法从对每个广告候选单独打分，转变为利用大型语言模型架构同时深入推理广告内容和用户偏好。通过将预训练的世界知识与广告实际代表的语义理解相结合，系统突破了单纯点击模式匹配的局限，能够理解潜在用户偏好。这使模型能够为每个人预测最相关的广告，即使面对完全没有历史产品、广告或公司互动数据的新产品。

GenRecs 标记化是实现这一目标的基础数据表示方式。语言模型不为世界上每个概念维护独立 ID，而是构建一个小型语义标记词汇库来表示任何概念。由于标记描述了项目（如广告、产品、服务等）的本质，模型可以将从未见过互动数据的项目与熟悉项目建立关联。新推出的"徒步鞋"会继承模型已学习的该品类知识，而非从零开始建立新表示。

GenRecs 标记化为广告推荐引入了结构化词汇方法，使生成式推荐系统（GenRecs）能够应用于系统中所有项目类型（包括广告、产品、页面和像素）的检索和排序环节。

Meta 的先进广告推荐系统通过学习单个项目及其表现推动广告主持续优化。大型语言模型（LLMs）为推荐系统性能提升提供了独特机会，通过语义标记化在多个广告场景中实现改进：

• 加速新实体学习：语义标记化帮助模型通过共享概念推断相关性并建立关系。新实体包括新创建的广告、利基产品和互动有限的页面。

• 实现跨活动转移：语义标记化创建稳定词汇库，使模型能够跨广告活动传递洞察。

• 大型语言模型扩展效益：语义标记化使效益能随着大型语言模型扩展曲线的性能提升而复合增长。

• 融合世界知识：语义分词为预训练语言模型提供了直接接口，使其能够推理广告内容和用户意图。

当物品迁移至语义标记后，模型会像大语言模型一样从标记模式中学习。在生产环境中，这带来了以下优势：

• 生产环境预测准确率提升：结合 Meta 的 GEM 和自适应排序模型，GenRecs 分词使转化率提升了 0.35%¹。

• 正向反馈循环：更精准的尾部广告预测能从尾部广告中获得更优质的训练样本，从而进一步提升模型对所有广告的预测能力，形成性能提升的正向循环。

• 新的扩展方式：在生产和检索的各个阶段，标记能沿着序列长度、训练数据和模型架构改变扩展曲线。

¹ Meta 内部数据，2026 年 2 月测量。

介绍 GenRecs 分词

预训练多模态模型会读取每条广告、产品和页面，包括其文本和图像，并将物品编码为包含世界知识的嵌入向量。分词器将该内容信号与人们如何与物品互动的表示相结合，然后将结果量化为一个简短的离散标记序列。相似物品共享标记，就像相关词汇共享词根一样。例如，上一季与当前季的两款跑鞋广告存在重叠，因此新活动立即能利用模型对上一季产品的所有已学知识。

GenRecs 分词的核心是一个三阶段流程：

• 将每个物品编码到语义嵌入空间中。

• 将该嵌入分解为独立的子空间。

• 通过将每个子空间映射到代码本中的条目进行量化。

最大化广告推荐质量需要根据实体和特征语义组合这些阶段的多样化方式。例如，对于许多广告表示，GenRecs 分词使用前缀 n-gram，结合学习编码器、残差分解、学习向量代码本和标记参数化。

标记质量预测排序准确性

独立于下游排序增益，分词器模型质量可以通过以下内在指标进行评估：

• 聚类纯度：共享同一代码的物品倾向于属于同一类别，使模型每个标记的信号更清晰；

• 分布平衡：物品在语义 ID 上均匀分布，而非集中在少数几个 ID 上。

• 代码本利用率：更多代码包含至少一个物品，因此词汇表能表达更多区分信息。

在我们测试的八种分词器版本中，这些内在质量指标与下游排序预测准确性存在强相关性。在这些指标上得分更高的分词器版本，其广告模型的点击率预测准确性也更高。

分词飞轮效应

分词通过揭示大规模产品目录中的深层语义模式，最大化高流量活动的效率。对于累积印象较少的尾部广告，分词使广告推荐模型能够通过共享内容结构进行跨广告泛化，恢复冷启动性能并实现跨实体迁移。当运动品牌推出下一季的越野跑鞋时，分词使新产品及其广告能够利用模型从上一季跑鞋中学到的知识，即使在新广告发布之前。

通过提升尾部广告预测质量，分词不仅能让尾部广告被准确排序，还能改善训练数据，从而提升所有广告的预测质量。每一次通过这个自我强化飞轮的迭代都会提升模型预测的准确性。

LLM推荐的基础

分词器的改进不仅限于它被调优的模型。通过多样性损失、死码重置和对比目标优化代码本质量，当生成式推荐器使用这些分词进行训练时，会显著提升下游性能。我们在LLM原生检索方面的工作展示了这一改进的潜力。基于共享LLM编码器的双塔架构在保持高效服务性的同时，实现了最先进的检索质量，仅需经典双塔架构训练数据量的一小部分即可达到同等性能。在此基础上，我们现在正在同一词汇表基础上扩展推理感知排序。

GenRecs分词的未来方向

我们正沿着三个方向持续推进GenRecs分词向ROI最优前沿发展：

深化冷启动泛化能力：尾部广告库存是语义分词贡献最大且广告商影响最显著的领域。我们正在扩大分词覆盖范围至所有商品，为广告商提供更优性能。

将分词器质量作为首要目标：与参与度对齐的训练、统一跨实体词汇表和代码本优化是当前重点投入领域。由于内在质量指标可预测下游排序提升，我们无需等待完整模型训练周期即可迭代优化分词器。

高效服务LLM原生架构：完全语义化分词能让模型获得最丰富的广告视图，但需要在广告规模下不切实际的上下文窗口。我们正通过将压缩语义化分词与语义ID结合，在保持推理质量的同时实现可接受的延迟。

展望未来，我们正在探索今日提升广告排序的词汇表是否能统一跨界面的表示。一个跨越文本、图像、音频和视频广告内容的共享词汇空间，将使模型能通过单一表示理解用户兴趣和广告商提供的内容，而非拼接各自学习的嵌入向量。

随着推荐系统从判别式评分进化到包含生成式推理，数据基础也应从短暂ID进化为稳定语义表示。GenRecs分词提供了这一基础，将Meta广告生态系统的复杂性转化为生成模型可学习、推理和生成的词汇表。

致谢

我们想感谢崔伟峰、冷凌、Luke Simon、Hadar Ohana、Jimmy Chen、陈明海、张驰宇、Dinesh Ramasamy、Debajyoti Roy、Shawn Shi、Gajanan Golegaonkar、杨霄、Ashkan Aleali、Anuj Gargava、冯梓洲、黄立权、Frank Shyu、陈晓宇、李坤刚、孙崇林、Matt Steiner、Sandeep Pandey、Santanu Kolay、Anuj Madan、Tak Yan以及Meta广告推荐系统中首个大规模语义分词工程开发和生产化的整个团队。