Speeding up language models for travel applications
TL;DR · AI 摘要
结合知识蒸馏与Medusa框架可使语言模型速度提升10-20倍，同时保持质量，适用于旅行应用的实时需求。
核心要点
- 知识蒸馏+Medusa使11亿参数模型达到700亿参数Llama-3.1质量，速度提升10-20倍
- Smart Filters查询响应速度提升15倍，质量差距缩小90%
- AI行程规划器用户参与度提升2.9%，住宿描述生成成本降低1.4%
结构提纲
按章节快速跳转。
- §引言
旅行平台面临大模型计算成本与延迟的双重挑战。
- ·优化技术
知识蒸馏通过小模型学习大模型输出，Medusa将序列预测转为并行计算。
- ›应用案例
在Booking.com的三个功能模块验证优化效果，涵盖延迟与成本优化场景。
- ·实验结果
组合技术使模型速度提升10-20倍，质量损失低于1%，成本降低30%。
思维导图
用一张图看清主题之间的关系。
查看大纲文本（无障碍 / 无 JS 友好）
- 模型加速技术
- 知识蒸馏(KD)
- 质量损失<1%
- 速度提升6倍
- Medusa框架
- 并行计算优化
- 消除序列瓶颈
- 应用案例
- Smart Filters(15×加速)
- 行程规划器(2.9%参与度提升)
金句 / Highlights
值得收藏与分享的关键句。
知识蒸馏使学生模型质量差距缩小90%，推理速度提升6倍
Medusa框架将序列预测转换为并行计算，消除关键性能瓶颈
AI行程规划器用户参与度比GPT-3.5提升2.9%，成本降低30%
为旅行应用加速语言模型 - Amazon Science
对话式人工智能
为旅行应用加速语言模型
结合两种优化技术，可在不牺牲质量的前提下显著提升模型的速度和成本效益。
作者：
Daniel Zagyva
,
Laurens van der Maas
2026年10月29日
5分钟阅读
分享
- 复制链接
- 邮件
- X
- Line
- QZone
- 新浪微博
- 微信
分享到微信
x
收听 • 7:25分钟
关键要点
- 对于Booking.com的智能筛选功能，KD加Medusa方法使99%的查询响应速度提升了15倍；仅知识蒸馏就使学生模型与教师模型的质量差距缩小了90%以上，推理速度提升了约6倍，随后Medusa头部进一步带来2至3.6倍的速度提升。
- 在剩余的两个应用场景中，该方法使AI行程规划器的用户参与度提升了2.9%（与GPT-3.5相比），同时在成本更低的情况下，AI生成的住宿描述获得的"有用"评分增加了1.4%。
这个回答有帮助吗？
旅行平台通过回答目的地相关问题、提供酒店推荐和帮助用户规划行程，每天为数百万用户提供服务。近年来，许多平台开始采用大型语言模型（LLMs）来提升这些服务。
这些LLMs凭借其庞大的规模（通常有数十亿参数）能够提供准确且符合上下文的旅行建议。不幸的是，这种大规模模型在计算上也非常昂贵，且成本会随着客户查询数量的增加而上升。此外，这种大型模型在网页和移动应用中可能过于缓慢，即使100毫秒的延迟也可能导致客户流失和收入损失。
为了解决这些扩展性和延迟问题，我们探索了两种互补的优化技术。一种是称为知识蒸馏（KD）的压缩技术，其中较慢但强大的模型为更快的轻量级模型生成训练目标。另一种称为Medusa的框架，它将LLMs中常见的顺序下一个令牌预测（主要瓶颈）转换为并行计算。
与领先的在线旅行社Booking.com合作，我们将KD和Medusa技术应用于驱动其用户体验各个方面功能的LLMs，旨在提升延迟或成本效益。我们特别关注了三个功能：
- AI行程规划器：必须在不到一秒的时间内从对话中提取旅行偏好的对话式助手（延迟）；
- 智能筛选：实时将自然语言搜索查询转换为结构化信息筛选的功能（延迟）；
- 住宿描述生成：生成数百万房源描述的功能（成本效益）。
我们证明，结合KD和Medusa框架可以在不到三分之一成本的情况下保持最佳开源LLM的质量，同时运行速度提升高达20倍。我们的框架确保旅行平台或其他依赖LLM的应用能够实现在真实场景中快速、经济且准确的响应。我们在去年计算语言学协会（ACL）年会上展示了这些技术，并获得了工业领域最佳论文奖。
基于LLM的智能过滤器可实时将自然语言搜索查询转换为结构化信息过滤器。
我们的方法：Medusa加知识蒸馏
Medusa是一个专为减少实时应用（如聊天和代码生成）中LLM延迟设计的框架。它通过提升推理阶段的计算效率而非训练阶段来优化性能。通常，LLM按每个token（单词或单词部分）依次生成文本，而Medusa通过并行预测多个token来加速这一过程。
Medusa通过向基础LLM添加预测模块（称为Medusa头）实现这一目标，每个并行解码的token对应一个头。LLM运行的GPU硬件经过并行计算优化，因此处理并行token解码时额外开销极小。Medusa通常可提供2-4倍的速度提升，且不牺牲生成质量。
知识蒸馏通过将大型"教师"模型的知识迁移至小型"学生"模型，解决大参数模型的部署难题。通常，教师模型首先在高质量标注数据上进行训练或微调，随后用于生成额外未标注数据的预测。人工标注和机器标注数据随后合并用于训练更小的学生模型，使其学习模仿教师的行为。学生模型保留了教师模型的大部分性能，但效率显著提升，更适合实际应用场景如高流量的消费者网站。
在我们的工作中，我们从预训练基础模型开始，将KD和Medusa整合到统一的流程中。如同标准KD流程，我们首先在标注数据集上对教师模型进行微调，并利用其生成领域相关未标注文本的预测。但在学生训练阶段，我们向学生模型添加Medusa头，并在教师预测结果和标注数据的合并语料库上进行训练。这产生了一个单一紧凑模型，既继承了教师的知识，又获得了多token预测能力。
实验
我们选择参数量为11亿的TinyLlama作为学生模型，参数量为700亿的Llama-3.1作为教师模型，进行了四次渐进式实验，每次实验都基于前一次的结果。
我们首先针对三个用例（AI行程规划、智能过滤和住宿描述生成）的特定任务数据对TinyLlama进行微调。即使没有进一步优化，微调后的模型准确度也显著超过few-shot GPT-4o，证实了领域特定微调可以弥补其紧凑规模的不足。然而，它们的性能仍与参数量大得多的教师模型存在差距。
应用知识蒸馏技术——在人工标注数据和教师模型标注数据的混合数据集上训练学生模型——使性能差距缩小了90%以上，使小型模型的性能接近教师模型。更小的模型体积也让推理速度提升了约6倍，但这一速度仍不足以满足实时应用需求。
然而，添加Medusa heads使推理速度进一步提升了2至3.6倍。我们测试了两种Medusa变体：在Medusa-1方案中，我们首先对基础LLM进行微调，然后冻结其权重并单独微调Medusa heads；在Medusa-2方案中，我们通过单阶段训练同时优化所有组件。两种方案在保持质量无明显损失的情况下均实现了相近的速度提升，但Medusa-2更简洁的流水线设计使其更适合需要管理多个模型的生产团队。
成果
将知识蒸馏与Medusa-2结合使用实现了双重提升：最终模型在质量上达到700亿参数教师模型的水平，运行速度根据具体应用场景可提升10至20倍。
针对三种应用场景，我们采用上述流程分别使用领域特定数据对专用模型进行微调。在AI行程规划器场景中，用户参与度相比GPT-3.5提升了2.9%。在智能筛选场景中，99%的查询响应速度达到GPT-3.5的15倍。在AI生成住宿描述场景中，用户对"有用性"的评分提升了1.4%，且成本仅为GPT-4的三分之一。
感谢AWS同事Aleksandra Dokic以及Booking.com团队的贡献：Emmanouil Stergiadis, Eran Fainman, Ilya Gusev和Moran Beladev。
研究领域
- 对话式AI
- 搜索与信息检索
标签
- 大语言模型（LLMs）
关于作者
Daniel Zagyva是亚马逊云服务（AWS）的高级机器学习工程师。
Laurens van der Maas是亚马逊云服务（AWS）的高级应用科学家。