下一个AI瓶颈不是模型：是推理系统
TL;DR · AI 摘要
文章指出AI模型推理系统成为新的瓶颈。
核心要点
- 推理系统性能影响AI部署效率
- 现有工具对推理优化支持不足
- 需要更高效的推理框架
结构提纲
按章节快速跳转。
思维导图
用一张图看清主题之间的关系。
查看大纲文本（无障碍 / 无 JS 友好）
- AI推理系统瓶颈
- 问题现状
- 性能瓶颈
- 现有工具
- 支持不足
- 解决方案
- 需要高效框架
金句 / Highlights
值得收藏与分享的关键句。
文章指出AI模型推理系统已成为新的瓶颈，强调优化推理基础设施的重要性。
下一个 AI 瓶颈不是模型：而是推理系统 | Towards Data Science
我们重视您的隐私
我们使用 Cookie 来增强您的浏览体验，提供个性化广告或内容，并分析我们的流量。通过点击“接受全部”，您即同意我们使用 Cookie。
自定义 拒绝全部 接受全部
自定义同意偏好 
我们使用 Cookie 来帮助您高效导航并执行某些功能。您可以在每个同意类别的下方找到有关所有 Cookie 的详细信息。
被归类为“必要”的 Cookie 会存储在您的浏览器中，因为它们对于启用站点的基本功能至关重要。...显示更多
必要 始终激活
必要的 Cookie 是用于启用该站点基本功能所必需的，例如提供安全登录或调整您的同意偏好设置。这些 Cookie 不会存储任何个人可识别的数据。
- Cookie BCTempID
- 有效期 10 分钟
- 描述 无可用描述。
- Cookie __cf_bm
- 有效期 1 小时
- 描述 此 Cookie 由 Cloudflare 设置，用于支持 Cloudflare Bot Management。
- Cookie AWSALBCORS
- 有效期 7 天
- 描述 Amazon Web Services 设置此 Cookie 以进行负载均衡。
- Cookie _cfuvid
- 有效期 会话期间
- 描述 Cloudflare 设置此 Cookie 以跨会话跟踪用户，从而通过保持会话一致性并提供个性化服务来优化用户体验。
- Cookie li_gc
- 有效期 6 个月
- 描述 LinkedIn 设置此 Cookie 以存储访问者关于非必要用途使用 Cookie 的同意状态。
- Cookie __hssrc
- 有效期 会话期间
- 描述 Hubspot 在更改会话 Cookie 时设置此 Cookie。__hssrc Cookie 设置为 1 表示用户已重启浏览器，如果不存在该 Cookie，则假定为新会话。
- Cookie __hssc
- 有效期 1 小时
- 描述 HubSpot 设置此 Cookie 以跟踪会话并确定是否应在 __hstc Cookie 中递增会话编号和时间戳。
- Cookie wpEmojiSettingsSupports
- 有效期 会话期间
- 描述 WordPress 在用户与 WordPress 站点上的表情符号交互时设置此 Cookie。它有助于确定用户的浏览器是否可以正确显示表情符号。
- Cookie BCSessionID
- 有效期 1 年 1 个月 4 天
- 描述 Blueconic 设置此 Cookie 作为 BlueConic 配置文件的唯一标识符。
- Cookie _octo
- 有效期 1 年
- 描述 无可用描述。
- Cookie logged_in
- 有效期 1 年
- 描述 无可用描述。
- Cookie __Secure-YEC
- 有效期 已过期
- 描述 YouTube 设置此 Cookie 以存储用户嵌入式 YouTube 视频播放器的偏好设置。
- Cookie __eoi
- 有效期 6 个月
- 描述 当前无可用描述。
- Cookie AWSALBTGCORS
- 有效期 7 天
- 描述 无可用描述。
- Cookie login-status-p
- 有效期 已过期
- 描述 当前无可用描述。
- Cookie AWSALBTG
- 有效期 7 天
- 描述 无可用描述。
- Cookie csrf_token
- 有效期 会话期间
- 描述 无可用描述。
- Cookie token_v2
- 有效期 1 天
- 描述 当前无可用描述。
- Cookie D
- 有效期 1 年
- 描述 当前无可用描述。
- Cookie PHPSESSID
- 有效期 会话期间
- 描述 此 Cookie 是 PHP 应用程序的原生 Cookie。Cookie 存储并识别用户的唯一会话 ID，以管理网站上的用户会话。此 Cookie 是会话 Cookie，在关闭所有浏览器窗口时将被删除。
- Cookie VISITOR_PRIVACY_METADATA
- 有效期 6 个月
- 描述 YouTube 设置此 Cookie 以存储用户对当前域的 Cookie 同意状态。
- Cookie cookietest
- 有效期 会话期间
- 描述 cookietest Cookie 通常用于确定用户的浏览器是否接受 Cookie，这对于网站功能和用户体验至关重要。
- Cookie __Host-airtable-session
- 有效期 1 年
- 描述 此 Cookie 用于使我们能够集成 Airtable 的服务。
- Cookie __Host-airtable-session.sig
- 有效期 1 年
- 描述 此 Cookie 用于使我们能够集成 Airtable 的服务。
- Cookie m
- 有效期 1 年 1 个月 4 天
- 描述 Stripe 设置此 Cookie 以实现欺诈预防目的。它识别用于访问网站的设备，从而使网站能够相应地进行格式化。
- Cookie BIGipServer*
- 有效期 会话期间
- 描述 Marketo 设置此 Cookie 以收集有关用户在线活动的信息，并构建其兴趣档案，以便提供与用户相关的广告。
- Cookie __cfruid
- 有效期 会话期间
- 描述 Cloudflare 设置此 Cookie 以识别可信的网络流量。
- Cookie _GRECAPTCHA
- 有效期 6 个月
- 描述 Google Recaptcha 服务设置此 Cookie 以识别机器人，从而保护网站免受恶意垃圾邮件攻击。
- Cookie __Secure-YNID
- 有效期 6 个月
- 描述 Google Cookie 用于保护用户安全并防止欺诈，尤其是在登录过程中。
- Cookie cookieyes-consent
- Duration 1 year
- Description CookieYes 设置此 Cookie 以记住用户的同意偏好，以便在用户后续访问此网站时尊重其偏好。它不会收集或存储任何关于网站访问者的个人信息。
功能性
- [x]
功能性 Cookie 帮助实现某些功能，例如在社交媒体平台上分享网站内容、收集反馈和其他第三方功能。
- Cookie lidc
- Duration 1 day
- Description LinkedIn 设置 lidc Cookie 以促进数据中心的选择。
- Cookie brw
- Duration 1 year
- Description 暂无描述。
- Cookie brwConsent
- Duration 5 minutes
- Description 描述暂不可用。
- Cookie WMF-Uniq
- Duration 1 year
- Description 描述暂不可用。
- Cookie loom_anon_comment
- Duration 1 year
- Description 暂无描述。
- Cookie loom_referral_video
- Duration session
- Description 描述暂不可用。
- Cookie VISITOR_INFO1_LIVE
- Duration 6 months
- Description YouTube 设置的 Cookie，用于测量带宽，以确定用户获得的是新界面还是旧界面播放器。
- Cookie yt-remote-connected-devices
- Duration Never Expires
- Description YouTube 设置此 Cookie 以使用嵌入式 YouTube 视频存储用户的视频偏好。
- Cookie ytidb::LAST_RESULT_ENTRY_KEY
- Duration Never Expires
- Description Cookie ytidb::LAST_RESULT_ENTRY_KEY 由 YouTube 使用，用于存储用户点击的最后一个搜索结果条目。此信息用于通过提供更相关的搜索结果来改善用户体验。
- Cookie yt-remote-device-id
- Duration Never Expires
- Description YouTube 设置此 Cookie 以使用嵌入式 YouTube 视频存储用户的视频偏好。
- Cookie yt-remote-session-name
- Duration session
- Description yt-remote-session-name Cookie 用于通过嵌入式 YouTube 视频存储用户的视频播放器偏好。
- Cookie yt-remote-fast-check-period
- Duration session
- Description yt-remote-fast-check-period Cookie 用于通过嵌入式 YouTube 视频存储用户的视频播放器偏好。
- Cookie yt-remote-session-app
- Duration session
- Description yt-remote-session-app Cookie 用于通过嵌入式 YouTube 视频播放器存储用户偏好和界面信息。
- Cookie yt-remote-cast-available
- Duration session
- Description yt-remote-cast-available Cookie 用于存储用户关于其 YouTube 视频播放器是否可用投射功能的偏好。
- Cookie yt-remote-cast-installed
- Duration session
- Description yt-remote-cast-installed Cookie 用于通过嵌入式 YouTube 视频存储用户的视频播放器偏好。
- Cookie cp_session
- Duration 3 months
- Description Codepen 在网站的帮助系统中设置此 Cookie。
- Cookie loid
- Duration 1 year 1 month 4 days
- Description 此 Cookie 由 Reddit 设置，允许从网站分享内容到社交媒体平台。
分析
- [x]
分析性 Cookie 用于了解访问者如何与网站互动。这些 Cookie 提供诸如访客数量、跳出率、流量来源等指标的信息。
- Cookie __hstc
- Duration 6 months
- Description Hubspot 设置此主要 Cookie 以跟踪访问者。它包含域名、初始时间戳（首次访问）、最后时间戳（上次访问）、当前时间戳（本次访问）以及会话编号（每次后续会话递增）。
- Cookie hubspotutk
- Duration 6 months
- Description HubSpot 设置此 Cookie 以跟踪网站访问者。提交表单时会传递此 Cookie，并在去重联系人时使用。
- Cookie _ga
- Duration 1 year 1 month 4 days
- Description Google Analytics 设置此 Cookie 以计算访问者、会话和活动数据并跟踪网站使用情况以生成分析报告。Cookie 匿名存储信息，并分配一个随机生成的数字以识别唯一访问者。
- Cookie _ga_*
- Duration 1 year 1 month 4 days
- Description Google Analytics 设置此 Cookie 以存储和统计页面浏览量。
- Cookie __Host-psifi.analyticsTrace
- Duration 6 hours
- Description 描述暂不可用。
- Cookie __Host-psifi.analyticsTraceV2
- Duration 6 hours
- Description 描述暂不可用。
- Cookie _gh_sess
- Duration session
- Description GitHub 设置此 Cookie 以在页面之间临时保存应用程序和框架状态，例如用户在多步骤表单中的步骤。
- Cookie YSC
- Duration session
- Description YSC Cookie 由 Youtube 设置，用于跟踪 Youtube 页面上嵌入视频的观看次数。
- Cookie ajs_anonymous_id
- Duration 1 year
- Description Segment 设置此 Cookie 以通过跟踪用户是否之前访问过某个站点来统计访问该站点的人数。
- Cookie vuid
- Duration 1 year 1 month 4 days
- Description Vimeo 安装此 Cookie 以通过设置唯一 ID 收集跟踪信息并在网站上嵌入视频。
性能
- [x]
性能 Cookie 用于理解和分析网站的关键性能指标，从而为访问者提供更好的用户体验。
- Cookie AWSALB
- Duration 7 days
- Description AWSALB 是 Amazon Web Services 设置的应用程序负载均衡器 Cookie，用于将会话映射到目标。
- Cookie acq
- Duration past
- Description 描述暂不可用。
- Cookie acq.sig
- 持续时间 past
- 描述 当前无描述。
- Cookie ptc
- 持续时间 2 年
- 描述 无描述。
广告
- [x]
广告 Cookie 用于根据您之前访问的页面为访问者提供定制化广告，并分析广告活动的有效性。
- Cookie muc_ads
- 持续时间 1 年 1 个月 4 天
- 描述 Twitter 设置此 Cookie 以收集用户行为和互动数据，从而优化网站。
- Cookie guest_id_marketing
- 持续时间 1 年 1 个月 4 天
- 描述 Twitter 设置此 Cookie 以识别和跟踪网站访问者。
- Cookie guest_id_ads
- 持续时间 1 年 1 个月 4 天
- 描述 Twitter 设置此 Cookie 以识别和跟踪网站访问者。
- Cookie personalization_id
- 持续时间 1 年 1 个月 4 天
- 描述 Twitter 设置此 Cookie 以集成和共享社交媒体功能，并存储有关用户如何使用网站的信息，用于跟踪和定位。
- Cookie guest_id
- 持续时间 1 年 1 个月 4 天
- 描述 Twitter 设置此 Cookie 以识别和跟踪网站访问者。它会注册用户是否已登录到 Twitter 平台，并收集有关广告偏好的信息。
- Cookie bcookie
- 持续时间 1 年
- 描述 LinkedIn 从 LinkedIn 分享按钮和广告标签中设置此 Cookie 以识别浏览器 ID。
- Cookie __Secure-ROLLOUT_TOKEN
- 持续时间 6 个月
- 描述 YouTube 设置此 Cookie 以管理功能推出和实验。它帮助 Google 控制哪些新功能或界面更改在测试和分阶段推出期间向用户展示，确保实验期间用户的体验一致性。
- Cookie yt.innertube::nextId
- 持续时间 永不过期
- 描述 YouTube 设置此 Cookie 以注册一个唯一 ID，用于存储用户观看过的 YouTube 视频的数据。
- Cookie yt.innertube::requests
- 持续时间 永不过期
- 描述 YouTube 设置此 Cookie 以注册一个唯一 ID，用于存储用户观看过的 YouTube 视频的数据。
- Cookie session_tracker
- 持续时间 会话
- 描述 此 Cookie 由 Reddit 设置。此 Cookie 用于识别可信的网络流量，并帮助在网站上进行广告投放。
- Cookie edgebucket
- 持续时间 会话
- 描述 Reddit 设置此 Cookie 以保存登录 Reddit 用户的信息，用于广告推荐和更新内容。
- Cookie did
- 持续时间 1 年
- 描述 Arbor 设置此 Cookie 以向站点访问者展示定向广告。此 Cookie 在 2 个月或 1 年后过期。
未分类
其他未分类的 Cookie 是正在分析但尚未归类到某一类别中的 Cookie。
没有 Cookie 可显示。
拒绝全部 保存我的偏好 接受全部
向全球数据专业人士社区发布 AI、ML 和数据科学的见解。
- * *
切换移动端导航
切换搜索
搜索
下一个 AI 瓶颈不是模型：而是推理系统
企业级 AI 系统正进入一个阶段，在这个阶段中推理设计与模型能力本身一样重要。
2026 年 5 月 14 日
5 分钟阅读
分享
让我们来谈谈我在与企业 AI 团队合作时经常看到的一个现象：当出现问题时，他们几乎总是将责任归咎于模型。这是可以理解的，但通常也是错误的，并且最终代价高昂。
常见的情况如下。输出结果不一致；当有人提出问题时，第一反应就是责怪模型。可能需要更多的训练数据、再进行一次微调，或者换一个基础模型。经过数周的工作后，问题依然存在或者只发生了轻微的变化。而真正的症结所在——检索层、上下文窗口或任务路由方式——却从未被检查。
我见过太多次这种情况，以至于我认为值得写一篇文章来讨论。
微调是有用的，但容易被过度使用
在许多情况下，做一些调整仍然是值得的。如果需要领域适应、语气对齐或安全校准，那应该成为工作流程的一部分。我不是说你不应该使用它。
问题在于，它成为了任何问题的自动答案，即使它并不是合适的工具。部分原因是因为这样做让人感觉像是在高效地工作。你启动一个微调任务，显然会发生一些变化，并且结果会有前后对比。看起来你在解决问题，但实际上并没有。
一个例子是合同分析系统，我曾观察到一个团队对其进行调试。该系统对复杂文档的输出不可靠，最初的假设是模型缺乏法律推理能力。因此他们进行了几次微调迭代，但问题依然存在。最终，有人注意到检索层多次执行相同的检索并将它们添加到上下文窗口中。模型试图处理大量重复的低价值文本。他们调整了检索排名并引入了上下文压缩，系统最终变得更好了。
模型本身从未改变。而且，这种情况相当常见。
微调与推理循环（作者供图）
推理时间发生了什么
长期以来，推理只是使用模型的一个步骤。训练才是所有有趣决策发生的地方。但现在这种情况正在改变。
其中一个原因是，一些模型开始将更多计算资源分配给生成过程，而不是将其整合到训练过程中（参考文献）。另一个因素是研究表明，像自我检查或重写响应这样的行为可以通过强化学习来学习。这两点都表明推理本身是一个可以提升性能的地方。
我现在看到的是工程团队开始将推理视为可以设计的东西，而不仅仅是一个固定的步骤。这项任务需要多少推理深度？内存是如何管理的？检索是如何优先级化的？这些问题正逐渐成为现实，而不再是默认不考虑的因素。
资源分配问题
经常被低估的是，大多数 AI 系统对所有查询采用统一的方法。一个关于账户状态的简单问题和一个多步骤的合规流程遵循相同的处理方式，后者需要在多个冲突的文档中协调信息。同样的成本，同样的过程，同样的计算。
当你仔细思考时，这似乎并不合理。在所有其他工程应用中，资源会根据所需的工作量进行分配。一些团队已经开始在 AI 领域这样做，将较轻的推理任务分配到较轻的工作负载上，并将较重的计算分配给真正需要的任务。这样不仅经济性提高了，而且更困难的任务质量也得到了改善，因为你不再对其资源不足。
这些系统比人们意识到的更加分层
当你深入研究今天的生产 AI 系统时，通常它不仅仅是单一模型回答问题。它通常伴随着检索步骤、排名步骤、可能的验证步骤和摘要步骤；多个步骤协同工作以生成最终输出。这不仅关乎底层模型的能力，还关乎所有这些组件如何协同工作以产生输出。
如果检索排名器没有正确校准，它会产生类似于模型错误的输出。一个无限制增长的上下文窗口会微妙地影响推理质量，但不会出现明显的失败。这些问题属于系统问题，而非模型问题，需要用系统思维来解决。
这种思维方式的实际应用示例是推测解码。其概念是较小的模型生成候选输出，较大的模型对其进行验证。这一技术最初是为了优化延迟，但实际上它是将推理分布在多个组件之间，而不是期望单个模型完成所有任务的一个例子。使用相同基础模型但不同推理架构的两个团队在生产中可能会得到截然不同的结果。
生产 AI 推理管道（作者供图）
内存正在成为一个真正的问题
更大的上下文窗口虽然有用，但超过某个点后，更多的上下文并不会提升推理能力，反而会降低它。检索变得更嘈杂，模型跟踪效果变差，推理成本上升。运行大规模 AI 的团队正在花费大量时间研究分页注意力和上下文压缩等技术，这些技术虽然不那么令人兴奋，但在运营中非常重要。
目标是拥有正确的上下文，但不要过多，并且要很好地管理它。
总结
模型选择的重要性已经不如从前。现在可以从多个供应商获得功能强大的基础模型，对于大多数用例来说，能力差距已经缩小。实际上决定部署是否成功的是围绕模型的基础设施，检索如何调整，计算如何分配，以及系统如何随着时间处理边缘情况。
几年后处于有利地位的团队将是那些认真对待推理架构设计的团队，而不是假设一个足够好的模型就能解决所有其他问题的团队。根据我的经验，通常情况下，模型并不能解决一切。
- * *
撰写者
Shafeeq Ur Rahaman
分享本文
Towards Data Science 是一个社区出版物。提交你的见解，以接触我们的全球读者，并通过 TDS 作者支付计划获得收益。
相关文章
你的数据科学和人工智能之家。世界上领先的数据科学、数据分析、数据工程、机器学习和人工智能专业人士的出版物。
© Insight Media Group, LLC 2026
订阅我们的通讯
如果调整浏览器窗口大小，此页面的部分区域可能会移动。请确保检查标题和文档顺序。
#### 推荐文章
关闭
- 
- 
- 
- 