Designing an AI serving harness built to last

设计一个经久耐用的AI服务框架 | MIT技术评论

赞助

人工智能

设计一个经久耐用的AI服务框架

围绕AI模型的工程系统在越来越多的方面决定了其智能能否可靠、经济且大规模地交付。

作者：

• Anand Logani 档案页面

2026年10月22日

由EXL提供

企业AI的下一个竞争优势与其选择的模型关系不大，而与其围绕模型构建的系统密切相关。

这是一个重要的转变。过去几年，AI讨论的焦点主要集中在模型能力上：更大的模型、更强的推理能力、更大的上下文窗口、更高的基准测试得分。这些进展令人瞩目。但随着AI从实验转向生产，企业领导者面临的问题发生了变化——问题不再是“模型能做什么”，而是“我们能否可靠、经济且大规模地交付这种智能”。

越来越多的答案取决于服务框架——围绕模型的工程系统，包括架构、内存管理、调度和优化决策，这些决定了模型智能如何高效地转化为生产能力。

对技术高管而言，这改变了AI投资的方向——以及他们对支撑系统的架构应提出的要求。

从工作负载出发，而非模型

不存在普遍适用的“最佳”模型或AI架构。只有针对业务问题的正确解决方案。

一个优化为快速响应的客户助理与一个可整夜运行的文档处理流水线有着根本不同的需求。内部知识应用与高并发客户服务平台可能使用相同的底层模型，但需要截然不同的服务架构。

工作负载定义了约束条件。约束条件应决定架构设计。

这听起来简单，但与许多组织早期AI部署的方式相悖。在概念验证阶段，模型准确性自然主导讨论。当进入生产环境时，会出现一些在用户数量较少时更容易被忽视的约束条件：延迟、并发量、内存压力、GPU利用率、基础设施成本和不可预测的流量。

如果一个模型虽然能产生略微更好的答案，但使推理成本翻倍或无法满足应用的延迟要求，它未必是更优的生产选择。并非所有工作负载都需要法拉利。有时更聪明的工程决策是选择一个能精准满足业务需求的模型，而非为不需要的能力买单。

目标应是为工作负载部署恰到好处的智能。这使服务架构超越了纯工程问题，成为投资决策：在哪些方面投入计算资源，在哪些方面优化，以及在哪些地方额外的模型能力根本不值得成本投入。

工程系统，而非模型

当AI进入生产阶段，看似孤立的工程决策开始相互影响。服务架构影响内存使用，内存管理影响并发能力，并发能力塑造批处理和调度，而调度又影响GPU利用率和延迟。

只有这样，量化、推测解码或优化的注意力机制等技术才能充分发挥其价值。这种相互依赖关系至关重要，因为组织可能在未解决限制性能的关键约束时，就投入大量资源升级基础设施。

GPU内存就是一个典型例子。在推理过程中，模型的权重保持不变，但随着活跃请求和上下文长度的增加，键值（KV）缓存会持续增长。当并发量提升时，即使计算资源仍有余量，系统也可能因GPU内存不足而无法正常运行。在不了解瓶颈所在的情况下盲目增加算力，只会让系统变得更昂贵且效率更低。

对技术领导者而言，这一教训远超内存管理范畴：优化前先进行测量。识别主导性约束，解决它，测量结果，再判断是否出现新的瓶颈。重复这一过程。

不要把优化技术当作收集宝可梦卡：目标不是收集所有技术。关键在于应用能消除最大影响约束的技术，同时满足应用的业务需求。

这对技术领导者提出了不同的治理问题。与其询问组织能部署哪些AI能力，不如思考哪些约束阻碍了已验证能力与可持续商业价值之间的转化。

为变化构建，而非当前基准

投入服务框架的最重要原因或许是：今天的领先模型很可能不是明天的主流。模型会持续改进，硬件将不断演进，新的优化技术也会不断出现。围绕它们的架构应让这些变化更容易被吸收，而不是迫使企业每次技术进步都重新构建AI平台。

这使适应性成为AI战略越来越重要的成果。

那些围绕工作负载需求、明确的服务水平目标和可衡量的生产经济效益构建服务系统的组织，能够将新模型和基础设施与企业实际需求进行对比评估。模型变更可以转化为评估和配置决策，而非架构重置。

EXL研究人员在EXL《构建框架》系列文章中深入探讨了这些生产挑战。该系列分析了服务架构、内存管理、调度和推理优化如何协同工作，使企业AI更高效、可扩展且经济可持续。

越来越多的企业能够接触到相同的模型。可持续的差异化来自于组织将这些智能转化为商业成果的效率。

模型提供智能，框架决定了企业能否可靠、经济且规模化地实现成果。

此内容由EXL制作，非MIT Technology Review编辑团队撰写。

深度解析

人工智能

不要被误导——大语言模型并不推理

AlphaGo与李世石对弈十周年之际，如今的AI仍未触及让那次胜利成为可能的底层机制。

• Thore Graepel 专题页面

“我们之前理解错了”：颠覆AI世界的爆炸性主张

独家专访Nick Cammarata，这位撰写26000字病毒式博客文章的研究者让AI安全领域人士为之振奋。

• Will Douglas Heaven 专题页面

不要被这个AI热潮误导

关于AGI和新能力的夸张说法在仔细审视下很快就会不攻自破。

• Timnit Gebru 档案页面

• Emily M. Bender 档案页面

OpenAI代理入侵Hugging Face事件的内部细节

一项新的OpenAI研究报告发现，基础模型因作弊行为和相互通信而获得了奖励。

• Grace Huckins 档案页面

保持联系

插图由 Rose Wong 绘制

获取MIT Technology Review的最新动态

发现特别优惠、头条新闻、即将举行的活动等更多信息。