A startup claims it broke through a bottleneck that’s holding back LLMs

一家初创公司声称突破了阻碍大语言模型发展的瓶颈 | MIT Technology Review

人工智能

一家初创公司声称突破了阻碍大语言模型发展的瓶颈

Subquadratic 现在分享了其新模型的更多细节。但一些人仍然持怀疑态度。

By

• Will Douglas Heaven archive page

2026年6月19日

Stephanie Arnett/MIT Technology Review | Adobe Stock

执行摘要

总部位于迈阿密的人工智能初创公司 Subquadratic 上个月结束了其隐身模式，提出了一个巨大的声明。它宣布，它已经解决了一个数学瓶颈，这个瓶颈已经阻碍了大型语言模型近十年。

当时提供的细节很少，许多人并不信服。但 Subquadratic 开始提供证据，分享了对其新技术的独立评估结果。这些结果表明，该公司的声明可能值得关注。

据 Subquadratic 称，它开发了一种新型的大型语言模型，名为 SubQ，这种模型比市场上其他任何模型都更快、更便宜，且能耗更低。该公司还声称，SubQ 能够一次性处理比大多数其他模型多出 12 倍的文本，使其能够执行一系列数据密集型任务，例如分析数百份文档或整个代码库。

此外，Subquadratic 表示，SubQ 在执行关键任务（如编程）时，其表现与 Google DeepMind、OpenAI 和 Anthropic 推出的最佳模型相当。

问题是，该公司最初除了少量自行发布的测试分数外，几乎没有提供任何证据来支持其声明。而且，它尚未广泛推出 SubQ，让人们亲自尝试。

因此，Subquadratic 的声明遭到怀疑并不令人意外。人工智能工程师 Dan McAteer 在 X 上总结了总体反应：“SubQ 要么是自 Transformer 以来最大的突破……要么就是 AI Theranos。”

一个月后，该公司发布了其模型的更多信息，包括第三方公司 Appen 进行的额外独立测试结果。

Subquadratic 的联合创始人兼首席技术官 Alex Whedon 表示：“我们预计会有健康的怀疑态度。回顾来看，如果在最初的声明中就同时发布第三方基准测试结果，就能提前消除很多怀疑，这也是为什么我们花时间确保未来发布的任何结果都经过充分验证。”

Subquadratic 要求 Appen（该公司评估其他公司的模型）对 SubQ 进行测试。结果似乎支持了 Subquadratic 的许多声明。Appen 的生成式人工智能研究总监 Jeanine Sinanan-Singh 表示：“这对我来说非常令人兴奋，它验证了他们的架构。”

她补充道：“我当时想，‘哇，这可能是一个改变游戏规则的突破’，因为模型在速度和效率方面一直存在困难。但当你看到令人震惊的结果时，自己说出来时可信度其实并不高。”

SubQ 不会全面取代现有的顶级模型，但在某些任务上，它可能以远低于通常成本的速度带来巨大的提升。Subquadratic 坚持认为，从长远来看，它的突破可能会改变大语言模型的构建方式。该公司联合创始人兼首席执行官 Justin Dangel 表示：“我们希望我们开启了一个新的效率时代。我们认为几年后，没有人会再基于 Transformer 构建模型。”

注意！

要理解 Subquadratic 的主张为何如此重要，我们需要深入了解大多数大语言模型（LLM）的工作原理。LLM 的核心机制是一种称为变压器（transformer）的神经网络，它运行一种称为密集注意力（dense attention）的过程。目前的 LLM 通常会将多个变压器串联在一起。（LLM 时代的奠基论文由 Google 的研究人员于 2017 年发表，标题为 “Attention Is All You Need.”）

密集注意力的工作方式如下：当一个变压器处理一段文本时，它首先将每个词（或词的一部分，称为标记，token）用一个数字进行编码。为了捕捉整段文本的含义，它会将这些数字中的每一个与其他所有数字相乘。例如，一段 10,000 个词的文本将启动近 5000 万次单独的乘法运算。这需要大量的计算，也是 LLM 被认为是耗电量巨大的主要原因。

“如果你想总结《了不起的盖茨比》，你必须同时查看第一个词和最后一个词，然后还要查看所有其他组合，”Dangel 说道。

随着文本长度的增加，计算量会急剧上升。这是因为每个新增的数字都必须与所有之前的数字相乘。将词数翻倍，计算量大约会增加四倍，这种增长速度被称为二次扩展。

（你可以自己想象一下：画一个圆圈，然后在它的边缘标记一些点。每个点是一个标记。然后在点之间画线，以表示这两个标记的乘法。一个有五个点的圆圈将有 10 条线穿过它。如果有 10 个点，你将有 45 条线；20 个点，你将有 190 条线，依此类推。）

公司并未具体说明 SubQ 是如何选择关注哪些词语的，但选择过程是实时计算的，并且对于模型接收到的每一段文本都不同。“这有点像是他们的独门秘方，”Whedon 说道。

测试，测试

这意味着在某些任务上，SubQ 的运行速度和成本可能比大多数其他模型更快、更便宜。Appen 在一些标准测试中对 SubQ 进行了评估。在一项直接的速度测试中，该测试设定了模型理论上运行速度的基准，而不是评估模型实际能做什么，Appen 发现 SubQ 的速度是使用 FlashAttention（一种先前的稀疏注意力技术）模型的 56 倍。

在 LiveCodeBench 上，这是一个测试模型在真实竞赛中提取的编程问题上表现如何的测试，SubQ 得分 89.7%，与其它顶级编程模型处于同一水平。“这款模型在编程方面继续提供前沿水平的性能，”Appen 的 Sinanan-Singh 说道。

Subquadratic 关于成本的声明更难验证，因为 SubQ 尚未广泛推出。据 Dangel 说，运行 Anthropic 的 LLM Opus 4.6 通过 RULER 128（由 Nvidia 开发的测试，用于评估模型从大型数据集中检索信息的能力）的成本为 2600 美元。而 SubQ？“我们只花了 8 美元，”他说。

SubQ 看起来确实能够处理非常大的数据集。该模型的上下文窗口（大致相当于工作记忆）长达 1200 万个标记。目前大多数顶级模型的上下文窗口长度为 100 万个标记。在 Whedon 为我演示的一个测试中，他让 SubQ 执行一项需要它推理 400 个文档中包含的信息的任务。它在几秒钟内就完成了。当他将同样的任务交给 Perplexity（一个流行的基于 LLM 的搜索引擎）时，它却无法加载所有 400 个文档。

Appen 还进行了“针尖在干草堆中”的测试，该测试评估模型从大量数据中检索特定信息的能力。在报告中，Appen 表示，SubQ 在上下文窗口长度为 600 万和 1200 万个标记时得分 98%，“在很少有模型被测试的规模上，实现了近乎完美的长上下文检索。”

太好以至于难以置信？

尽管得分很高，但基准测试并不能全面展示模型能做什么和不能做什么。在非常特定的条件下进行测试，并不能替代在各种实际任务中运行模型。

Subquadratic 将 SubQ 定位为一款专为编程和搜索非常大的数据集而设计的模型。该公司表示，已有数万名潜在用户注册了早期访问，其中包括 500 多家企业客户。但目前等待名单很长，而且到目前为止，只有很少的人获得了访问权限。Subquadratic 的回应是，它是一家新成立的小公司，资源有限，无法同时为太多人提供服务。

在更多人能够接触到该模型并亲自尝试之前，持一些怀疑态度是合理的。一个令人困扰的问题是，Subquadratic 从中文开源模型 Qwen 的一个版本中复用了权重（在训练过程中设置的值，决定了模型的行为），以此来启动 SubQ，而不是从头开始训练。这在模型开发者中是常见的做法，但它与 Subquadratic 声称的“完全重新发明了大语言模型的工作方式”这一说法相冲突。

“他们可能确实构建了某种真实且有用的东西，”Depue 说道。“但目前的公开证据还不足以支持他们解决了二次注意力瓶颈这一更强的说法。”

与此同时，Subquadratic联合创始人Whedon坚持认为，做出与众不同的东西是他唯一的选择。如果你想构建一个具有竞争力的模型，就必须要有新想法，他表示：“与OpenAI相比，我们面临的压力更大。”

深度解析

人工智能

目前人工智能领域值得关注的10件事

《麻省理工科技评论》对2026年人工智能领域中10项关键技术、新兴趋势、大胆构想和强大运动的权威概述。

• Amy Nordrum 归档页面

一项新的美国手机网络面向基督徒，旨在阻止色情和与性别相关的内容

该手机套餐将于下周在T-Mobile网络上推出，采取“核武级”方式保障网络安全。

• James O'Donnell 归档页面

马斯克与阿尔特曼第一周：马斯克称自己被骗，警告AI可能杀死我们所有人，并承认xAI提炼了OpenAI的模型

马斯克保持冷静，而OpenAI的律师则用尖锐的问题向他施压，质问他起诉公司的动机。

• Michelle Kim 归档页面

深度思维新模型为何重要，有三个原因

备受期待的V4版本更加高效，对中国的芯片制造商来说是个好消息。

• Caiwei Chen 归档页面

保持联系

插图由Rose Wong绘制

获取《麻省理工科技评论》的最新更新

发现特别优惠、热门故事、即将举行的活动等更多信息。