How to Build Models Without Language, with Logical Intelligence

如何用逻辑智能构建无语言模型

ByteByteGo

2026年10月12日

更多AI代码。更多CI。更高的CI账单。（赞助）

AI代理编写了更多代码。更多代码意味着更多提交、更多CI运行和更高的CI账单。对于许多团队来说，GitHub Actions现在已成为瓶颈。

WarpBuild解决了这个问题。Braintrust、Raycast、OpenRouter、Comcast和Jane Street的团队都在其上运行CI。

• 速度提升一倍，成本降低一半
• 仅需修改runs-on一行，无需其他迁移操作
• 支持x86-64和ARM64架构下的Linux、macOS和Windows
• 无限制的macOS并发执行

使用代码START50可获得50美元免费额度

获取50美元免费额度

今年早些时候，一个公开的数独实验中发生了不寻常的事情。根据逻辑智能（Logical Intelligence）的报告，包括OpenAI的GPT-5.2、Claude Opus 4.5和Sonnet 4.5、Gemini 3 Pro以及DeepSeek V3.2等前沿大语言模型（LLMs）专家组，仅解决了2%的谜题，并在API调用上花费了约11,000美元。有趣的是，一个名为Kona的模型，体积仅为这些模型的约千分之一，仅用4美元的GPU时间就解决了96.2%的谜题[1]。

乍看之下，这个演示结果似乎奇怪或出人意料，因为数独并不是一项特别难的游戏。一个十岁的孩子经过一些练习就能学会规则并解决谜题。规则明确，几乎没有歧义。这是LLMs应该轻松处理的问题类型。

这种差距并不真正体现在数独这样的谜题上。LLMs是我们围绕语言构建的最强大的AI模型，但许多任务需要超越语言的智能。事实上，我们每天面临的大多数任务都不是语言问题。有些需要空间或维度推理，有些可能依赖逻辑、规划或情感意识。我们所做的很多事情甚至无法完全用语言表达。能够进行外推、创造而非重复，这才是让智能显得生动而非机械的特质[2]。

图灵奖得主、深度学习先驱Yann LeCun多年来一直主张，仅靠文本无法让我们获得真正的智能。

Yann LeCun的X帖子

我们与逻辑智能（Logical Intelligence）的创始人兼CEO Eve Bodnia 进行了交谈，以了解她的团队构建的模型（如Kona这样的能量基推理模型（EBRMs））为何在数独等约束问题上表现如此出色，并了解她的愿景以及构建真正智能系统的新范式。感谢Eve抽出时间详细向我们讲解这项工作。

在本文中，你将了解到：

• LLM在约束问题上失败的原因。
• 基于能量的潜在推理意味着什么，其工作原理。
• EBRMs能做什么和不能做什么，以及为何像Kona这样的模型在某些任务上表现如此出色。
• 为什么使用EBRMs的潜在推理更可靠，以及在这些系统中验证和安全性的工作方式有何不同。
• 行业及驱动其发展的硬件可能的发展方向。

语言模型及其局限性

从最基本的角度来看，大型语言模型是一个设计用于预测序列中下一个项目的系统。它读取作为输入的先前标记序列，然后选择最可能的标记作为输出以延续该序列。

该设计的目标是实现语言的掌握。由于人类使用语言进行交流和知识传递，而大量人类知识以书面形式记录，如果模型能够通过训练文本掌握语言分布，文本中所包含的人类知识和推理能力将随之被掌握。

近年来，随着训练文本量不断增加且模型规模持续扩大，大型语言模型（LLMs）的效果取得了显著进展。生成的输出远不止简单的自动补全功能。如今，LLMs在翻译、摘要等语言操作任务中表现出色，甚至能够生成代码。

但并非所有问题都以语言为核心。对于需要其他类型智能的问题，是否存在比LLMs更有效的替代方案？为了说明这一点，我们首先观察LLM如何尝试解决数独问题，然后介绍Kona采用的替代方法。

游戏规则明确且简单。数独网格是一个包含81个单元格的正方形，分为9个3×3的子格。玩家必须将数字1到9填入所有单元格，同时满足以下三个规则：

• 每个数字在每一行中只能出现一次。
• 每个数字在每一列中只能出现一次。
• 每个数字在每个3×3子格中只能出现一次。

LLM通过逐个生成标记（token）来尝试解决数独问题，具体表现为每次将一个数字填入一个单元格。在生成标记前，模型会读取整个网格，然后基于之前生成的标记进行选择。LLM通过这种方式逐个标记地逐步完成整个网格。

但LLM从未擅长解决数独这类问题。演示中表现最好的LLM成功率仅有6.9%，93%的情况下都会失败[1]。

LLM难以解决数独问题有两个主要原因。第一个原因是LLM从左到右生成标记。数字的放置顺序取决于提示内容。假设网格按行依次书写，数字会先填入第1行，然后是第2行，依此类推。如果模型在第2行放置了一个数字，而该数字与后续在第7行同一列需要的数字冲突，就会违反列规则。但由于是从左到右生成，直到到达第7行才会发现冲突。一旦发现问题，模型必须回溯到第2行的错误位置，重新生成所有内容。任何其他顺序都会遇到相同问题：模型一旦早期做出承诺，后续无法在不重新生成的情况下进行修改。因此，LLM的工作方式使得纠正早期错误的成本很高。

LLM难以解决数独的第二个原因是其输出是离散的。标记（如数字1到9）是LLM学习或生成的最小单位。对于网格上的某个单元格，其中填入的数字要么正确要么错误，没有逐步接近正确答案的可能。唯一的选择是丢弃该数字，从相同的离散集合中重新采样一个新数字。

数独只是这些问题存在的一个例子。从左到右的生成方式和离散输出实际上是大型语言模型（LLMs）的固有局限性[3]，当候选答案需要同时满足多个约束条件时，这些局限性就会显现出来。国际象棋和围棋这类游戏中，每个选择都与其他选择相互依赖，属于典型的约束满足问题。芯片设计、工业控制、能源网络优化和交易系统等活动中，都涉及相互关联的约束条件。解决约束满足问题需要逻辑推理，而不仅仅是语言能力。

通过数独的例子，我们已经证明语言并非解决所有问题的最有效方式。再举一个例子：当你阅读这些句子时，你的大脑正在同时处理多项任务。除了阅读文字，你可能还被房间里的噪音困扰，同时决定不久后该起身去煮下一杯咖啡。这些行为无需语言描述即可执行。你一边阅读一边坐直身体，读完这句话后立即去煮咖啡。

你的大脑是一个能同时处理多项任务的模型，这些任务并不都需要语言。除了阅读时接收文字信息，你的大脑还会持续扫描周围环境。它根据接收到的各种输入进行预测并采取行动，这完全不需要语言参与。

大型语言模型（LLMs）通过操纵和重新组合已记录的事实来生成内容，熟练的重组可能看起来像是新知识。这就是为什么LLMs在数学领域表现优异，因为数学工作很大程度上依赖于已知事实的组合。语言确实是知识发展的强大工具，但语言本身并非智能，也无法提供所有答案。

根据Bodnia的观点，在许多情况下，我们真正需要的是外推能力：将一个地方学到的规则应用到另一个地方的能力。

我们的大脑以抽象方式进行思考，而语言则充当大脑之间的用户界面。因此，语言是智能的接口，而非智能本身。

如果语言只是接口，那么我们如何建模其背后的智能呢？

基于能量模型的潜在推理

潜在推理模型与LLMs的不同之处在于，它们处理的是潜在变量而非离散标记。逻辑智能（Logical Intelligence）使用一种称为基于能量推理模型（EBRMs）的潜在推理模型。本节将描述基于能量的模型及其训练方式，然后解释它们如何生成答案。接着我们将探讨推理是如何在潜在空间中发展的。（请注意，此处描述的技术细节是基于能量推理的一般要求，而非Kona内部实现的具体说明。）

什么是基于能量的模型？

与语言模型仅作为生成器（每次输入一个标记并生成输出）不同，基于能量的模型（EBM）并不生成任何内容。相反，EBM学习一个函数E(x, y)，该函数接收一个问题x和一个候选答案y，并返回一个称为能量的数值。能量值越低，答案与问题的一致性越高；能量值越高，一致性越低[4]。对于给定问题，可达到的最低能量值表示正确答案。

EBM的神经网络在所有可能的答案上定义了一个景观，其中最佳答案位于山谷中，最差答案位于峰顶，而坡度上分布着各种中间答案，随着向山谷方向移动，答案的正确性逐渐提高。接下来的两个部分将介绍如何学习这个景观（训练过程）以及如何在这个景观中找到答案（推理过程）。

EBM的训练方式

训练EBM的目标是让模型为正确答案分配较低的能量值，为错误答案分配较高的能量值。这是通过使用标准的对比损失函数实现的，该函数将问题的错误答案与正确答案进行比较[4]。

考虑一个问题x及其正确答案y+，将其与同一问题的错误答案y-配对。EBM会计算两者的能量值，对比损失函数要求E(x, y+)比E(x, y-)低一定幅度。如果已存在所需幅度则无需调整，否则将通过反向传播调整网络权重，降低正确答案的能量值并提高错误答案的能量值。训练过程中答案本身不会改变，仅调整权重参数。

EBM训练需要存在错误答案才能构建有效的景观。如果没有错误答案，所有答案都会被分配相同的低能量值，导致景观完全平坦。

创建错误答案最简单的方式是破坏正确答案，例如在已完成的数独网格中交换几个数字。但模型本身也可以用来生成错误答案。这可以通过运行与模型用于回答问题的相同能量梯度下降搜索步骤（见下一部分）实现，将搜索结果作为错误答案y-。通过重复训练，对比损失函数会持续提高所有错误答案的能量值，最终使正确答案成为山谷中的唯一存在。

自然地，Logical Intelligence并未透露Kona的具体训练细节。但他们表示，该模型是在未完成的数独解法上训练的，每个网格有一半被隐藏，且未使用强化学习。令人惊讶的是，模型仍然学会了规则，并在测试时能生成完整正确的数独网格[1]。

国际象棋提供了另一个有趣的实验场景，因为未完成的棋局才是常态。严肃的选手和职业棋手在意识到必输时通常会认输。因此，大多数记录的棋局并未以将死结束。根据Bodnia的说法，经过未完成棋局训练的模型是否能完整下完一局？答案是肯定的。

当EBM训练完成后，正确答案将位于山谷底部，错误答案则分布在较高位置。生成的景观将是连续的。这种连续性是一个有用且必要的特性，因为它意味着当搜索进入山谷寻找答案时，每个向下步骤都会产生比前一个更符合规则的候选答案。

推理过程如何运作

EBM模型通过评估答案的能量值来寻找正确答案。它持续搜索直到找到能量值最低的答案。通过沿着能量下降梯度方向移动，模型会不断向正确答案靠近，直到无法进一步下降。

第一个被评估的候选答案是随机噪声。模型会计算该候选答案的能量值，然后沿着降低能量的方向移动候选答案一小步。这种向能量更低方向的移动会持续进行，直到能量不再下降。最终，候选答案会以任务所需的形式输出。对于数独谜题而言，这意味着将正确的数字填入每个单元格。

由于搜索会持续到能量不再随后续移动而下降，因此找到答案所需的步数并不固定。对于输入较简单的数独网格（例如已有更多单元格被填充的情况），模型能更快找到正确答案（即用更少的步骤），而输入难度更高的情况则需要更多步骤。EBM通过增加额外步骤的计算量来处理更难的问题，这与推理语言模型消耗更多token的方式类似。但实际上，与大型语言模型（LLM）相比，这种搜索过程要快得多。在数独演示中，Kona平均在313毫秒内就找到了答案，而LLM单个谜题可能需要长达90秒。

搜索功能依赖于景观的连续性。如果没有连续值，就不会有梯度，也就无法指示向哪个方向移动以接近正确答案。为了实现这种连续性，EBM中的候选答案始终用连续数值表示。对于数独问题，每个单元格保存九个分数，每个数字对应一个分数。对于文本问题，每个位置保存的是词汇表上所有词的分数向量，而不是token ID。

在潜在空间中的推理

到目前为止，候选答案的能量值一直被用来直接确定最终答案。这种方法适用于答案本身可以独立验证的情况，例如数独网格。但许多答案并不包含它们是如何得出的线索。例如，一个计划可能经过许多状态后才最终得出一个数字或动作。仅对(x, y)进行评分的能量函数只能根据最终输出来判断整个推理链，而无法反映中间过程。两个相差一个数字的答案可能通过完全不同的推理路径得出，因此微小的变化可能导致评分从良好变为糟糕。这种情形会破坏梯度下降法，因为梯度下降依赖于小变化带来小幅改进。

解决方法是让能量函数对步骤进行评估。模型不再仅对最终的(x, y)对进行评分，而是对所有中间状态进行评分：(x, z1), (x, z2), …, (x, zT)，其中z1到zT是中间状态序列，每个zT都是一个向量。这个序列即为推理过程；因此，当能量函数评估序列中的每个状态时，它实际上是在评估推理过程。

上述直觉与我们解决问题的方式相似。我们会在脑海中保持一个部分画面，对其进行调整；如果发现冲突，会再次调整。只有到最后，才会将结果转化为文字。这些文字仅仅是输出格式。

Bodnia指出，当在潜在空间中进行推理时，搜索是在模型对数据的压缩表示上进行的。她这样描述：“你是在理解空间中导航，而不是在原始数据中导航。”

在潜在空间中训练推理过程使用相同的对比损失函数，现在将其应用于序列。序列中以正确答案结尾的状态会被推至低能量。解码器与之同步训练，用于从最终状态中读取正确答案。不同实现的具体损失函数会有所差异，但这些差异并不重要。

生成答案的方式与之前相同，但应用于序列。问题被编码到潜在空间中，序列其余部分初始为随机噪声。模型随后一次性调整整个序列。每一步都同步移动，直到能量稳定。最终状态传递给解码器，这是一个独立的小型网络，将其转换为任务所需的形式。

对序列进行推理遵循以下5个步骤：

• 将问题编码到潜在空间中。

• 从编码后的问题开始序列，后续每一步设置为随机噪声。

• 将每个状态与问题进行评分。违反规则的状态会表现出高能量。

• 调整状态以降低其能量。

• 重复直到能量稳定，然后将最终状态传递给解码器。

基于能量的推理与语言模型

自回归语言建模和基于能量的潜在推理是两种截然不同的智能建模方法。哪种模型最适合特定问题取决于一个关键问题：能否精确定义正确答案？

EBRM从正确和错误答案中学习，因此适用于可以验证正确性的任务。例如，在数独中，填满的网格要么正确要么错误。一个简单的程序可以检查候选网格的正确性。因此，能量函数有明确的学习目标。这就是为什么EBRM能可靠地解决数独问题，而语言模型通常会失败。形式化数学和规划具有相同的特性，这意味着证明检查器或约束求解器可以充当最终的判断者。

当正确性模糊时，优势则转向语言模型。一篇论文是否论点充分或商业建议是否合理取决于判断。在这些数据上训练的能量函数会产生模糊、未定义的景观。由于语言模型是在大量人类写作上训练的，它们吸收了其中的判断。正如Bodnia所说：“EBRM不会为你写诗。”

它们不会写诗，但EBRM在可以精确定义规则的领域中表现极为出色。在化学中，候选分子要么符合化学结构规则，要么不符合。物理要求物质和能量的守恒。在金融中，不变量可以简单到“收入等于支出”。芯片布局主要是一组关于什么可以相邻放置的规则。在所有这些领域中，对模型的请求都类似：这是问题，这些是规则。

成本是另一个关键因素。仅对答案进行评分的模型不需要很大。Kona的参数规模在数亿到数十亿之间[5][6]。与之相比，前沿模型的参数规模达到数百亿。因此，Kona可以运行在更便宜的硬件上。小型模型加上在毫秒内收敛的搜索，就是本文开头实验的结果：从大型语言模型调用API花费了11000美元，而Kona的计算成本仅为4美元。

验证与安全性

EBRM 的验证和安全性与 LLM 的处理方式存在显著差异。

对于生成文本的语言模型，文本没有明确的及格线。我们通常会添加第二个系统：一个评估器用于评分质量或正确性，一个过滤器用于拦截不安全输出。但这种方法会增加生成过程的延迟，因为检查必须等到最后一个 token 生成后才能开始。

EBRM 的两个阶段提供了不同类型的保证。第一阶段是搜索过程。学习到的能量函数会将候选答案推向符合规则的解。因此，大多数错误答案在输出前就会被拒绝。这个阶段是概率性的：搜索过程具有随机性，最终结果取决于初始位置。学习到的能量函数是对规则的近似而非规则本身，因此低能量值能提供强证据但不能证明答案的绝对正确性。

第二阶段是验证过程。由于输出是逻辑而非文字，机器可以验证指定约束是否被满足，并给出"是"或"否"的明确结论。验证的具体方式取决于任务：对于数独网格，简单程序即可验证规则；对于定理证明，Logical Intelligence 使用 Lean 4 这类形式化验证工具 [7][8]。若验证结果为"否"，答案会返回搜索阶段，循环将持续到验证通过。搜索过程在毫秒级即可完成，能承受多轮迭代；而每次尝试需要一分钟的语言模型则无法做到这一点。

该流程在中间阶段具有概率性，最终结果却是精确的。目前 Logical Intelligence 仅专注于可形式化验证的客观任务。验证能保证答案满足约束条件，但无法保证这些约束准确反映了用户的意图。因此，约束条件的编写仍然是人类的工作。

下一步计划

Bodnia 的主要论点是，单一模型无法胜任所有类型的工作。关键任务系统依赖于可验证答案的生成，而创意工作则需要一个完全不受约束的系统。Bodnia 预计行业最终会形成一个由专用模型组成的生态系统，而非一个通用系统通过单一 API 提供服务。

从这里出发，Bodnia 预计行业将发生两方面的转变。首先，硬件可能逐渐摆脱对 GPU 的依赖。当前的 GPU 起源于图形处理，而行业幸运的是，LLM 所需的数学计算与图形处理使用的数学在本质上相似。但采用不同架构的模型没有特别理由必须使用相同硬件。其次，商业模式将从按使用量计费的智能销售，转向按客户定制模型的交付模式。小型模型可以快速训练，使这种转变成为可能。Logical Intelligence 最近仅用两名工程师和一周的客户数据训练，就为客户构建了一个模型。

EBRM 领域仍处于早期阶段，仍有大量探索空间。未来几年注定会非常激动人心。

参考文献：

[1] What Sudoku Reveals About AI Reasoning Architectures and the Future of Our Economy

[2] The Art of Knowing

[3] Energy-Based Models for Reasoning, LLMs for the Interface: Scaling Reasoning with Agentic AI

[4] A Tutorial on Energy-Based Learning

[5] WTF is a “Reasoning Energy-Based Model”?! w/ Eve Bodnia of Logical Intelligence

[6] Everyone Is Betting on Bigger LLMs. She’s Betting They’re Fundamentally Wrong

[7] Lean programming language and proof assistant

[8] Aleph Prover Tops Leading Formal Reasoning Benchmarks and Signals What Comes Next for AI