Spatial Reasoning in AI Models, Taken Apart

AI模型中的空间推理，拆解分析 | Towards Data Science

大型语言模型

AI模型中的空间推理，拆解分析

人们几乎完美解决的网格谜题揭示了语言和视觉模型仍存在的缺陷

Lars Benedikt Kaesberg

2026年10月21日

12分钟阅读

在Google上关注我们

分享

来自五个难度等级的已解决测试谜题各一例。随着等级提升，棋盘会变得越来越复杂。

SPaRC基准测试中1至5级的五道已解决谜题，用于测试AI模型的空间推理能力。

我们研究中的参与者解决了本文所展示谜题的98.0%。简单的谜题耗时约11秒，最难的谜题则需要略多于两分钟。我们测试过的最佳模型GPT-6.1 Sol解决了其中的83.6%。这个数字听起来接近人类水平。但在最难的等级上，该模型仅能解决49.4%，而人类参与者解决了94.5%。

解决这类谜题需要多种独立技能，单一准确率数字会掩盖模型缺乏的具体能力。因此我们拆解任务并提出四个问题：

• 模型能否读取棋盘，特别是从图像中？
• 它能否跟踪自己的路线？
• 它能否遵循规则？
• 面对更难的谜题时，它是否会更努力？

本文整合了我们三篇论文的关键发现，详见下方列表。三篇论文的BibTeX条目均可在项目网站获取。

• Lars Benedikt Kaesberg, Jan Philip Wahle, Terry Ruas, Bela Gipp. SPaRC：空间路径寻找推理挑战。EMNLP 2025。
• Lars Benedikt Kaesberg, Tianyu Yang, Niklas Bauer, Terry Ruas, Jan Philip Wahle, Bela Gipp. 注意空间推理与行动之间的差距！使用Spatial-Gym对智能体进行逐步评估。arXiv 2026。
• Lars Benedikt Kaesberg, Tianyu Yang, Florian Valentin Wunderlich, Terry Ruas, Daniel Kurzawe, Jan Philip Wahle, Bela Gipp. 视觉提示就足够了吗？在渐进式视觉支架下研究VLM空间推理。EMNLP 2026发现。

Lars Benedikt Kaesberg和Jan Philip Wahle的博文。

谜题的运作方式

每个谜题都是由绿色单元格组成的微型棋盘，灰色通道在单元格之间延伸。你需要沿着这些通道绘制一条线。这条线从棋盘边缘的大圆圈开始，最终到达出口——一个从边缘延伸出的短小突起。线路可以在任何角落转弯，但绝不能自交、离开通道或穿过单元格。

棋盘上的符号决定了哪些线路有效。下图谜题包含两个点、两个缺口和四个彩色石子。点必须位于线路上。缺口以横跨通道的绿色桥梁形式绘制，会阻挡该段通道。不同颜色的石子必须进入不同区域，而区域是指线路将棋盘其余部分隔开的单元格群组。

图1. 哪条线路能解决这个谜题？线路从左侧大圆圈开始，最终到达右侧出口。中间的错误线路经过两个点并避开两个缺口，但导致紫色、黑色和红色石子出现在同一区域。正确解法将棋盘分割，使各区域不混色。

中间的线路看似合理，经过两个点且未接触任何缺口。但它留下了一个包含三种石子颜色的大区域，因此违反了石子规则。右侧的正确解法选择了一条更长的中间路线。这条路线为紫色石子、红色石子和黑色石子各分配了一个独立区域。

这个谜题使用了三种符号类型。完整的基准测试包含七种符号类型。

Figure 2. 拼图可以提出什么要求？SPaRC 的七种规则类型。点和缺口位于车道上。石头、星星、三角形以及两种形状规则位于单元格内。

人们通过在应用程序中绘制来解决这些拼图。模型通常以文本形式接收棋盘，例如下面的字符串网格。

text

["+",".","+","+","+","G","+"]
["+","o-P","+","o-R","+","N","+"]
["+","+","+","+","+","+","+"]
["S","N","+","N","+","o-K","+"]
["+","G","+","+","+","+","."]
["+","N","+","o-R","+","N","E"]
["+","+","+","+","+","+","+"]

这是图1中的拼图。位置以(x, y)形式书写，x从左侧开始计数，y从顶部开始计数，均从0开始。S标记起点(0, 3)，E标记出口(6, 5)。.表示点，G表示缺口，o-R表示红色石头。单元格位于两个坐标均为奇数的位置，其余部分属于车道。模型需要先解释其推理过程，然后以位置列表的形式逐步写出其路径。解决方案从(0, 3)、(0, 2)、(0, 1)、(0, 0)、(1, 0)开始，然后继续下去。

本文数据简要说明：

• 1000个SPaRC拼图，灵感来自视频游戏《The Witness》。其中500个用于训练，500个用于测试。

• 棋盘宽度和高度在2到6个单元格之间，随机生成并通过暴力破解求解。每个拼图有1到50个解，所有解均被存储。只有与某个解完全匹配的答案才算正确。

• 五个难度等级，分别有86、118、121、86和89个测试拼图。

• 对100个拼图的人类研究，每个拼图由三个人解决。

每个模型都会坠入悬崖

在简单级别上的准确率意义不大。有趣的是当拼图难度增加时会发生什么。

Figure 3. 每个求解器在哪个难度等级坠入悬崖？按难度等级划分的拼图解决比例。o4-mini和人类数据来自SPaRC论文。2026年的数据是我们使用论文中的提示和评分进行的单次运行结果。作为对实验设置的验证，我们重新运行的Gemma-3 27B模型解决了0.4%的拼图，而论文中为1.2%。

人类在每个难度等级上都保持在较高水平。每个模型在某个难度等级都会出现断崖式下降。2025年我们发布SPaRC时，测试的最好模型o4-mini整体解决了15.8%的拼图，最难的拼图仅解决了1.1%。GPT-6.1 Sol仍然能解决所有一级拼图和82.6%的四级拼图，但在五级拼图中下降至49.4%。以下四个问题将探讨背后的原因。

Q1. 模型能否正确读取棋盘？

感知是最容易在不知不觉中出错的技能，因此我们从这里开始。在SPaRC中，我们向o4-mini展示了拼图的图片而不是文本网格。在两种情况下都没有示例的情况下，其准确率从12.6%下降到5.6%。在Spatial-Gym中，视觉模型Qwen3-VL-32B通过文本解决了10.2%的拼图，但通过图片仅解决了2.8%。其仅使用文本的兄弟模型Qwen3-32B解决了10.6%，因此问题不在模型的视觉部分，而在于图片本身。

视觉支架研究保持所有拼图不变，仅改变绘制方式。每个版本添加一种类型的帮助。

Figure 4. 当我们以不同方式绘制相同拼图时会发生什么变化？我们在六个版本中测试的示例拼图。S/E标记在起点和出口处写入S和E。轴标签添加行号和列号。单元格坐标在每个单元格中打印位置，并用文字替换每个符号。棋盘、规则和答案保持不变。使用研究中的渲染器绘制。

对于我们测试的最强模型，仅凭绘图就使准确率提升了34.0分。Qwen 3.5 397B在原始图像中解决了14.4%的500个测试谜题，在文本符号版本中解决了48.4%。Qwen 3.5 27B在使用单元格坐标后，准确率从8.2%提升至40.0%，Gemma 4 31B则从2.2%提升至26.2%。最弱的两个模型Gemma 3 27B和Mistral Small 3.2无论绘制什么图像，准确率始终低于1%。

图5. 对于某一模型而言，绘图的重要性有多大？Qwen 3.5 397B从每种图像版本中解决的500个测试谜题占比。最佳绘图效果优于纯文本网格。数据来源：视觉支架论文，表2。

这张图表中有两处让我们感到意外。最佳绘图效果击败了文本网格，48.4%对38.0%，这说明文本并非该模型的上限。此外，不同类型的帮助效果并非简单相加。仅使用行列编号对准确率提升有限（16.8%），而单独使用S和E标记则使准确率提升超过一倍（32.6%）。

随后我们要求模型逐个单元格写出棋盘内容，但不进行求解。在原始图像中，Qwen 3.5 397B将65%的空白区域识别为普通车道，仅正确识别了48%的出口。使用文本符号时，它能够正确识别所有起点、出口和空白区域。在所有模型和绘图版本中，完全无误读取棋盘的比例与任务准确率高度相关（r=0.96）。但这并不能证明读取能力决定成败，因为更强的模型可能在两者上都表现更好。

图6. 模型是否能识别棋盘上的内容？Qwen 3.5 397B在写出棋盘时识别起点、出口和空白单元格的频率。

并非所有添加都有帮助。带有空白边距但没有标签的网格线使所有测试模型的表现低于原始图像。Qwen 3.5 397B的准确率从14.4%骤降至4.4%，许多起点和终点位置出现偏差，仿佛将空白边距误认为棋盘的一部分。在旋转棋盘中，打印的坐标本身成为问题。Qwen 3.5 397B完全正确读取棋盘的比例下降了33.4分。这些绘图方式依赖于提前了解棋盘结构，因此我们将其视为模型诊断工具而非通用提示技巧。

简而言之，从图像中读取棋盘是一个独立的重大问题。清晰的绘图对强模型有显著帮助，但对弱模型毫无作用。

Q2. 模型能否跟踪自己的路径？

即使从文本开始，许多答案在任何规则检查之前就已失败。模型将路径表示为位置列表，该列表必须描述从起点到出口的连续路径。图7的示例谜题展示了四种可能导致路径错误的方式。

图7. 在任何规则检查之前，路径可能以哪些方式断裂？示例谜题的四种断裂路径。无论符号如何，断裂路径都属于错误。

第一种是错误的起点或终点。路径从起点圆圈以外的位置开始，或在出口前终止。第二种是路径断裂。列表中的每一步都必须移动到相邻位置，因此从(2,2)直接跳到(2,5)会在路径中留下空缺。第三种是路径交叉，即返回到已使用过的位置。第四种是路径穿过单元格。在文本网格中，这意味着列表包含坐标均为奇数的位置，如(3,1)。这是单元格的中心，路径必须绕过车道上的单元格。

在SPaRC中，o4-mini的59.2%的回答至少存在这些问题之一，而GPT-4.1的93.6%的回答存在这些问题。在我们测试的七个模型中，有六个最常见的问题是穿过单元格。

图8。线路本身断裂的频率如何？每种断裂线路的回答占比。一个回答可能有多个问题。

推理轨迹显示了问题的来源。我们手动阅读了48个DeepSeek R1 Distill Llama 70B的推理轨迹，这些轨迹均来自具有有效线路但仍然违反规则的回答。在其中26个案例中，模型错误地读取了网格或其坐标，而在23个案例中，模型一次性跳过了多个步骤。对于语言模型来说，在不丢失位置信息的情况下编写一长串坐标是一项困难的任务。

Spatial-Gym消除了这种记录管理。每个谜题都变成了一个Gymnasium环境，模型一次只绘制一个移动步骤。

图9。如果模型一次只绘制一个移动步骤会怎样？Spatial-Gym在示例谜题中的应用。模型只能在合法移动之间进行选择，因此无法生成断裂的线路。启用回溯功能后，模型还可以撤销移动。

在每一步中，模型都能看到棋盘、其位置和合法移动。它选择一个移动方向（上、下、左或右），环境随后更新棋盘。任何会导致线路断裂的移动都不会被提供。启用回溯功能后，模型还可以返回到之前的位置。一个回合在出口处结束（此时所有规则都会被检查）、在死胡同处结束，或在100步后结束。

消除记录管理对那些原本就难以处理这一问题的模型有所帮助。Qwen 3 32B在一次性写出整条线路时解决了5.2%的谜题，而逐步移动时解决了10.6%的谜题。这反而对最强的模型造成了负面影响。GPT-OSS 120B的解决率从21.6%下降到了16.0%。逐步移动时，它解决了52.3%的一级谜题，但仅解决了1.1%的五级谜题。强大的模型原本就很少写出断裂的线路，因此从中获益有限。对于它们来说，一次决定一个移动似乎阻碍了整体线路的规划。

简而言之，跟踪一条长线路是错误的主要来源，但将这一任务移除并不会使强大的模型变得更好。

Q3. 模型是否能够遵循规则？

一旦线路有效且棋盘被正确读取，规则仍然适用。Spatial-Gym中的两个简单基线具体说明了这一点。A*搜索找到从起点到出口的最短路径并忽略规则。它总是能够到达出口，解决了6.4%的谜题。随机行走解决了2.4%的谜题。

图10。到达出口是否等同于解决谜题？代理到达出口的谜题占比，以及实际解决的谜题占比。

回溯从另一个角度展示了同样的差距。使用撤销移动后，GPT-OSS 120B更频繁地到达出口（94%而非85%），但解决的谜题更少（10.2%而非16.0%）。困难之处在于在满足所有规则的情况下到达出口。

推理轨迹指向了同样的方向。我们阅读的48个轨迹中有36个包含逻辑谬误。规则在难度上也有很大差异。在一组50个仅以间隙为规则的测试谜题中，o4-mini解决了84.0%。在一组包含多米诺骨牌和ylops的谜题中，它仅解决了4.0%。一个间隙立即告诉你某条车道已关闭。一个遗漏的点只有在线路完成后才会显现，而形状规则则取决于线路封闭的整个区域。

更好的绘图并不能解决这个问题。即使在图像上添加了文本符号，准确性在四级和五级谜题中仍大幅下降。最难的级别也是GPT-6.1 Sol仅能解决人类解决数量的一半的地方。

简而言之，穿越网格很容易。同时满足多个相互作用的规则是模型失败的地方。

Q4. 当谜题更难时，模型会更努力吗？

在我们的研究中，随着谜题难度的增加，人们的速度变慢了。他们每道谜题的平均耗时从第1级的10.7秒增加到第5级的131.5秒，增长超过12倍。我们能够测量的两个开放推理模型却没有减速。QwQ 32B在第1级谜题中生成了约14,400个token，在第5级谜题中生成了约13,100个token。DeepSeek R1 Distill Llama 70B在最难的级别上生成的token数量增加了约30%。

图11. 努力程度会随难度增加吗？每个级别相对于第1级的努力程度。对于人类来说这是平均解题时间，对于模型来说这是每道谜题平均生成的token数量。

这种模式在线条本身中也有所体现。在Spatial-Gym中，正确解随着谜题难度增加而变长，但模型绘制的线条几乎没有变化。最强的模型也很少使用撤销操作。在我们手动阅读的48条轨迹中，有25条显示模型在回答前发现了错误或死胡同，但仍然继续回答。

当努力被投入时确实会产生影响。逐步推理时，Qwen 3 32B在开启推理模式时解决了10.6%的谜题，关闭时仅解决了2.2%。额外尝试也有帮助，但主要体现在模型本身已经表现不错的情况下。每道谜题进行8次尝试时，o4-mini在第1级的准确率从47.7%提升到80.2%，但在第5级仅从1.1%提升到3.4%。

简而言之，模型从更长时间的思考中获益，但当谜题需要时，它们几乎不会主动延长思考时间。

关键结论

• 从图像中读取棋盘是一个独立且复杂的问题。对最强模型而言，更清晰的绘图可增加高达34.0分。

• 书写有效线条是错误的主要来源。在o4-mini的回答中，有59.2%的答案在任何规则检查之前就已经存在错误。

• 穿越网格很容易，因为忽略规则的搜索总能到达出口。遵循相互作用的规则则并非如此。

• 模型在更难的谜题上几乎不会投入更多努力，而人类在最难的谜题上花费的时间超过12倍。

对构建和测试模型的意义

单一准确率指标混合了所有四项技能。当我们将其分离时，每个技能都以不同方式失败，每个失败都指向不同的解决方案。更清晰的绘图帮助了强大的视觉模型但无助于较弱的模型。逐步移动帮助了那些丢失线条轨迹的模型但无助于最强的模型。额外尝试对简单谜题有帮助，对最难的谜题几乎无效。

对于构建视觉基准测试的任何人来说，绘图的重要性与任务本身同等重要。使用单一图像格式时，基准测试可能测量的是感知而非推理。并排报告文本版和图像版的结果能让差异变得可见。

对于比较模型的任何人，应关注最难的级别。83.6%的总体得分和49.4%的最难级别得分描述的是同一个模型。这两个数字之间的差距就是开放性问题所在。

尾声：亲自尝试

你可以在浏览器中通过 sparc.gipplab.org 网站玩这些谜题，排行榜也位于此处。要使用Inspect AI评估模型，请运行以下两个命令。

bash

pip install "sparc-puzzle[inspect]"
inspect eval sparc/sparc --model openai/gpt-4.1-mini --limit 50

谜题按级别轮换排列，因此--limit 50会为每个级别提供10个谜题。要尝试逐步设置，请通过 pip install Spatial-Gym 安装Spatial-Gym并运行以下代码。

python

# 代码内容

import gymnasium as gym
import Spatial_Gym  # 注册 "Spatial-Gym" 环境
env = gym.make("Spatial-Gym", df_name="lkaesberg/SPaRC", df_split="all", df_set="test", observation="SPaRC")
obs, info = env.reset()
print(info["legal_actions"])  # 0 = 右, 1 = 上, 2 = 左, 3 = 下
obs, reward, terminated, truncated, info = env.step(info["legal_actions"][0])

该数据集托管在 Hugging Face 上，SPaRC 和 Spatial-Gym 的代码可在 GitHub 上获取。

除非另有说明，所有图片均由作者提供。

作者简介

Lars Benedikt Kaesberg 是德国哥廷根大学的研究人员。他的个人网页是 larskaesberg.de 。

Jan Philip Wahle 是德国哥廷根大学的研究人员。他的个人网页是 jpwahle.com 。