Can Frontier Models See Past a Decoy? Elorian Tests Visual Reasoning

前沿模型能否识破诱饵？Elorian测试视觉推理 — 潜在空间

本月，Elorian推出了其首个视觉推理模型Glimpse。该模型被宣传为“一种全新的视觉思考模型类别：一种系统，能够根据所见内容对物理世界进行推理。”

在X上查看帖子 ↗

那么，Glimpse在视觉测试中与前沿模型和世界模型相比表现如何？由Elorian联合发布的全新基准测试DecoyCount提供了一些答案。

我们向首席执行官Andrew Dai询问了该基准测试的相关情况，并讨论了Elorian在竞争激烈的模型市场中的定位。

DecoyCount测试结果

今年4月，Elorian在获得5500万美元种子资金后正式亮相，该轮融资由Striker Venture Partners、Menlo Ventures和Altimeter Capital联合领投。现在，Elorian与AI数据公司Mercor合作，宣布推出DecoyCount基准测试，该测试用于验证语言模型是否真正能够对物体进行计数，还是依赖视觉捷径和替代启发式方法。

根据随附论文的说明，前沿模型在DecoyCount测试中的准确率均低于50%，其中最高的是GPT-6 Astra，准确率为43.17%。Elorian的新模型在论文中未被提及，但Dai告诉我们，Glimpse在内部测试中取得了50.48%的准确率。

关于前沿模型，论文得出结论称：“更强的通用推理能力本身并不能推广到对齐的视觉推理。”

该基准测试的工作原理：“DecoyCount通过七种机制揭示了可解释的计数失败。”

为确保与前沿模型的公平对比，我们询问论文中的评估图像是否从Glimpse的训练数据中排除？

Dai通过电子邮件回复称：“评估图像和文本均未包含在我们的训练数据中，我们的污染检查发现所检查的训练数据中没有重叠。在没有任何提示的情况下，Glimpse在1660个DecoyCount项目中得分为50.48%，成为比较中唯一突破50%的模型。最接近的是GPT-6 Astra的43.17%，落后约7个百分点，Gemini-3.8-flash得分为32.71%，Qwen3.8-max得分为28.31%，Claude-Fable-5.1得分为25.22%。”

Dai指出，Glimpse的结果“来自模型在自身环境下的单次运行，没有使用代理或工具框架”，而论文中提到的六种模型则在各自报告的设置下进行了三次运行的平均值。

前沿模型在DecoyCount基准测试中三次运行的结果。

但DecoyCount究竟揭示了现有模型基准测试所遗漏的什么？根据Dai的说法，它同时测试了视觉和推理能力——而大多数基准测试都忽略了这一点。

“如果一个人看到镜子前有一个苹果，我们知道只有一个苹果且它被反射了。但模型可能会完全忽略苹果（视觉问题），或把苹果及其反射视为两个（推理问题）。但目前大多数测试此类错误的基准仅检查最终数字，因此两种错误被同等对待，这在想要修复根本问题却无法判断是视觉还是判断问题时会带来困扰。”

DecoyCount论文中的前沿模型对比

什么是视觉推理？

Andrew Dai 并非 AI 领域的新面孔。2015 年，他在 Google 工作期间与他人共同撰写了一篇题为《Semi-supervised sequence learning》的论文。在这篇论文中，Dai 与其当时的同事 Quoc Le 展示了预训练后微调方法的早期版本，这一方法后来被大型语言模型所采用。在接下来的十年里，Dai 在 Google DeepMind 参与了 GLaM MoE、PaLM 2 和 Gemini 等项目。

Sponsored

您的赞助广告位在此

接触正在构建下一代 AI 的工程师。

Latent Space 被从事代理、模型和基础设施开发的人员阅读。咨询赞助此位置的详情。

[email protected] →

Dai 今年才离开 Google，目的是与他人共同创立 Elorian。他这样做的部分动机是推动视觉模型能力的边界。他向 Latent Space 解释称，他的方法基于人类心理学中的一个概念，称为视觉思维。

他解释说，当大多数人“思考空间问题或视觉问题时”，“他们会通过在脑海中生成和编辑图像来可视化问题”。

他举了一个购买沙发并在脑海中想象它在客厅中样子的例子。

概念性视觉推理循环

还有在脑海中操控图像；例如，当你在数桌旁的人数时，可能会在脑海中“逐个划掉”他们，Dai 说道。

Elorian 的模型旨在实现这一点：教会它们视觉思维“涉及在推理过程中生成和编辑图像，与语言并行”。

关键点在于，图像生成不仅仅是视觉模型的输出——生成或编辑的图像构成了推理链的一部分。

Elorian 与 World Models 有何不同？

视觉推理仍在进行中，但今年在“世界模型”领域已有一些令人印象深刻的发布——其中视觉是关键组成部分。其中两个突出的例子是 World Labs 9 月发布的 Atlas（该公司随后被 AMD 收购）和 Google 最近发布的 Genie 4。

当 World Labs 宣布 Atlas 时，它被描述为“用于空间智能的全能世界模型”。但 Atlas 实现的功能——基本上是对世界进行 3D 模拟——并不等同于视觉推理。

据 Dai 介绍，世界模型实现了“对世界进行直接操作”，而 Elorian 更关注他所说的“间接操作”。他的意思是使用视觉推理来指导决策或工作流程（如 Glimpse 所做的），而不是构建允许导航和操作的模拟环境（如 Atlas 所做的）。

举个例子，你可以使用视觉推理来决定是否拒绝用户上传的视频，因为它违反了政策。“你不需要 3D 渲染来做到这一点，”Dai 说道。

视觉推理的应用

Elorian 的其他商业机会包括机器人技术、工程和国防应用。Dai 补充说，建筑师需要定期检查建筑规范和合规性——这正是视觉推理模型的理想任务。

在两个机器人基准测试中，WGO Bench 和 ERQA，Elorian 声称其表现与前沿模型相当或更高，且价格便宜得多：

来源：Elorian

回到以统计诱饵作为视觉模型成功的一个衡量标准，Dai 认为对模型所见内容的推理对其在实际应用中的准确性和有效性至关重要。

他举了一个仓库机器人统计箱子中物品数量的例子。

“一个熟悉的12槽托盘可能只能容纳10个零件，标有24件装的包装盒也不一定意味着里面还有24个物品，”Dai表示，“依赖于预期看到内容的模型在现实场景中会面临诸多问题，而Glimpse的设计理念是通过图像本身进行判断，而不是急于得出结论。我们设计Glimpse时，将计数依据建立在可见证据上，而非可能误导其他模型的基础线索上。”

为什么Elorian认为通用人工智能需要视觉推理能力

Elorian甚至进一步声称，视觉推理是实现通用人工智能（AGI，artificial general intelligence）的基础性前提。根据Glimpse发布文章中的表述：

“我们认为，要从系统、数据、模型架构和训练等多个层面自下而上构建多模态智能的完整技术栈，才能在物理世界中实现通用人工智能。”

Dai承认目前“人类与机器之间仍存在巨大差距”。但他认为视觉推理正是弥合这一差距的关键。

“我认为应该将视觉推理视为人类智能推理过程中的基础步骤，”他表示，“归根结底，如果我们想要构建任何类似通用人工智能的系统，就无法跳过视觉这一环节。”