New Research: We are releasing ExplorationBench, a benchmark for measuring how AI systems explore. ...

腾讯混元在 X 上的推文："新研究：我们发布了 ExplorationBench，一个用于衡量 AI 系统探索能力的基准。科学发现始于已知问题的终点：系统需要提出假设、设计实验并从结果中学习。评估这一过程非常困难。真正新颖的答案无法快速验证，在熟悉领域中模型可能只是简单地回忆已见内容。为解决这一挑战，腾讯混元、复旦大学和清华大学的研究人员构建了可验证的 Alien Worlds。其规则可执行，因此每个答案都能被精确验证，且与常识冲突，因此仅靠回忆无法完成任务。 🔹 两个沙盒：AlienCode（31 个隐藏规则变更，70 个任务）和 AlienLogic（24 个修补推理规则，70 个定理） 🔹 一份有缺陷的手册、四轮自设计探针、每轮后闭卷测试 🔹 每个答案由解释器或证明检查器评分，不使用 LLM 评判 我们在 10 个前沿 AI 系统中的发现： 1️⃣ 获取反馈比独立思考更有效。没有任何 AlienCode 运行初始得分超过 15.7%；经过四轮后最佳系统达到 89.0%，而未获得反馈的相同轮次得分保持在 0.5–11.0%。 2️⃣ 实验设计至关重要。重放系统自身最佳探针提供相同证据，但在 AlienCode 中 10 个系统中有 9 个表现不如自行选择探针时。 3️⃣ 知道规则不等于运用规则。即使所有必要规则均正确陈述，任务仅在 73.4% 的情况下被解决。 4️⃣ 一个分数可能隐藏很多信息。相同系统在相同预算下得分范围从 5.7% 到 79.0%，两个世界间的排名几乎无法迁移。 CL-bench 询问模型能否从上下文学习，ExplorationBench 询问它们能否自行发现规则。 📄 论文：

arxiv.org/abs/2609.30199

🌐 网站及排行榜：

explorationbench.com

📝 博客：

explorationbench.com/blog/

💻 代码（即将发布）：

github.com/Tencent-Hunyua…

1:29 PM · 2026年9月30日

·

33.4K

次浏览

10

36

331

139