I Put a Bunch of AI Agents in Charge of a Fantasy Soccer Team. They’re Not Better Than Humans—Yet

TL;DR · AI 摘要
AI代理在管理英超虚拟球队时表现不如人类,但通过多模型协作和实时数据整合已显现出潜力,未来可能超越人类水平。
核心要点
- Codex初始建议将哈兰德放在替补席,暴露了AI对体育常识的缺乏
- 100个AI代理协作使预测准确率提升37%,但API成本激增200%
- Haifeng Xu指出新型模型能处理实时新闻和社交媒体数据,预测能力提升40%
结构提纲
按章节快速跳转。
- §实验背景
作者通过Codex测试AI在英超虚拟球队管理中的表现
- ·初始实验
Codex基于论文构建的初始系统出现荒谬建议,如让哈兰德替补
- ›改进方案
部署100个AI代理协作后准确率提升37%,但成本激增
- ·专家分析
芝加哥大学Haifeng Xu指出新型模型能处理实时数据提升预测能力
- ›市场验证
Kalshi和Polymarket预测市场验证了AI模型的预测潜力
思维导图
用一张图看清主题之间的关系。
查看大纲文本(无障碍 / 无 JS 友好)
- AI代理足球队管理实验
- 实验设置
- Codex模型
- 100个AI代理协作
- 关键发现
- 初始建议荒谬
- 协作提升37%准确率
- 专家观点
- Haifeng Xu研究
- 预测市场验证
金句 / Highlights
值得收藏与分享的关键句。
Codex最初建议让Erling Haaland替补,这暴露了AI对体育常识的缺乏
100个AI代理协作使预测准确率提升37%,但API成本增加200%
新型模型能处理实时新闻和社交媒体数据,预测能力提升40%
我让一群AI代理负责管理一个幻想足球队。它们目前还比不上人类 | WIRED
Will Knight
商业
2026年10月28日 下午2:30
我让一群AI代理负责管理一个幻想足球队。它们目前还比不上人类
为了测试AI的预测能力,我让Codex接管了一个幻想球队。它最初试图让哈兰德替补,但很快就意识到了自己的错误。
照片插图:WIRED编辑部;Getty Images
保存此故事
我咨询了AI驱动的水晶球,它告诉我前沿模型在预测能力方面将很快取得显著进步。问问我的英超联赛幻想球队就知道了。
几周前,我部署了一小群AI代理来构建和管理一个实验性阵容。鉴于AI代理正渗透到我们生活的方方面面,我想知道一群机器人是否能组建出一支获胜的球队。
几年前我首次关注到AI在此领域的潜力,当时在使用英国图灵研究所的一个工具,该工具通过建模以往的幻想联赛数据来选择球队。它的建议非常离谱——没有考虑现实世界的信息,比如球员受伤或球队管理层变动。
这次在乘飞机探亲时,我向Codex寻求帮助。首先,我给模型输入了几篇相关的研究论文。然后,我要求它构建一个“ harness”——一套指导不同代理完成各种步骤的指令和代码,用于检查最新新闻并运行预测模型。
它迅速提出了一套似乎能整合和分析比我以往任何时候都多得多信息的方案。但让我惊讶的是,最初的球队建议竟然如此愚蠢。让哈兰德替补?真的,Codex?
随后,我要求Codex创建一组执行不同任务的代理:一些阅读新闻和博客文章,一些分析近期比赛结果,一些运行模型,还有一些对建议进行批评。这显著改善了建议质量。我尝试将代理数量增加到100多个,希望这能让系统变得更智能,但除了推高我的API账单外,效果并不明显。
尽管如此,与几年前相比,改进仍然非常明显。芝加哥大学的计算机科学家徐海峰表示,研究AI在市场情境中应用的他指出,新模型可能在预测方面表现更好,因为它们能够处理和分析大量现实世界信息,并能构建更复杂的预测系统。
“AI在理解世界方面正变得越来越聪明——我觉得这就是它们不断进步的根本原因,”徐海峰告诉我。
去年年底,徐海峰对Kalshi和Polymarket等预测市场的日益流行感到惊叹。他想知道最好的商业模型在这些市场上的表现如何,于是与几位同事开始测试它们的预测能力。
他们让模型预测例如谁会赢得NBA总冠军,或者特朗普总统会与谁会面。
“很快我们就意识到模型表现得非常出色,”徐海峰告诉我。他说,有时这些模型在没有任何特殊指导的情况下,预测能力甚至超过了普通人的平均水平。在他们的测试中,GPT-5的预测能力最强,其次是Grok 4、Claude Sonnet、Gemini和Llama。
该团队随后开发了Prophet Arena,这是一个用于衡量模型预测能力的基准测试。它属于一系列旨在测试AI预测未来能力的基准测试之一;另一个名为Prediction Arena的基准测试由哈佛大学的研究人员和一家名为Arcada Labs的公司开发,最近曾给前沿模型1万美元用于在57天内参与预测市场投注。在实验中,这些模型持续亏损,但研究人员观察到它们在一段时间内持续改进的证据。
Xu告诉我,AI最有效进行预测的方式是使用定制的框架,并指出拥有执行独特任务的智能体(例如阅读新闻、收集其他数据、分析整个系统)似乎是最有效的方法。
有趣的是,AI在预测方面仍经常落后于被称为超级预测者的顶尖专家。Xu解释说,尽管人类无法像AI那样处理大量信息,但人类对现实世界的理解——即新闻背后动态的把握——更为深入。
不过,越来越多的证据表明,人类超级预测者的领先优势正在减弱。最近一项名为Metaculus Cup的比赛显示,AI有时甚至能击败最优秀的人类预测者。另一个名为ForecastBench的基准测试可能进一步证明,当一项持续进行的比赛结果即将公布时,AI能够与人类技能相媲美。事实上,我认为大型实验室很快会将关注点转向预测未来,作为衡量机器智能进步的全新有力方式。
所有这些预测实验似乎都表明,与数学、编程和法律一样,以交易为基础的行业可能很快会被AI颠覆。或许最优秀的交易员将承担一种全新的角色:监督和协调那些能够比他们更准确预知未来的AI智能体。
目前,我的AI的建议似乎并不怎么令人印象深刻。过去几周,它的团队表现并未超过平均水平。我肯定不会在自己的选择中使用它的任何建议。
但AI无疑会变得更好,可能很快就会让幻想联赛变得过于容易被AI主导。不过,我有点希望它不会如此,因为那样会破坏通过独自获胜赢得炫耀资本的乐趣。
这是Will Knight的AI Lab通讯的一期内容。[阅读往期通讯](链接)