These Researchers Made AI Drive a Toyota Corolla to Get In-N-Out

这些研究人员让AI驾驶丰田凯美瑞去In-N-Out | WIRED

Will Knight

商业

2026年10月7日 下午2:45

这些研究人员让AI驾驶丰田凯美瑞去In-N-Out

三位工程师将GPT、Claude和Grok赋予了一辆真实汽车的控制权。但最终只有其中一项尝试取得了成功。

图片说明：WIRED编辑部；Getty Images

保存此故事

位于初创公司Axiom的AI工程师Aditya Ramabadran、Simon Mahns和Tobias Gessler最近在午餐时间对In-N-Out Burger产生了兴趣。

不过他们并未打算自己驾车。在旧金山湾区餐厅的 drive-thru 车道旁，他们打开了一台2024款丰田凯美瑞的车门，将笔记本电脑连接到OpenAI的GPT-6 Astra系统，要求其接管驾驶。他们通过聊天界面与服务器建立连接，该服务器与安装在挡风玻璃上的多台摄像头以及汽车的电动助力转向系统相连。一名安全驾驶员始终将脚放在刹车踏板上方，以防万一。

这款通常用于生成文本、代码和图像的AI模型，缓慢但稳定地将车辆驾驶至取餐窗口，使他们得以取餐。

"也许人工通用智能（AGI）真的到来了，"其中一名工程师评论道，他指的是那种理论上能与人类智能相媲美的机器。

当然，自动驾驶汽车并非新鲜事物，但它们通常由专门为此任务训练和设计的算法操作。在此次实验中，车辆的控制权交给了一个本应用于生成文本的模型，且整个过程没有经过任何预先指导。这次快餐店挑战以及其他多项实验表明，基于语言的AI模型正在逐步建立起对物理世界的初步但实用的理解。

尽管三人午餐时的这次尝试并未发生任何明显危险的情况，但他们承认，将一个通用模型用于控制价值两吨的高速行驶的金属物体是一项高风险的尝试。随着物理理解能力的提升，我们可能会看到AI模型以令人印象深刻——甚至可能危险的方式进入现实世界。

走向物理世界

当今最先进的模型在回答复杂问题和执行某些虚拟任务方面表现出色，但它们的技能通常局限于计算机和互联网的世界。当这些模型进入现实世界时，它们往往会迅速陷入困惑。尽管有公司声称AGI已经实现，但人工智能公司显然仍将物理推理视为有待攻克的前沿领域。

一些研究人员已离开大型公司，创立专注于解决物理推理问题的初创企业。其中一家公司Elorian AI的CEO Andrew Dai曾是Google DeepMind的研究员。他表示，更好的视觉推理将为AI开辟许多新应用，例如能判断餐厅顾客是否享受用餐体验的系统，或能在家庭环境中运作的机器人。Dai表示，机器人技术是物理推理能力的重要测试案例。"这对机器人技术来说非常关键，"他说，"你很难想象没有这种能力的家庭机器人。"

Elorian和为大型AI实验室提供训练数据的Scale AI最近开发了一个新的基准测试——《人类的第六感》（Humanity's Sixth Sense），用于衡量模型理解物理场景的能力。

“大多数视觉AI研究都集中在感知上，”参与开发该基准测试的Scale AI研究科学家Xingang Guo表示，“我们想问的是，一个模型要真正像人一样直观地理解场景，实际上需要什么条件——无需刻意思考，就像人类本能那样。”

对于Ramabadran、Mahns和Gessler而言，他们以Axiom公司工作之外的身份开展的In-N-Out项目目标是衡量模型在复杂现实世界中的表现能力。这个想法源于某个周末的闲聊。他们注意到像Astra这样的模型能够构建复杂的3D模拟，便好奇这种能力是否可以转化为现实世界的导航能力。

“我们都在湾区生活，经常接触到特斯拉和Waymo的自动驾驶汽车，这可能在潜移默化中影响了我们的想法，”Ramabadran告诉我。

工程师们最初尝试测试SpaceXAI的Grok模型，随后才转向OpenAI和Anthropic的最新模型。起初，这些模型拒绝接管车辆控制权，甚至直接回复：“我可以帮助分析道路图像，但无法向实体汽车发出运动指令。”但通过精心设计的提示，他们逐渐引导模型进入更深层次的交互。当模型开始自主驾驶时，三位工程师感到震惊。

这些工程师表示，大型AI公司似乎正在提升最新模型的空间推理能力，但他们质疑这是否意味着真正训练模型驾驶汽车。他们认为，模型的驾驶能力很可能是3D推理训练的副产品。“这可能就像通过扩展模型的多模态能力（如图像、视频和3D模型等输入）而自然产生的新能力，”Mahns解释道。

不过，三人团队推出的名为DrivingBench的新基准测试表明，这些模型距离通过驾驶考试仍有很长的路要走。该基准测试要求模型在停车场内完成一个简单的绕行路线。目前只有Astra能够完成该路线——但速度非常缓慢。Claude Fable 5.1仅完成了45%的路程，而Grok只完成了11%。

Ramabadran表示，最新模型似乎具备调整错误的能力，它们似乎适应了汽车的控制装置，并在实时驾驶中不断改进。“模型确实表现出根据错误进行调整或上下文学习的能力，从而学会更好地操作控制装置，”他说。GPT，现在该你接管方向盘了。

这是Will Knight的AI Lab通讯的一期内容。阅读往期通讯请访问此处。