Import AI

Import AI 479: Spacewar; low-latency tasks versus LLMs; Genie 4

8.5内容质量

TL;DR · AI 摘要

LLMs在低延迟任务中表现不佳,Realtime-Bench测试显示GPT-6-Astra在wall clock条件下仅得36%。

核心要点

  • Realtime-Bench测试了50个实时任务,包含游戏和网页交互场景
  • GPT-6-Astra在wall clock条件下的通过率仅为36%
  • 暂停时钟条件下高推理模型成功率可达70-80%

结构提纲

按章节快速跳转。

  1. 介绍LLMs在低延迟任务中的局限性及Realtime-Bench基准测试的必要性。

  2. 基准测试包含50个动态任务,评估时间感知、适应性推理和动作选择能力。

  3. GPT-6-Astra在wall clock条件下得分36%,远低于暂停时钟条件下的表现。

  4. 基准测试揭示了当前AI代理在实时决策场景中的关键性能瓶颈。

思维导图

用一张图看清主题之间的关系。

查看大纲文本(无障碍 / 无 JS 友好)
  • LLMs在低延迟任务中的表现
    • Realtime-Bench测试方法
      • 评估维度:RT-Perceive/RT-Deliberate/RT-Act
      • 时钟条件:wall clock/paused clock/token clock
    • 关键发现
      • GPT-6-Astra wall clock 36%通过率
      • 暂停时钟条件提升模型表现

金句 / Highlights

值得收藏与分享的关键句。

  • GPT-6-Astra在wall clock条件下仅获得36%的通过率,而暂停时钟条件下高推理模型可达70-80%。

    — 第3段

    ⬇︎ 下载 PNG𝕏 分享到 X
  • Realtime-Bench包含4类30个网页任务和4类20个游戏任务,覆盖旅行、电商、安全等场景。

    — 第2段

    ⬇︎ 下载 PNG𝕏 分享到 X
  • 时间感知动作选择(RT-Act)要求模型在购票场景中平衡等待与立即购买的决策时机。

    — 第2段

    ⬇︎ 下载 PNG𝕏 分享到 X
#LLMs#Realtime-Bench#低延迟任务#AI基准测试
打开原文

Import AI 479:Spacewar;低延迟任务与LLMs;Genie 4

LLMs对视觉模型的看法

Jack Clark

2026年11月2日

欢迎阅读Import AI,一份关于人工智能研究的电子通讯。Import AI依赖于arXiv、卡布奇诺咖啡和读者反馈。如果您希望支持本刊,请订阅。

LLMs 在低延迟任务中表现非常糟糕:……Realtime-Bench 表示,AI 系统要能为你玩游戏或进行在线拍卖还需要很长时间……研究人员构建了 Realtime-Bench,这是一个“经过精心挑选的动态任务套件,其中延迟操作会直接影响任务成功”。该测试有助于评估现代通用 AI 系统在需要实时决策的任务中表现如何。基准测试包含 50 个交互式游戏和网页任务,分为四个类别中的 30 个网页任务(旅行、电子商务、服务和安全),以及 20 个游戏任务(街机、解谜、策略和模拟)。研究团队构成:该基准由德克萨斯大学奥斯汀分校、俄亥俄州立大学、伊利诺伊大学厄巴纳-香槟分校、NVIDIA、西北大学和 Steadyworks 的研究人员构建。评估维度:该测试旨在考察三个能力:时间状态感知("RT-Perceive"),即模型能利用观察来追踪世界变化;适应性推理("RT-Deliberate"),即模型能根据可用时间调整推理深度和长度;以及时间感知动作选择("RT-Act"),即模型能根据情境恰当地安排动作时机。"例如,一个购买车票的智能体必须跟踪销售状态并判断观察到的可用性是否仍然有效(RT-Perceive),在购买窗口关闭时限制进一步推理(RT-Deliberate),并在等待销售开启与票源仍有余票时购买之间做出选择(RT-Act)"。测试包含三种条件:Wall clock(测试真实世界延迟下的表现)、Paused clock(允许任意暂停以评估基准能力)和 Token clock("按生成 token 的固定速率推进环境。动作在提交时根据模拟时间执行,因此消耗更多 token 会延迟执行,与实际推理延迟无关")。模型表现如何?作者测试了 OpenAI(GPT-6-Astra、GPT-5.6 Sol、GPT-Realtime-2、OpenAI Decisions)、Anthropic(Claude Fable 5.1、Claude Opus 5)、Google(Gemini 3.8 Flash、Gemini 3.1 Flash Live、Gemini 3.8 Live)、Jev 1.13 以及 Deepseek(V4.1)和 Moonshot AI(Kimi-K3)的中文模型。GPT-6 Astra(高)在 'wall clock' 评估设置中通过率最高,达到 36%。相比之下,在 paused clock 条件下,具有高推理能力的模型成功率接近 70% 甚至 80%。重要性:该基准是 AI 智能体失效的有力代理指标——此处的低分表明 AI 智能体尚无法胜任这些任务。查看排行榜:Realtime-Bench(官网);阅读论文:Realtime-Bench: Can Frontier Models Solve Real-time Interactive Problems?(arXiv). *** 由美国国防情报局提供的太空战未来:……反卫星技术、太空核武器等……从事 AI 工作可能压力很大,因此有时我会通过阅读其他主题来放松,以了解其他领域存在哪些恐怖之事。我对待抑郁症也采取类似方法:当感到悲伤时,我会尝试聆听比自己更悲伤的人的音乐来让自己振作(例如 Radiohead、Neil Young,以及在非常黑暗的时刻 Bill Callahan / Smog 等)。基于这个思路,我最近阅读了美国国防情报局的《空间安全面临的挑战》。太空现状:如同地球上的冲突,太空领域的冲突主要体现在美国与中国、俄罗斯、伊朗和朝鲜之间,其中中国技术最先进,俄罗斯表现最激进。"中国和俄罗斯正在开发一套强大的进攻性能力谱系,用于削弱或摧毁其他国家的太空服务,从动能摧毁到复杂的干扰和网络攻击,"DIA 撰写。"过去十年间,中国每年的太空发射次数已超过三倍,2016 年为 22 次,2025 年达到 93 次……北京认为太空对美国及其盟友的行动至关重要。北京还将太空视为进攻性军事领域,这塑造了 PLA 军事规划和战役的核心组成部分。"太空战争:从这份 100 多页的报告中,你获得的总体感觉是,太空中正在发生大量令人不安、可怕的事件,或者地面事物正在对太空中的事物实施可怕行为。一些引述示例:

  • “到2020年代末,中国可能部署基于空间的定向能系统以及功率更强的地面定向能系统,这些系统有能力威胁更高轨道上的卫星”
  • “中国正在发展包括轨道反空间武器在内的空间技术,这些技术能够使空间系统面临风险”
  • “俄罗斯的Peresvet地面激光系统旨在使敌方卫星的光学系统致盲,以掩盖俄罗斯战略导弹系统的移动”
  • “近年来,俄罗斯发射了多颗卫星,在轨进行测试活动,验证可能对其他国家卫星实施攻击并造成临时或永久性损害的技术"

中国拥有几架类似美国高度机密的X-37B飞行器的空天飞机,且似乎正在变得更为复杂。2023年,中国上述飞行器之一"释放并与一个物体进行了互动"。

卫星间的对抗:整份报告清楚地表明,我们正处于一个各国卫星竞相升空干扰他国卫星的时代。

  • DIA在报告中写道:“2019年,俄罗斯发射了Cosmos 2542卫星,该卫星释放了第二颗卫星Cosmos 2543。随后Cosmos 2543开始跟踪一颗美国国家安全卫星,并多次以足够接近的距离接近该卫星,可能造成危险的运行环境。”“俄罗斯正在发展动能轨道系统,用于永久性瘫痪或‘摧毁’卫星。莫斯科的Burevestnik是一种正在研发的共轨空射反卫星武器,用于摧毁低地球轨道上的航天器。”
  • “2022年2月,俄罗斯发射了一颗名为Cosmos的卫星,当时莫斯科声称该卫星正在测试空间辐射对电子系统的影响。这颗卫星被送入了一个独特且孤立的轨道,该轨道未被其他航天器使用。”

太空核弹:俄罗斯正在太空进行核武器实验。“太空核爆炸将产生电磁脉冲,这会立即影响范围内的卫星,并可能对民用基础设施造成影响,”DIA写道。“太空核爆炸可以针对大多数轨道上的卫星进行定制——低地轨道(LEO)用于商业和侦察卫星,地球同步轨道(GEO)用于关键通信,中地轨道(MEO)用于导航和定时卫星。”为什么这很重要——人工智能权力斗争下一阶段的基础设施:随着人们投入更多资源建设基于太空的数据中心(最终可能建设基于月球的数据中心),太空的战略和商业价值将变得越来越重要,竞争也会越来越激烈。此类研究让我们了解目前已经在太空中的硬件以及未来可能出现的硬件。也许在遥远的未来,人工智能也可能试图控制这些太空资产。了解更多:DIA发布《太空安全挑战》(美国国防情报局,新闻稿)。阅读报告:《太空安全挑战》(DIA,PDF)。***

Metis:一家试图融合符号推理与神经推理的初创公司:……朝着类似伏尔甘的机器思维……Metis是一家希望构建新型人工智能架构的初创公司,其目标是开发具有更强推理能力的机器。该公司发布了一篇研究论文,阐述其研究方法。总体摘要很简单——Metis希望为现代开放领域问题做类似DeepMind为封闭领域问题(如棋盘游戏)所做的工作,通过AlphaGo和AlphaGo Zero项目。他们想做什么:这里的中心思想是为现代人工智能架构添加一个比我们目前拥有的更可靠的推理核心。“在现代人工智能架构中,使AlphaGo成为成功推理系统的其他外围机制大多隐含或缺失,”他们写道。“第一个缺失的要素是显式且持续的本体状态……第二个缺失的要素是允许系统选择有助于实现目标的推理步骤的标准。”这更像是一篇立场论文,而非技术论文,因此他们在这里没有提供太多细节。主要想法是基于真实世界的数据收集,训练一个推理策略和价值函数,然后利用这些来引导系统执行减少长期不确定性的推理,并将这些内容置于由关于世界的主张或假设组成的基本数据核心上。“对主张的证据状态的任何更改都必须由证据授权,或通过显式计算验证,并经独立判断系统批准,”他们写道。“模型生成的内容不能仅因看似合理就进入被接受的本体状态;它必须通过担保评估,从而减少幻觉。证据来源可以直接附加到它们支持的命题上,提供清晰的来源链。推理过程变得显式可审计。”为什么这很重要——构建可靠且高度非人性化的底层架构:这里描述的架构理念既因为其对提高人工智能系统可靠性的承诺而引人入胜,也因为其高度非人性化的特性:人类并不从某种纯净的事实基础进行推理,而是全部由记忆、直觉和一些规则(其中一些从经验中学习,另一些似乎更接近柏拉图式的逻辑推理形式)构成的混乱一团。以这种方式来看,当代大型语言模型(LLMs)比这里描述的系统更像人类。“人工智能的历史可以被理解为符号方法与神经方法之间的竞争,但或许更有建设性的是将其视为两个不完整成功的叙述,”Metis写道。“经典系统使推理过程的某些方面显式化,但依赖于人工提供的表示、操作符、启发式方法和知识。当代大型语言模型学习了非凡的语义操作和大量隐含知识,但推理的组织、评估和积累仍然是隐式的。”这里描述的人工智能系统将以一种与人类思维截然不同的方式“思考”,而这样的系统可能会让我们更清楚地认识到我们自身智能与机器智能之间的差异。了解更多:《推理时代》(Metis,PDF)。***

谷歌召唤Genie 4以实现更好的世界建模:……谷歌最有趣的项目之一仍在继续!……谷歌DeepMind发布了Genie 4的详细信息,这是其Genie世界模型的新版本。目前,该公司正在向一些受信任的测试者提供Genie 4的访问权限,作为研究预览,并最终将向谷歌AI Ultra订阅者开放。Genie系列模型非常引人注目,展示了这样一个世界:你可以拍摄任何东西的照片,将其转化为可交互的环境,或者将二维绘图转化为电子游戏的舞台,等等。关键功能:谷歌指出,Genie 4有四个使其区别于之前版本的功能。这些包括:

  • 实时修改:「你可以使用自然语言实时修改模拟场景——例如改变天气、移动摄像机,或引入新的人物和物体——Gemini 会根据周围场景的上下文动态调整提示内容。」
  • 物理与人类行为模拟:「Genie 4 能够模拟现实世界的物理场景,例如空气动力学、碰撞等,」同时它对人类行为的模拟也更出色。「最显著的突破在于 Genie 4 对人类的模拟,它能生成自然移动、对环境有机响应,并且可以实时交互式操控的角色。」
  • 声音建模:Google 表示,「Genie 4 是我们首个能原生生成音频的实时世界模型,」它还「引入了能够实时动态适应的交互式对话系统。」
  • 复杂事件模拟:Google 将 Gemini 3.8 Flash 嵌入 Genie 4,使快速的 Flash 模型「作为闭环中的指导代理」持续提供校准。「Gemini 持续观察场景,将目标分解为步骤序列,并审查新帧以跟踪进度并验证每一步是否成功。当世界发生变化或用户干预时,Gemini 会即时调整计划,从而实现具有可靠因果关系、程序化行为和多步骤推理的世界模拟。」

为什么这很重要——通向由机器创造的多重世界:尽管这项技术目前仍存在明显缺陷(例如机械化的语音、可视化环境中的梦幻般不一致性等),但它指向了一个可能的未来:我们可以通过创建和提示自定义世界,生成无限形式的娱乐内容(甚至可能生成数据)。阅读官方声明:Genie 4:新一代世界模拟(Google DeepMind 博客)。观看视频:Genie 4:新一代世界模拟(Google DeepMind,YouTube)。技术故事:城市竞速【2040年代游戏的描述】在《升维》之后,孩子们最喜欢的游戏之一叫做「城市竞速」;在游戏中,他们相互竞争,规划、建造和管理城市,扩展至一颗新行星的领域。这些城市被时间冻结,从它们所处时代的科技水平开始,游戏持续约一个世纪,允许部分技术进一步发展。每场游戏都使用戴森云中资源的一小部分进行模拟,从而实现高度复杂的模拟(尽管存在本地代理认知限制,确保没有任何事物发展到足以被认定为有意识实体的程度)。数以万计的模拟意识在城市中诞生又消亡,有时在精心管理者的城市中繁荣发展,有时则陷入贫民窟,或在经济衰退地区老去;成为他人成功之路的牺牲品。孩子们被要求在每场游戏结束时,花一天时间进入他们所构建的每个城市生活;那些建造了奇迹之城的孩子会体验自己创造的奇迹,然后漫步于因自身失误而衰败的城镇。那些曾挣扎求生的孩子则居住在暮色中的城镇,随后得以游览那些导致他们毁灭的遥远之地。

启发这个故事的灵感来源:Iain M Banks 的《Player of Games》;Simcity;游戏玩法;城市设计;Hermann Hesse 的《The Glass Bead Game》。感谢阅读!