Automating coherent long-form video generation

自动化连贯长视频生成

2026年9月24日

Yale Song 和 Yiwen Song，Google研究科学家

我们引入了一个统一的多智能体框架，能够自主生成时间上一致的长视频叙事，克服了当前线性AI流水线的身份漂移和级联故障问题。

快速链接

• AI视频联合导演
• CANVAS
• A²RD
• VQQA
• 分享 复制链接 ×

视频扩散模型的最新进展展示了令人印象深刻的高保真生成能力，这些模型可以在几秒钟内渲染出逼真的场景。然而，尽管扩散模型能够生成高保真视频片段，但将其转化为连贯的长叙事引擎仍然具有挑战性。

大多数现有的智能体流水线通过链式模块自动化这一过程，但由于独立的手工提示，它们会遭受语义漂移（镜头之间角色服装或场景的细微变化）和级联故障（例如上游资产伪影破坏下游视频合成）。由于早期错误会传播并破坏长期一致性，该过程通常需要大量的人工干预。从结构角度来看，这反映了经典的信用分配问题，因为终端故障很难追溯到特定提示。此外，现有方法还存在特征漂移问题，即实体和环境会无意中逐渐改变，或内容崩溃问题，即叙事无法有意义地推进。

今天，我们介绍了AI视频联合导演的研究，这是一个统一的多智能体框架，能够显式规划多镜头叙事中的视觉连续性。该框架构建在Gemini和Veo之上，作为编排层，原生继承了SynthID水印等安全机制。通过将长视频生成视为全局优化和世界状态跟踪问题，我们开发了一系列框架——Co-Director（将于COLM 2026发表）、CANVAS（将于EMNLP 2026发表）、A²RD和VQQA——这些框架通过自动化重复的编排任务（从多模型提示和镜头链接到闭环视觉优化），将高层人类创意规范转化为执行。

我们设计了这些框架作为响应式的创意合作伙伴，抽象出维护视觉连续性的负担，使用户能够专注于叙事艺术。该架构通过将质量建模为测试时目标，将创意合成与一致性解耦。在全面评估中，我们的框架在多镜头叙事一致性和角色持久性方面表现出显著提升，成功生成了数分钟长的视频，同时缓解了视觉漂移和流水线错误传播。

这将创意过程形式化为在探索新颖叙事策略与利用有效创意配置之间寻找最佳平衡的搜索过程。系统会采样抽象的创意轨迹——例如将信息策略与片段叙事模式及特定审美原型相结合——并动态注入到子代理的系统提示中。这种自上而下的控制确保整个流程在统一愿景下运行。由于我们的AI视频协同导演框架作为编排层运作，它通过将这些结构化提示直接输入基础Gemini和Veo模型来实现这一愿景（尽管其模型无关架构允许其部署在任何基础生成模型之上）。这种架构确保所有生成的图像、视频和音频都内嵌原生安全保护措施，包括SynthID水印。在生产阶段，还可以在最终视频上应用额外的安全分类器，以防止单独安全的片段之间出现意外的上下文交互。

该流程通过两个相互关联的循环实现全局优化：战略控制和多阶段生产。首先，编排代理使用多臂老虎机（MAB）算法评估输入，从三个维度选择创意配置：（1）创意策略（意图），（2）叙事模式（故事结构），（3）审美原型（视觉基调和摄影风格）。该配置驱动生产层级。预生产代理将简要的逐场剧情和视觉素材合成统一的分镜脚本。然后，生产代理通过专用子代理将该分镜脚本转化为具体的视听媒体：关键帧代理确定角色和场景的视觉效果，视频代理添加运动，音频代理叠加匹配的旁白和配乐。

最后，一个多模态大语言模型（MLLM）评判者会从三个指定维度对合成的剪辑进行评估，将分解后的奖励信号反馈给MAB，从而在连续生成循环中迭代优化选择。

根据image_width确定适当的宽度

对于移动设备图像，使用默认宽度

AI视频协同导演多代理管道。顶部：编排代理利用MAB在分解的创意动作空间中进行导航。底部：预生产代理合成创意简报、剧情和视觉素材以建立一致的分镜脚本，生产代理将其转化为同步的关键帧、视频片段和音频。一个MLLM评判者评估最终视频以生成分解后的奖励信号，该信号被传递回MAB以在优化循环中迭代优化创意配置。

2. 使用CANVAS进行视觉分镜

即使拥有统一的剧本，生成长序列镜头通常会导致角色漂移和不稳定环境。为了解决这一问题，我们引入了通过视觉代理分镜实现的连续性感知叙事（CANVAS），这是一个多代理框架，可显式规划多镜头叙事中的视觉连续性。

CANVAS 通过在叙事发展过程中维护角色、位置和对象状态的结构化表示来确保一致性。作为构建在 Gemini 之上的编排层，它依赖于持久的视觉记忆。通过从记忆中检索视觉锚点或在需要时初始化新的锚点，CANVAS 确保了同一场景内的平滑过渡。这种显式的世界状态建模保证了角色在重新访问时能保持身份认同，环境也能保留其空间结构。

为了直观展示这些特性，下图对比了多镜头博物馆抢劫场景中 CANVAS 与代表性基线方法的表现：直接使用底层基础模型（Gemini-3.1-Pro）生成和替代的多智能体框架（AutoStudio）。图底部的提示词突出了需要保持视觉一致性的重复元素——例如盗贼、展厅和宝石。请注意每种方法在处理连续过渡（如角色服装）与非连续过渡（如镜头在绕道后返回主厅）时的表现差异。单独使用 Gemini-3.1-Pro 生成的视频存在道具不一致（文物发生变化）和背景漂移（房间布局变化），这体现了无引导生成的局限性。AutoStudio 在镜头切换时也会退化，导致角色漂移（盗贼帽子消失）和背景不一致。相比之下，CANVAS 的持久视觉记忆确保了角色、空间几何和对象状态在整个叙事中保持完美一致。

HardContinuityBench 数据集上的博物馆抢劫场景视觉分镜对比，展示 CANVAS 与 AutoStudio 和 Gemini-3.1-Pro 基线方法的差异。

3. 使用 A²RD 扩展时间动态

为了将分镜脚本转化为实际的数分钟长视频，我们开发了 A²RD——一种基于智能体的自回归视频生成架构。A²RD 的特点在于逐段生成，并结合多模态视频记忆来跟踪段落上下文和动态。

对于每个段落，系统通过“检索-合成-优化-更新”循环进行处理。该循环的关键环节在于智能体如何自适应地确定段落生成模式。它在扩展（extrapolation）与插值（interpolation）之间平滑切换：前者用于实现自然的叙事推进，后者则将段落锚定到现有实体和环境。这种机制有效平衡了推动故事发展与维持场景物理真实性的需求。

为验证该系统，下方的十分钟电影展示了长篇生成任务，要求在数分钟的时间跨度内保持叙事连贯性。视频突出了系统在两种运行模式间的动态切换：使用扩展模式推动剧情进入新的叙事节点，使用插值模式将回归的角色和环境锚定到原始设计。而标准视频生成器则会遭遇严重视觉退化——角色突变、场景变形——A²RD 通过持续查询其多模态视频记忆，从开场镜头到最终帧始终维持角色身份、服装细节和结构几何的一致性。

观看影片

Link to Youtube Video

展示 A²RD 在连续十分钟内维持严格视觉一致性和叙事推进能力的长篇视频示例。

4. 通过 VQQA 进行闭环优化

最后，我们需要一种方法让系统能够自主识别并修复视觉瑕疵。现有的测试时优化方法通常要么计算成本高昂，要么需要访问模型内部的白盒信息。为了解决这个问题，我们开发了视频质量问答（VQQA），这是一个统一的多智能体框架，可跨多种输入模态和视频生成任务进行泛化。

VQQA会根据特定提示动态生成视觉问题，并将由此产生的视觉语言模型（VLM）批评作为语义梯度（提供自然语言方向性反馈以指导迭代优化，类似于反向传播中的数值梯度）。这取代了传统的被动评估指标，转而使用人类可解释的、可操作的反馈。系统随后可以通过自然语言接口执行一个高效且迭代的反馈循环（模型生成视频、通过视觉问题进行评估，并根据批评优化文本提示）。为了防止优化过程中出现语义偏移，VQQA采用全局选择机制：不是盲目采用最终迭代的输出，而是由全局VLM评分者将优化轨迹中所有生成的视频与原始未修改提示进行对比评估。系统随后会选择得分最高的候选视频，确保局部修正不会破坏整体上下文。

在实际应用中，VQQA作为黑盒提示优化器而非像素级编辑器运行。它不直接修改像素，而是通过迭代优化文本提示来修正高层次的组合缺陷（如属性绑定错误或角色属性不一致）。这个更新后的提示会引导生成器在潜在空间中采样新的路径。在以下示例中，VQQA不会遮盖或绘制原始帧，而是通过在严格的立方体几何形状上渲染逼真的铝箔气球纹理来解决模型的材质绑定问题，并通过保持小提琴手和钢琴家始终固定在各自乐器上，修复了表演中途混乱的乐器切换问题。

播放静音循环视频

暂停静音循环视频

取消静音视频

静音视频

解决属性绑定错误。提示："一个立方体气球漂过圆形窗户，阳光透过玻璃窗照射进来。" 常规生成（左图）未能捕捉气球的特性，渲染出一个僵硬且无纹理的立方体，而VQQA（右图）成功实现了预期的立方体形状，同时保持了充气气球的纹理和材质特性。通过利用迭代视觉反馈，优化后的提示引导生成器渲染出一个具有明确边缘和接缝的箱形铝箔气球，平稳地漂过阳光照射的窗户。

解决时间不一致性。提示："小提琴手和钢琴家以和谐的二重奏表演吸引观众。" 常规生成（左图）在镜头切换时出现严重的连续性断裂，最初显示的是女性钢琴家和男性小提琴家，但切换后突然变成女性演奏小提琴。VQQA（右图）在整个表演过程中始终保持严格的语义一致性，持续保持女性钢琴家和男性小提琴家固定在各自的乐器上。

关键结果与基准测试

为了严格评估我们的框架，我们开发了三个专门的基准测试，旨在复现专业视频制作中的挑战。

• GenAD-Bench：采用人机协作流程，将Gemini 3 Pro与专用图像模型结合，构建包含50个虚构品牌（每个品牌含4种不同产品）的数据集。在400个独特场景中，该基准测试通过精确的营销约束条件进行评估，无需依赖版权冲突或训练先验知识。

• HardContinuityBench：用于评估空间和环境连续性。该基准通过复杂的GPT-5.2多轮叙事分镜生成，挑战模型处理场景重现间巨大间隔、演员服装配饰频繁变化以及交互道具复杂状态变化的能力。

• LVBench-C：解决长时序动态问题。该数据集包含120个纯文本场景，分为动态角色状态、物体属性变化和渐进式环境揭示三类，严格遵循关键视觉资产必须消失至少10个片段后，才能以符合叙事逻辑的方式重新出现的规则。

我们的评估结果表明，与现有视频生成架构相比，模型在性能上实现了可衡量的提升。通过探索创意策略搜索空间，AI视频联合导演在GenAD-Bench上达到81.4的峰值质量得分，并在ViStoryBench上显著提升了故事连贯性。CANVAS通过结构化视觉记忆缓解场景漂移，在ST-Bench和HardContinuityBench的场景重现中实现了显著的连续性提升。针对长时序动态，A²RD通过最小化布局漂移，在VBench-Long和LVBench-C的连续多分钟运行中提升了角色和环境一致性。最后，VQQA的闭环提示优化解决了物理和构图不一致问题，在T2V-CompBench、VBench2和VBench-I2V上实现了显著的绝对质量提升。有关模型架构、训练配置和基准评估的详细信息，请参阅相关论文。

未来方向

这些框架是创作者实现连贯、长时序视觉叙事的基础性突破。随着我们持续优化这些智能代理架构，正在探索如何整合人机协作工作流。我们的最终目标不是取代人类叙事，而是通过抽象化时间一致性与世界状态追踪的繁琐复杂性，让创作者始终掌控创意方向和叙事设计。

致谢

这项工作得益于Google各研究团队的共同努力。我们特别感谢Andrew Pan、Brett Slatkin、Burak Gokturk、Carina Claassen、Daniel Vlasic、Do Xuan Long、Ishani Mondal、Jasmine Leon、Jingyun Liu、Joe Timmons、Jordan Boyd-Graber、Khanh G. LeViet、Kuang Su、Long T Le、Mihir Parmar、Min-Yen Kan、Nathan Hodson、Nick Losier、Palash Goyal、Rhyard Zhu、Sebastian Ko、Scott Penberthy、Yan Xu、Yang Li、Ye Jin、Zack Chomyn和Tomas Pfister对本研究系列的宝贵贡献。

• 标签：

• Generative AI
• Machine Intelligence

其他相关文章

• 2026年9月17日 《实践的未来：通过生成式UI赋能教师创建互动学习内容》 教育创新 · 生成式AI · 机器智能

• 2026年9月15日 突破推理瓶颈：利用Retrieve-for-Train算法与理论加速复杂AI搜索 · 数据挖掘与建模 · 生成式AI

• 2026年9月10日 ToolGrad：通过文本"梯度"实现高效工具使用数据集生成 · 机器智能 · 自然语言处理

×

❮

❯

一张流程图，展示由协调器、前期制作、制作和后期制作代理组成的AI视频联合导演流程。

一张数据表，比较四个AI视频生成框架的评估基准、关键性能指标和基线改进：AI视频联合导演、CANVAS、A²RD和VQQA。

一张分镜图，比较Auto Studio、Gemini和Canvas平台在博物馆抢劫场景中的视频生成一致性。