How Diffusion Controller unifies and simplifies AI image generation

扩散控制器如何统一并简化AI图像生成

2026年9月29日

Hsu Chih-wei 和 Ryu Moonkyung，Google Research 软件工程师

我们推出扩散控制器（Diffusion Controller），这是一种轻量级的"转向阻尼器"网络，能够精准引导图像生成过程，显著提升提示对齐效果。该网络可无缝接入甚至封闭源代码模型，无需破坏基线稳定性即可提升图像质量。

快速链接

• 论文

• 分享 复制链接 ×

文本到图像AI模型（如Nano Banana、Stable Diffusion和Flux）的快速发展彻底改变了创意设计领域，使任何人都能从文本描述中生成逼真、高保真的图像。然而，引导这些庞大模型满足精确的用户意图、下游目标或严格视觉约束仍是一个微妙且不可预测的平衡过程。例如，设想提示模型生成"戴墨镜的蜥蜴"。模型可能会生成没有戴墨镜的逼真蜥蜴。或者强行要求模型包含墨镜可能会扭曲蜥蜴面部，破坏图像质量。

现有引导或微调图像生成的方法存在严重割裂。一方面，开发者使用推理时技术（如无分类器扩散引导）来调整文本提示的影响并实时引导图像生成过程。另一方面，他们依赖LoRA等参数高效适配器、奖励加权回归或策略梯度等重型微调方法来改变模型行为。

由于这些工具历来被视为独立且无关的解决方案，该领域缺乏统一、分析和优化控制生成模型的单一数学语言。这种碎片化方法常常迫使工程师在平衡用户偏好对齐与图像质量时依赖猜测。

为了解决这一平衡难题，我们提出了扩散控制器框架。扩散控制器不再将图像生成视为孤立步骤的刚性序列，而是将整个去噪过程重新定义为平滑的连续控制问题。我们的结果显示，扩散控制器的轻量级附加网络在匹配人类偏好方面优于行业标准。此外，其完全解锁版本（即具有"白盒"或无限制访问权限以修改内部模型权重的微调模型）在基准模型上实现了90%的胜率。

扩散控制器框架

扩散控制器框架将图像生成过程（AI模型从随机噪声逐步精炼出清晰图像的过程）视为平滑可控的旅程。想象基础预训练模型是一辆强大但笨重的摩托车；重建其核心引擎以改变驾驶方式既低效又风险高。相反，扩散控制器作为轻量级转向阻尼器附加其上，而主模型（摩托车）则保持完全冻结且安全不变。

Diffusion Controller 的核心机制（转向阻尼器）无需猜测每一步如何引导生成过程，而是在图像创建过程中动态调整生成轨迹。它通过平滑校准模型的标准默认行为，对能最大化用户定义目标（如实现艺术风格或上下文对齐）的方向赋予更高权重。

根据 image_width 确定合适的宽度

对于移动设备图像，使用默认宽度

并排视觉矩阵对比基础预训练模型、LoRA 和 Diffusion Controller 在复杂提示下的输出效果。

通过数学优化生成轨迹的转变并结合反馈，Diffusion Controller 框架实现了平衡，成功将模型生成过程引导至新的用户偏好方向，同时完全保留基础模型的清晰视觉质量和底层稳定性。回到上面的蜥蜴示例，这意味着转向阻尼器会引导模型确保太阳镜被包含，但惩罚防护机制会启动以防止系统扭曲蜥蜴的自然鳞片和比例来实现这一点。

从理论到实践

为了将这个理论控制问题转化为实用工具，我们通过最终奖励评分构建了两种高效的微调方法，弥合了抽象且可能难以处理的方程与实际应用之间的差距：

• 方法 1：策略梯度和 PPO（稳定优化器）：该方法通过计算的渐进调整逐步引导模型。它包含内置的"裁剪规则"，就像速度限制器一样，防止系统对模型行为做出大规模、剧烈的改变，确保训练过程保持平滑稳定。

• 方法 2：奖励加权损失（快捷方式）：这提供了一条直接的优化路径。它对产生高质量结果的生成过程给予重奖，从数学上保证模型能够可靠地学习生成用户期望的图像类型。

"转向阻尼器"网络

Diffusion Controller 框架像转向阻尼器一样运作，解决了现实世界中的重大商业问题。通常要改变模型行为需要"白盒"访问权限来深入其核心引擎并修改内部设置。然而，世界上最好的图像生成模型往往是企业机密（被称为黑箱或灰箱）。

转向阻尼器网络依赖于完美的图像引导指令，这是基础模型知识与小幅修正的结合。它观察图像在消除静态内容时的状态，并注入精确的微观级转向修正。这使工程师能够完美控制和定制即使是最封闭的源代码模型，而无需接触底层代码。

展示冻结主干如何将中间反向均值传递给 Diffusion Controller 侧网络以计算综合评分的高层架构图。

实验与结果

我们使用 Stable Diffusion v1.4 主干在三个微调场景下评估了 Diffusion Controller 框架的能力：监督微调（SFT）、奖励加权损失（RWL）和 PPO。使用标准化的人类偏好评分（HPS-v2）衡量性能，以确定生成图像与用户提示和审美选择的匹配程度。

我们已在 Diffusion Controller 框架下实现了四种网络结构：

• Diffusion Controller：我们的转向阻尼网络，用于灰盒访问，以中间反向均值作为输入，并引入了提出的侧边适配器流。
• Diffusion Controller-Naive：一种简单的转向阻尼网络设计，既不使用中间反向均值，也不包含侧边适配器流。
• Diffusion Controller-J：通过联合训练转向阻尼网络和基础模型实现的白盒解决方案。
• Diffusion Controller-S：通过分别训练转向阻尼网络和基础模型实现的另一种白盒解决方案。

HPS-v2 在 HPS-v2 测试提示集上与预训练模型的胜率对比（所有设置均使用各自报告的检查点）：SFT（顶部）、RWL（中部）和 PPO（底部）。

结果表明，Diffusion Controller 在完全可访问的"白盒"环境和高度限制的"灰盒"环境中均表现出色，始终优于相应的基线模型，并实现了更优的质量-效率权衡。

在 SFT 和 RWL 轨道中，灰盒 Diffusion Controller 转向阻尼网络在 HPPS-v2 胜率上超越了 LoRA——当前最先进的参数高效白盒方法。这是一个重要里程碑，因为 Diffusion Controller 在实现这一成绩时，操控的内部模型层数显著少于 LoRA。此外，在全面的人类评估面板中，Diffusion Controller 在复杂多属性测试提示的主观质量和提示匹配结果方面均取得最佳表现。

训练结束时的胜率与基线对比。每个子图展示了三组对比：（灰盒）Diffusion Controller 与 Diffusion Controller-Naive；（白盒）Diffusion Controller-J 与 LoRA；（白盒）Diffusion Controller-S 与 LoRA。（a-c）：SFT/RWL/PPO 的 HPSv2 胜率，橙色误差条表示标准差；（d）：PPO 的人类评估胜率。

该框架的核心特性是运行时的灵活性。通过调整单一的推理时引导强度参数，用户可以动态调节控制约束的强度。这使得可以在不破坏基线图像稳定性或造成传统引导方法典型视觉失真的情况下，实时平滑地进行提示对齐的精细调整。

结论

通过将数学控制与图像生成模型相结合，Diffusion Controller 桥接了纯数学与现代创意工具之间的鸿沟。它不再依赖于拼凑的猜测和临时补丁来调整模型，而是提供了一个单一的、数学严谨的系统来引导图像生成。最重要的是，它提供了一个实用且轻量的"转向阻尼"蓝图，即使在访问受限的闭源模型上也能完美运行。

展望未来，这一统一框架为研究开辟了令人兴奋的新方向。由于控制层完全与模型核心引擎分离，未来的开发者可以将 Diffusion Controller 应用于远不止匹配文本提示的场景。立即的下一步包括使用该框架构建高级个性化工具、开发稳健的安全机制以帮助缓解有害内容生成，以及将转向阻尼网络适配到控制复杂下一代视频模型。

我们谨此感谢来自谷歌研究院、谷歌DeepMind以及学术界的合作者和研究伙伴对本工作的贡献。

• 标签：

• 算法与理论

• 机器智能

其他相关文章

• 2026年9月24日 自动生成连贯的长视频内容 生成式AI · 机器智能

• 2026年9月18日 MilleMiglia：面向中程物流的现实实例生成器 算法与理论

• 2026年9月17日 实践的未来：赋能教师通过生成式UI创建交互式学习内容 教育创新 · 生成式AI · 机器智能

×

❮

❯

四组柱状图，比较不同扩散控制器模型在多种训练和评估方法下与基线模型的胜率表现。

三组折线图，绘制HPS胜率与训练步数的关系，展示不同扩散控制器模型随时间推移持续优于LoRA基线模型的表现。

视觉对比矩阵，展示基于特定文本提示，预训练模型、LoRA模型和"我们的模型"生成的猫、蓝鸦和蜥蜴的AI图像。

系统架构图，说明数据从输入经过冻结的预训练主干网络和可训练的扩散控制器侧网络，最终生成综合评分的流程。