Investing in multi-agent AI safety research

Google DeepMind 与合作伙伴宣布多智能体安全研究资助计划 —— Google DeepMind

2026年6月11日

责任与安全

投资多智能体人工智能安全研究

Google DeepMind、Schmidt Sciences、合作人工智能基金会（Cooperative AI Foundation）、ARIA 以及 Google.org

分享

为多智能体世界扩展人工智能安全研究

过去十年，我们一直致力于使单个人工智能模型更加强大、有用和安全。今天，Google DeepMind —— 联合 Schmidt Sciences、合作人工智能基金会（Cooperative AI Foundation）、先进研究与发明机构（Advanced Research and Invention Agency），并得到 Google.org 的支持 —— 宣布启动一项新的技术研究资助计划，最高金额达 1000 万美元，面向全球研究人员。

随着人工智能技术的扩展，我们正进入一个新时代。不久的将来，由不同组织构建的数百万个人工智能智能体将在数字环境中相互作用，彼此之间进行交流、协商和交易。

当这些系统相互作用时，它们必须安全且可预测地进行。这一转变创造了一个重要的机会：我们可以从一开始就加强整个人工智能生态系统的安全性和稳定性。

该资助计划聚焦于研究大规模多智能体人工智能系统作为整体的行为方式，以及如何提供框架来理解和缓解潜在风险。通过赋能全球研究人员，我们的目标是解决独立系统在不同网络中相互作用时产生的“隐形”安全风险。

为什么智能体生态系统很重要

当大量人工智能智能体相互作用时，新的集体行为和能力可能突然出现。目前，我们缺乏预测、衡量和监控这些转变的工具。大多数安全评估都是在隔离环境中分析模型。然而，正如我们和其他人之前所指出的，相互作用的自主智能体可能会产生复杂、难以预料的“涌现”行为。

由于这是一个新的研究领域，理解这些转变如何发生至关重要。例如，它们是否会导致不可预测的经济活动激增，或者带来新的安全挑战？理解如何管理这些系统范围内的行为是我们的核心目标。

扩展多智能体安全研究的前沿

尽管多智能体安全的基础框架已经存在，但这些系统的快速演进要求立即进行大规模的研究扩展。

我们2025年的研究建立了一个理解这些相互作用的框架，而我们近期关于人工智能智能体陷阱（AI Agent Traps）的工作则探讨了智能体在对抗性环境中所面临的脆弱性。现在，我们必须加快步伐。我们正处于一个关键的转折点，多智能体相互作用的复杂性正在超越现有的安全模型。

该资助计划旨在通过支持一个全球独立研究人员网络来加速进展。一个多元化的社区对于确保所有人的安全标准透明且稳健至关重要。

这一努力也推动了 Schmidt Sciences 的“可信人工智能与智能体科学”计划的使命，该计划支持对前沿人工智能系统风险的理解和缓解的基础性工作，以及 ARIA 的“扩展信任”计划，该计划旨在解锁新的网络物理多智能体协调形式。

一项协作的行动呼吁

没有一个实验室能够单独解决多智能体安全问题。我们邀请学术界和独立的研究人员在以下四个重点领域提交提案：

• 沙盒与测试平台：构建现实且可复现的环境，用于评估、比较并加速多智能体安全领域的所有方面的发展。这包括虚拟市场、模拟生态系统和多组织工作流程。

• 智能体网络的科学：理解交互智能体群体的安全相关属性，包括研究集体能力如何产生和扩展、网络如何失效或变得不稳定，以及如何检测危险的、不可预见的群体层面属性。

• 强化智能体基础设施：对确保跨平台智能体交互的安全协议（如身份、声誉和承诺）进行压力测试。

• 监督与控制：开发用于监控已部署智能体群体的方法，并在大规模范围内缓解集体危害。

如何参与

我们邀请研究人员审阅我们的提案征集，并与我们携手构建多智能体未来的安全基础。

申请截止日期为2026年8月8日，获奖者预计将在2026年秋季公布。

有关技术要求和申请流程的更多详细信息，请访问我们的申请门户。