These AI Experts Want to Do High-Stakes Research Out in the Open

这些AI专家希望在公开场合进行高风险研究 | WIRED

Will Knight

商业

2026年10月2日 下午12:00

这些AI专家希望在公开场合进行高风险研究

许多前沿实验室会将高风险研究严格保密。Trillium Labs则希望在自我改进和模型行为研究领域公开展示其成果。

图片插图：WIRED编辑部；Getty Images

保存此故事

一些大型AI公司似乎认为，防止模型变得过于混乱或顽皮的最佳方式是将其限制在实验室内部。这种观点认为，如果只有少数人选定人员可以接触这些模型，那么在研究人员试图理解其能力时，它们对现实世界造成的损害会更小。

行业科学家Nathan Lambert和Tom Zick持相反观点。两人共同创立了非营利组织Trillium Labs，该机构将通过更透明的方式研究AI的多个领域——包括可能引发问题的递归自我改进（RSI）和智能体等。实际上，这意味着公开实验细节，以便外部科学家研究和复现这些实验。

Lambert表示，前沿AI实验室对研究成果的保密限制了社区对想法进行审查和提出新方法的能力。他认为，让外部专家了解模型的构建和调优过程，可能对降低风险至关重要。

Lambert向WIRED表示：“在过去的几千年里，人类一直将科学方法作为工具箱中的重要手段，以减少伤害并创造更好的未来。目前前沿AI发展的封闭路径正在让我们倒退一步。”

目前世界上最强大的模型，如OpenAI和Anthropic的模型，只能通过应用程序或应用编程接口（API）访问。这通常意味着无法透明地了解模型的构建方式和行为特征。

其他公司，尤其是中国的企业，提供可以下载并在用户自有硬件上运行的相对强大模型。例如，中国公司小米最近公布了其模型的一次重要训练运行的实时细节。斯坦福大学的研究人员也正在公开预训练AI模型Marin。

目前，行业正处于一场关于哪种策略更优的激烈竞争中，这主要是因为前沿模型如今已具备强大的能力。它们可以自动化发现新的软件漏洞，并自动探测和入侵系统，而近期高调的黑客攻击事件也引发了更严格的审查。

有限访问系统的支持者认为，必须将这种力量掌握在值得信赖的少数人手中，而Lambert和Zick则认为，对风险的共同理解意味着我们所有人都会因此受益。

Lambert曾就职于Ai2，这是一家采取非同寻常开放策略的AI研究实验室，包括在发布模型时同步公开数据和训练方法的细节。他此前还曾就职于Hugging Face，运营着一个受欢迎的技术博客，并发起了“美国真正开放模型”（American Truly Open Models）倡议，旨在鼓励美国公司发布更多开放模型。Zick曾就职于哈佛大学，并帮助Charles Schwab制定围绕“负责任AI”的政策。

两人在新冠疫情疫情期间通过Zoom视频会议相识，当时他们都还是加州大学伯克利分校的研究生，正在研究人工智能。在看到工业界的人工智能研究与学术工作之间日益脱节后，他们萌生了创立新非营利组织的想法。兰伯特表示，由于缺乏必要的资源，教授和学生往往无法复现大型公司实验室中的研究成果。

齐克表示，今日正式成立的Trillium Labs初期将专注于后训练阶段——在大型模型构建完成后对其进行微调。另一个重点领域是RSI（Research Synthesis Intelligence），这是一种通过让人工智能参与研究来开发新模型的流程。持续进步可能无限延续、导致人类失去控制的前景，已引起许多人工智能研究者的担忧。本月早些时候，Anthropic的一位研究员离职并警告称，RSI可能对人类构成生存威胁，这一问题也因此获得更多关注。

该非营利组织还将研究强化学习（reinforcement learning）如何提升模型能力——这种机制通过奖励良好结果、惩罚不良结果来训练模型。这种方法使智能体能力大幅提升，但也更容易产生意外行为。他们将研究强化学习如何塑造人工智能模型的性格和行为，例如当模型变得过度谄媚时可能引发的问题。

“要理解强化学习在后训练阶段如何扩展，需要大量计算资源和精心设计的实验，”齐克表示。她认为，公开强化训练运行细节可能带来意外洞见，因为外部研究人员可以对这些工作进行深入审视。

该实验室已从Schmidt Sciences、Halcyon Futures等机构获得未披露金额的投资。创始人表示，他们计划总共募集4000万至1亿美元资金，并计划在未来18个月内投入3000万美元用于训练。

“我非常支持在研发领域实现比目前更高的透明度，”政策智库进步研究所（Institute for Progress）新兴技术政策主任蒂姆·费斯特（Tim Fist）告诉《WIRED》杂志。

兰伯特和齐克最终希望Trillium Labs能为关于如何最佳构建人工智能的更广泛讨论增添一些亟需的深度。

“我们正处于由少数世界观主导的人工智能讨论时代，”兰伯特表示。“我们认为，通过科学方法和对近期事件的精确测量，才是理解人工智能模型新行为的最佳方式。”