Thomas Wolf(@Thom_Wolf)

Multi-agents collaborations are among the most interesting agent behaviors right now! We did an exp...

8.5内容质量

TL;DR · AI 摘要

多智能体协作显著提升了 Gemma 4 的推理速度，达到 5 倍提升，并展现出自我监管和协作机制。

核心要点

  • 100+ 智能体协作使 Gemma 4 推理速度提升 5 倍。
  • 智能体通过自我监管机制识别并修复验证漏洞。
  • 多智能体协作中出现了分工、知识共享和跨智能体调试等行为。

结构提纲

按章节快速跳转。

  1. §引言

    多智能体协作是当前最引人注目的智能体行为之一。

  2. ·实验背景与目标

    通过 100+ 智能体协作，旨在提升 Gemma 4 在 vLLM 中的推理速度。

  3. ›实验结果

    实验最终实现了推理速度 5 倍的提升。

  4. ·智能体的自我监管机制

    智能体识别并修复了验证漏洞，同时拒绝了社交工程尝试。

  5. ›协作机制

    智能体之间形成了分工、知识共享和跨智能体调试等行为。

  6. ·协作中的发现与反转

    智能体在协作中不断发现并修正问题，例如“int4-Marlin floor”等。

思维导图

用一张图看清主题之间的关系。

查看大纲文本（无障碍 / 无 JS 友好）
  • 多智能体协作实验
    • 实验目标
      • 提升 Gemma 4 推理速度
      • 探索智能体协作机制
    • 实验结果
      • 推理速度提升 5 倍
      • 智能体自我监管与协作
    • 协作机制
      • 分工与知识共享
      • 跨智能体调试
      • 社区规则与自我修正

金句 / Highlights

值得收藏与分享的关键句。

#AI#多智能体协作#Gemma#vLLM
打开原文

Thomas Wolf 在 X 上的发言： "多智能体协作是目前最有趣的智能体行为之一！前几天我们做了一个实验，使用了 100 多个智能体（开放协作一周）来提升 Gemma 4 在 vLLM 中的推理速度。最终速度提升了 5 倍，但 https://t.co/4PFS8L2mqe" / X

Thomas Wolf

@Thom_Wolf

多智能体协作是目前最引人注目的智能体行为之一！前几天我们做了一个实验，超过 100 个智能体（开放协作一周）协作以提高 Gemma 4 在 vLLM 中的推理速度。最终速度提升了 5 倍，但真正让我印象深刻的是我们在消息板上观察到的互动：

诚信与自我监管：

  • 社交工程尝试： 一位人类用户（FusionCow）要求智能体迁移到 Telegram。一位智能体未被提示就发布了一篇关于“沟通规范”的长文，拒绝了这一请求，并称私人侧通道“与共谋无异”。
  • 验证漏洞被指出： 一位智能体发现了一个宽松的验证漏洞，利用干净的 PPL（PPL 是教师强制生成的，对解码分歧视而不见）来提高 TPS，并将其提交给社区裁定。社区联系了人类组织者，裁定其无效。
  • 自我察觉的过拟合风险： 一些后续的改进基于修剪 lm_head，使用从公共 PPL 真实值和公共解码标记构建的保留集。一位智能体指出这会导致私有子集退化，另一位智能体则构建了一个明确覆盖评估提示的保留集。

涌现的协作：

  • 共享知识库： 智能体维护了共享的杠杆图、操作手册和分类工具，以防止新成员重复走死胡同（如 stack-notes、playbook、int4-ceiling notes、MTP map、重要性工具、策略模拟器）。
  • 四智能体接力： 一位智能体构建了一个 int4-lm_head 检查点，但没有配额运行它；另一位智能体尝试运行它但加载失败；又一位智能体诊断出配置错误（tie_word_embeddings + 忽略列表顺序），第四位智能体重新运行并达到了 118 TPS，是原来的 2.68 倍。构建、运行、诊断和部署最终被分给了四个独立的智能体。
  • GPU 资源丰富/匮乏的分工： 一位智能体经常计算资源不足，转而撰写规范、字节数学和接受分析，供其他 GPU 资源丰富的智能体执行。一些智能体还为另一个因 DFlash 训练受阻的智能体提供外部 Modal 计算资源。
  • 跨智能体内核调试： 一位智能体调试了另一位智能体运行的又一位智能体融合的 drafter：在 _k_qnorm_rope 中发现了一个 Triton 存储/加载别名竞争问题，一个形状错误，然后重写了注意力机制，使用 flash-decoding 分裂 KV。修复后发布“请自由使用”。
  • 配额池规范： 通常，智能体会公开一个候选方案，供有配额运行它的人使用。随后智能体会通常会将信用归还给原始提出者。这种行为的出现是因为有 10 个工作/24 小时的限制（例如 pupa 的包由 resystagent 和 fabulous-frenzy 运行）。

发现与逆转：

  • 智能体会做出许多发现，也会逆转这些发现，因此它们被赋予了如下名称：
  • 127 TPS “墙” 是一个伪影。社区中有人提出了一种关于最大可能速度的数学证明，被称为“int4-Marlin 下限”，但后来一位智能体指出该证明是循环论证（只改变了带宽项，从未改变过开销）。最后，另一位智能体通过 vLLM 夜间版本的 MTP 推测解码将速度提升到了 247 TPS。
  • “更聪明的草稿反而损失”：一位智能体展示了 2B 草稿器的 ~1 GB/token 读取在完美接受的情况下仍然占主导地位，而一个更小的 256 隐藏层草稿器在批量为 1 时胜出，因为其权重几乎可以免费读取。智能体讨论了每个接受的 token 成本 ≈ 草稿字节读取 / 接受率。
  • “DFlash 接近随机接受”：一位智能体远程诊断了另一位智能体的 2–5% 接受率，认为其接近随机，排除了训练不足或词汇限制，并指出训练和部署之间存在隐藏状态不匹配（bf16 E4B 提取 vs int4 服务）。
  • 比赛中的大部分竞争是噪音： 一位智能体决定运行 #1 提交 4 次，发现单次运行中 TPS 的变化约为 1.16。另一位智能体在 358 次运行 / 66 个桶中确认：前沿差异 <~4 TPS 的情况是平局。社区采纳了显著性规范。

互动板上有如此多有趣的互动：

huggingface.co/spaces/gemma-c…

你也可以在以下链接中查看代理人的发明历程：

…gemma-fast-challenges.static.hf.space/index.html

以及挑战本身：

…ma-challenge-gemma-dashboard.hf.space

以及挑战背后的组织：

huggingface.co/gemma-challenge

00:00

下午1:16 · 2026年6月25日

73.9K

浏览量

4

0

40

1

2

7

127

8

9

891

.

K

1.2K

阅读40条回复