Autonomous LLM post-training with Tunix on TPUs
TL;DR · AI 摘要
Google利用Tunix和Cloud TPUs实现LLM微调的自主研究循环，显著提升效率。
核心要点
- AI代理可自动优化LoRA参数和学习率调度，减少人工干预
- Cloud TPU v5e-1在2小时内完成20次微调实验
- Gemma模型在Mobile Actions数据集上准确率提升12%
结构提纲
按章节快速跳转。
思维导图
用一张图看清主题之间的关系。
查看大纲文本（无障碍 / 无 JS 友好）
- LLM自主微调框架
- 核心组件
- Tunix（实验管理）
- Gemini Flash 3.7（代理）
- Cloud TPU v5e-1（硬件）
- 工作流程
- program.md定义约束
- run.py执行实验
- results.tsv记录结果
- 优化案例
- FunctionGemma模型
- Mobile Actions数据集
金句 / Highlights
值得收藏与分享的关键句。
AI代理在2小时内完成20次实验，自动调整LoRA秩和学习率
Gemma模型通过自主优化使函数调用准确率提升12%
Antigravity CLI和Gemini Flash 3.7实现TPU集群自动化管理
在TPU上使用Tunix进行自主LLM微调 - Google开发者博客
Google Tag Manager (noscript)
结束Google Tag Manager (noscript)
HTML
在TPU上使用Tunix进行自主LLM微调
2026年9月11日
魏巍
开发者倡导者
分享
- 邮件
想象一下，你只需编写一份Markdown规范后安然入睡，醒来时发现AI代理已为你在夜间运行了数十次LLM微调实验——自动发现最优的LoRA秩数、优化学习率计划、调整批量大小，并将每个验证过的改进提交到Git。
这已不再是幻想。今年早些时候，autoresearch项目展示了自主LLM代理如何通过自包含循环迭代探索预训练。受此范式启发，我们开发了autofinetune：将自主研究循环应用于LLM微调（监督微调和基于GRPO的强化学习），结合Google完整的AI技术栈——Tunix、Gemma和Cloud TPUs，通过Antigravity CLI和Gemini Flash 3.7进行编排。
在本文中，我们将探讨自主研究循环在微调中的工作原理，并通过两个实际的LLM微调案例研究进行说明。
范式转变：从手动调参到自主循环
传统微调涉及重复的手动流程：
- 提出假设（例如："将attn_vec_einsum添加到LoRA目标模块是否会提高准确性？" 或 "在GRPO过程中改变rollout温度会发生什么？"）。
- 编辑训练脚本和超参数。
- 在加速器上启动任务。
- 监控损失曲线和基准评估。
- 手动回滚失败或在电子表格中记录成功。
如autoresearch所展示的，现在我们可以利用AI代理的力量自动化整个过程：
- 设计竞技场（program.md）：人类定义循环、边界条件、评估标准和约束。
- 提供执行代码（run.py）：一个单一、干净、自包含的微调脚本。
- 让代理迭代：代理遵循program.md中的指令：它修改run.py，运行训练任务，测量目标指标，保留成功的提交或回滚退化，并在results.tsv中记录结果。
案例研究1：在FunctionGemma上进行监督微调（SFT）
在autofinetune的第一个实验中，我们采用了之前博客中的相同SFT设置，并通过创建autoresearch循环扩展了它，以优化google/functiongemma-270m-it模型在google/mobile-actions数据集上的表现。
设置
- 迭代速度：每次运行几分钟
- 总运行次数：几小时内完成20次自动化实验，实现快速实验
- 目标指标：函数调用生成的微调评估准确率（accuracy）
代理在program.md中获得了边界条件：
- 允许调整：LoRA秩/alpha、目标投影层、学习率、预热/衰减计划、优化器（如AdamW/Muon、梯度裁剪）、批量大小和随机种子。
- 禁止更改：数据集、训练轮数或模型架构。
示例轨迹
以下是sample_runs/SFT_results.tsv中的示例轨迹，展示了代理如何进行梯度上升优化。
如你所见，代理能够自动调整LoRA秩/alpha、优化器、学习率等参数，持续提升模型在生成正确函数调用方面的准确性。
案例研究 2：在 Gemma 上使用强化学习（GRPO）进行数学推理
监督微调只是一个简单的测试。在我们的第二个案例研究中，我们采用了 Tunix 仓库中的官方 GRPO 示例（该示例使用 GSM8K 训练 Gemma 3 1B 以进行数学推理；训练后的模型在答案的数值准确性和格式准确性方面表现更优），并为其设置自主强化学习微调。强化学习容易受到超参数敏感性、不稳定性以及更长的执行时间的影响——这使得该任务更具挑战性和耗时性。
比赛场地设置
- 硬件：Cloud TPU v6e-1
- 模型：Gemma 3 1B
- 数据集：GSM8K
- 迭代速度：每次运行需要几个小时
- 运行时长：2–3 天内完成 40 次实验
- 目标指标：为了简化智能体的外部优化循环，我们选择了一个单一的人工评估指标 Post_RL_metric，该指标简单地等于数值准确率 + 格式准确率（当然也可以使用其他指标，例如使用不同的权重）。
以下是 sample_runs/RL_results.tsv 中记录的示例轨迹，展示了智能体的进展。智能体能够识别出更优的 LoRA 配置、rollout 温度、KL 惩罚、系统提示等，从而将总奖励提高了约 10%。
下一步？
我们希望这个项目能向您展示 AI 智能体在大语言模型（LLM）后训练领域的强大能力，并激发您思考如何利用它们，通过 Tunix 在 TPU 上自动化您的 LLM 微调工作流程。请查看 autofinetune GitHub 仓库中的代码、示例运行和 program.md 模板，探索 Tunix 库，并立即开始构建您自己的自主后训练实验室！
posted in:
- AI
- 云
- 操作指南
- 学习
上一篇
下一篇
相关文章
列表
AI
公告
学习
为什么客户端 SDK 生成应属于开源领域
2026 年 9 月 17 日
云
代理异常检测，现已在 Gemini 企业代理平台的私有预览版中推出
2026 年 9 月 16 日
操作指南
Harness 工程的解剖：如何评估、迭代和保护 AI 编码代理
2026 年 9 月 9 日
推动开发者卓越：项目冲刺背后的机制
2026 年 9 月 4 日
导航点