meng shao(@shao__meng)
CMU 秋季最新课程 11-768: AI Agents 主讲：@dan_fried @gneubig 第 12 讲「Reinforcement Learning Systems」讲义和视频已公...
8.5内容质量
TL;DR · AI 摘要
CMU最新课程系统讲解强化学习系统设计，涵盖框架、优化与实战经验。
核心要点
- RL框架本质是训练与推理异质负载的耦合，非统一计算图
- 前缀复用是Agentic RL系统效率的核心不变量
- Token-In-Token-Out设计错误曾导致全行业训练不稳定
结构提纲
按章节快速跳转。
思维导图
用一张图看清主题之间的关系。
查看大纲文本（无障碍 / 无 JS 友好）
- 强化学习系统设计
- 框架本质
- 异质负载耦合
- 非统一计算图
- 核心优化
- 前缀复用
- Token-In-Token-Out修正
- 架构演进
- R3技术
- 在线RL服务化
金句 / Highlights
值得收藏与分享的关键句。
RL框架的本质是两种异质负载（训练和推理）的耦合，而非一套统一计算图
Token-In-Token-Out：一个微小设计错误曾造成全行业的训练不稳定
架构演进终点：一切皆服务 + 在线 RL
#强化学习#AI Agents#CMU课程#Reinforcement Learning
打开原文meng shao on X: "CMU 秋季最新课程 11-768: AI Agents 主讲：@dan_fried @gneubig 第 12 讲「Reinforcement Learning Systems」讲义和视频已公开 这一讲从强化学习系统的框架开始讲起、再到推理侧和训练侧的分别优化、训练-推理交互、Agentic RL 的实战踩坑经验、RL 框架设计等，完整系统了讲述了强化学习系统的理论和实战。 讲义：https://t.co/yEp3tVz0v4 视频：https://t.co/zuPLxKWjT6 在课程中看到几个最核心的观点： 1. RL 框架的本质是两种异质… / X
meng shao
@shao__meng
Show translation
CMU 秋季最新课程 11-768: AI Agents 主讲：
@
gneubig
第 12 讲「Reinforcement Learning Systems」讲义和视频已公开 这一讲从强化学习系统的框架开始讲起、再到推理侧和训练侧的分别优化、训练-推理交互、Agentic RL 的实战踩坑经验、RL 框架设计等，完整系统了讲述了强化学习系统的理论和实战。 讲义：
cmu-agents.com/slides/lecture…
视频：
youtube.com/watch?v=dwR6NP…
在课程中看到几个最核心的观点： 1. RL 框架的本质是两种异质负载（训练和推理）的耦合，而非一套统一计算图 2. “前缀复用”是贯穿 agentic RL 系统效率的不变量 3. Token-In-Token-Out：一个微小设计错误曾造成全行业的训练不稳定 4. 权重同步与 R3：双引擎之间的隐藏成本 5. 架构演进终点：一切皆服务 + 在线 RL
Sep 19
周末适合沉下心来系统性的学习基础知识 CMU 秋季最新课程 11-768: AI Agents 主讲：
课程：
cmu-agents.com
youtube.com/watch?v=Uwfjzy…
1:35 PM · Oct 14, 2026
·
439
Views
5
1
10
7