什么是 RL？

Together AI推出Post-Training服务，提供灵活高效的自定义模型训练，无需重基础设施负担。

SubQ Snap决策模型通过长上下文和RL训练，显著提升企业决策效率。

SWE-2模型发布，性能与前沿模型相当，成本降低70%。

Salesforce推出的Koa模型在CRM任务中表现接近 Claude Opus，通过结构化流程描述构建RL环境可提升企业模型训练效果。

OpenAI在2016年的‘World of Bits’项目尝试训练AI代理通过视觉和鼠标操作完成任务，但因方法局限未能成功，而Astra项目继承了这一理念并取得进展。

论文提出通过小规模RL训练信号优化蒸馏过程，使学生模型性能超越教师模型，降低训练成本。

OpenAI暂停前沿强化学习训练以确保安全对齐，强调AI安全标准的重要性。

Fireworks AI 现已支持 DeepSeek V4 Flash 0731 模型的微调训练，提供 SFT/DPO/RL 三种训练方式，适用于编码代理和高并发场景，成本较传统方案降低 70%。

Kimi K3通过后训练和多领域专家模型显著提升性能，接近Opus 4.8水平，采用创新的推理分层和策略蒸馏技术。

强化学习正成为AI基础设施核心，25家初创公司围绕模拟环境与评分系统构建工具链，解决模型可靠性难题。

斯坦福AI实验室提出Spiral方法，通过集合强化学习（set RL）和标准强化学习（RL）训练模型，使其在推理时能利用更长的链条、并行样本和聚合计算。

AI的进展主要依赖于数据量和计算资源的增加，而非样本效率的提升，且高质量数据获取成本极高。

OpenAI 的新论文揭示了通过强化学习对齐大模型的道德行为，发现好行为可泛化到其他领域，对抗压力下表现更稳健。

AI的性能提升主要依赖于数据和计算规模，而非样本效率的提升，数据需求巨大且高度专业化。

Fireworks AI 现在支持 Kimi 2.7 的完全可训练，提供低成本构建竞争模型的方案。

Cursor通过分析强化学习训练中权重变化的规律，将1TB模型的传输量压缩至1/20，实现跨地域快速同步，确保模型一致性。

AlphaGo 通过蒙特卡洛树搜索（MCTS）和神经网络实现高效搜索，展示强化学习潜力。

Mind Lab（Macaron AI）创始人Andrew提出，下一代模型公司正从Agent产品中诞生，通过LoRA强化学习和持续学习技术，在真实场景中让AI Agent不断进化，实现个性化、可交互的长期智能服务。

研究人员应开放共享强化学习环境，以加速整个领域的发展。开源社区能将研究快速转化为可复用的训练环境，尽管存在共享障碍，但实践案例已证明其价值。

在大规模强化学习训练中，由于模型版本不一致和数值计算差异，导致推理阶段的对数概率值出现不匹配，进而引发训练偏差。该问题被称为‘数值不匹配’，是当前大模型训练中的隐性缺陷。

Cursor团队在v9模型训练中贡献工程进展，但补充数据效果有限。

Cursor Composer 2.5正式发布，通过强化学习实现性能跃升，一周内提供双倍免费额度。新模型更擅长处理长期复杂任务，Cursor团队正与SpaceXAI合作扩展模型规模和算力。