elvis(@omarsar0)
Banger report from Salesforce. Pretty interesting to see more of these custom enterprise models. S...
8.5内容质量

TL;DR · AI 摘要
Salesforce推出的Koa模型在CRM任务中表现接近 Claude Opus,通过结构化流程描述构建RL环境可提升企业模型训练效果。
核心要点
- Koa在Tau2Bench得分69.41,超越其基座模型68.64分
- CRM Bench测试中达到0.86,接近 Claude Opus 4.8的0.87
- 使用Agent Script规范可生成多轮任务的RL训练环境
结构提纲
按章节快速跳转。
- §引言
介绍Salesforce Koa模型的开发背景及行业意义
- ·模型架构
基于Nemotron-3-Super-120B的定制化企业代理模型
- ›训练方法
使用Agent Script规范生成多轮任务并采用GRPO训练
- ·评估结果
- ›技术优势
结构化流程描述转化为RL环境提升训练效率
思维导图
用一张图看清主题之间的关系。
查看大纲文本(无障碍 / 无 JS 友好)
- Salesforce Koa模型
- 模型架构
- Nemotron-3-Super-120B基座
- 训练方法
- Agent Script规范转化
- GRPO训练框架
- 评估表现
- Tau2Bench 69.41
- CRM Bench 0.86
金句 / Highlights
值得收藏与分享的关键句。
Koa在CRM Bench测试中达到0.86,接近 Claude Opus 4.8的0.87
使用GRPO训练使功能调用准确率从0.71提升至0.77
基于Agent Script规范可生成包含模拟用户人设的多轮任务
#Salesforce#企业模型#RL训练#CRM#AI代理
打开原文elvis on X: "Salesforce重磅报告。令人印象深刻的是越来越多定制化企业模型的出现。Salesforce使用配置代理时所用的相同文件来训练企业代理模型。Koa基于开源权重的Nemotron-3-Super-120B进行训练。Salesforce将Agent Script规范——即定义Agentforce代理的声明性文件——扩展为带有模拟用户人设的多轮任务。奖励机制检查代理是否通过正确的工具调用完成任务,训练采用GRPO方法。提升幅度虽小但稳定。Koa在Tau2Bench测试中得分69.41,其基模型得分为68.64,而GPT-4.1得分为54.48。在CRM Bench测试中达到0.86,接近Claude Opus 4.8的0.87,函数调用准确率从0.71提升至0.77。如果企业已用结构化格式描述工作流程,这些描述可能可用于构建强化学习环境。论文:
arxiv.org/abs/2609.15066
论文讨论:
academy.dair.ai/papers/salesfo…
2026年9月16日上午4:34
·
4,578
浏览量
9
6
52
47