elvis(@omarsar0)

Banger report from Salesforce. Pretty interesting to see more of these custom enterprise models. S...

8.5内容质量
Banger report from Salesforce.

Pretty interesting to see more of these custom enterprise models.

S...

TL;DR · AI 摘要

Salesforce推出的Koa模型在CRM任务中表现接近 Claude Opus,通过结构化流程描述构建RL环境可提升企业模型训练效果。

核心要点

  • Koa在Tau2Bench得分69.41,超越其基座模型68.64分
  • CRM Bench测试中达到0.86,接近 Claude Opus 4.8的0.87
  • 使用Agent Script规范可生成多轮任务的RL训练环境

结构提纲

按章节快速跳转。

  1. 介绍Salesforce Koa模型的开发背景及行业意义

  2. 基于Nemotron-3-Super-120B的定制化企业代理模型

  3. 使用Agent Script规范生成多轮任务并采用GRPO训练

  4. 在Tau2Bench和CRM Bench基准测试中的具体表现数据

  5. 结构化流程描述转化为RL环境提升训练效率

思维导图

用一张图看清主题之间的关系。

查看大纲文本(无障碍 / 无 JS 友好)
  • Salesforce Koa模型
    • 模型架构
      • Nemotron-3-Super-120B基座
    • 训练方法
      • Agent Script规范转化
      • GRPO训练框架
    • 评估表现
      • Tau2Bench 69.41
      • CRM Bench 0.86

金句 / Highlights

值得收藏与分享的关键句。

#Salesforce#企业模型#RL训练#CRM#AI代理
打开原文

elvis on X: "Salesforce重磅报告。令人印象深刻的是越来越多定制化企业模型的出现。Salesforce使用配置代理时所用的相同文件来训练企业代理模型。Koa基于开源权重的Nemotron-3-Super-120B进行训练。Salesforce将Agent Script规范——即定义Agentforce代理的声明性文件——扩展为带有模拟用户人设的多轮任务。奖励机制检查代理是否通过正确的工具调用完成任务,训练采用GRPO方法。提升幅度虽小但稳定。Koa在Tau2Bench测试中得分69.41,其基模型得分为68.64,而GPT-4.1得分为54.48。在CRM Bench测试中达到0.86,接近Claude Opus 4.8的0.87,函数调用准确率从0.71提升至0.77。如果企业已用结构化格式描述工作流程,这些描述可能可用于构建强化学习环境。论文:

arxiv.org/abs/2609.15066

论文讨论:

academy.dair.ai/papers/salesfo…

2026年9月16日上午4:34

·

4,578

浏览量

9

6

52

47