Introducing a Recommended Agent in AI Chat, With Codex as the Current Default
TL;DR · AI 摘要
JetBrains 推出推荐 AI Agent 功能，Codex 成为默认选项，基于实际开发任务评估其性能。
核心要点
- Codex 是 JetBrains AI 中推荐的默认 Agent，基于实际开发任务评估。
- JetBrains 使用 Java、C# 和 Python 的真实任务数据集进行评估。
- Codex 在解决率、成本和性能方面表现优异，被选为推荐 Agent。
结构提纲
按章节快速跳转。
思维导图
用一张图看清主题之间的关系。
查看大纲文本（无障碍 / 无 JS 友好）
- JetBrains 推荐 AI Agent
- 推荐 Agent 选择
- Codex 成为默认 Agent
- 基于实际开发任务评估
- 评估方法
- 使用 Java、C# 和 Python 的真实任务数据集
- 关注任务解决率、成本和性能
金句 / Highlights
值得收藏与分享的关键句。
JetBrains evaluated coding agents on the things that matter in practice: Can they solve real software engineering tasks, quickly, and at a cost that makes sense?
The Java dataset was our primary evaluation set. It’s the largest of the three, spanning 17 repositories across five organizations and covering a broad mix of task types.
Codex is the recommended starting point in JetBrains AI. It’s a meaningful step in the shift from AI chat to agents that meet developers where they are.
在 AI 聊天中引入推荐代理，当前默认使用 Codex - JetBrains 博客
JetBrains AI
通过 JetBrains 产品中的 AI 功能增强您的工具
关注
- 关注：
- RSS RSS
查看更多
AI
新闻
在 AI 聊天中引入推荐代理，当前默认使用 Codex
安娜·马尔采娃
JetBrains AI 支持多种编码代理，包括 Junie、Codex、Claude Agent，以及您自行引入的任何 ACP 兼容代理。之前，JetBrains IDE 中的 AI 用户从聊天模式开始，需要自己选择代理。
随着模型变得越来越先进，代理的能力也不断增强，其使用率也随之增长。我们认识到代理可以帮助用户实现更多目标，因此我们建议从一开始就使用代理。
为了简化这一体验，我们选择了特定的代理作为默认选项。本文将解释我们是如何做出这一选择的。
您仍然可以在任何时候切换到其他任何代理。
“JetBrains 在实践中评估了编码代理的关键因素：它们能否快速解决实际的软件工程任务，并且成本合理？我们很自豪 Codex 是 JetBrains AI 推荐的起点。这是从 AI 聊天向能够满足开发者需求、在他们已使用的工具中工作的代理转变的重要一步。”
Stuart McMeechan，OpenAI EMEA 部署工程主管
使用真实开发任务进行评估
我们使用一个基准数据集来评估候选代理，该数据集基于三个生态系统中的真实软件工程任务构建：Java（225 个任务）、C#（38 个任务）和 Python（90 个任务）。
每个任务都基于一个真实的代码库，提示中描述了需要完成的内容，并有自动化测试来验证结果。这些任务共同涵盖了错误修复、功能开发、增强以及其他常见开发任务，适用于真实的应用程序、库、框架和开发工具。
选择推荐代理所使用的数据点可在 Developer Productivity AI Arena（DPAIA）仓库中访问——这是 JetBrains 用于评估 AI 编码工具的开源基准，使评估结果可重复。C# 数据集是内部的，不对外公开。
Java 数据集是我们主要的评估集。它是三个数据集中最大的，涵盖了五个组织的 17 个仓库，并包含广泛的任务类型混合。
C# 和 Python 数据集对候选代理的总体排名相似，这让我们更加确信结果并非特定于某个生态系统。
这三个指标（解决率、成本和延迟）构成了我们排名的基础。我们还跟踪了其他一些信号，包括编译成功和平均工具调用次数，但它们对结果没有实质性影响。
除了离线基准测试，我们还与真实用户一起进行了在线A/B测试。这个实验作为验证层，帮助我们了解离线结果是否能转化为实际使用情况。由于在大规模上可靠地衡量任务成功非常困难，我们专注于行为信号，例如参与度以及用户切换到另一个代理或返回聊天的频率。在线结果与离线基准测试一致，这进一步增强了我们选择的信心。
候选配置
我们测试了JetBrains AI提供的代理（Codex、Junie和Claude Agent）在多个模型配置下的表现。候选者是根据之前的基准测试和内部评估选择的；我们专注于每个代理模型家族中最有希望的选项，而不是测试所有可能的设置。最终，Codex和Junie被选中。
Codex – 我们首先在GPT-5.2和GPT-5.3上进行了初步的扫描。当GPT-5.4 mini可用时，它在解决率和成本方面都优于之前的最佳表现者，使模型选择变得简单。剩下的问题是推理级别：中等与低。GPT-5.4 mini默认中等推理在所有三个生态系统中都具有最佳的解决率，并且在合理成本范围内，因此被选为最终评估。
Codex 短名单
GPT-5.4-mini 对比
中等推理在Java、C#和Python中解决了更多任务。低等推理更便宜且通常更快，但成本和延迟的提升并不足以弥补解决率明显下降的差距。这就是为什么我们选择了中等推理。
所有
Java
C#
Python
#### 所有
跨生态系统的加权平均
指标
GPT-5.4-mini 中等
GPT-5.4-mini 低等
解决率
39.9%
35.1%
中位延迟
170.40秒
137.82秒
中位成本
0.1387美元
0.0650美元
#### Java
指标领先者以高亮显示
43.9%
40.4%
124.11秒
78.02秒
0.1292美元
0.0615美元
#### C#
62.6%
51.6%
142.95秒
87.86秒
0.1152美元
0.0580美元
#### Python
20.2%
14.8%
297.72秒
308.43秒
0.1724美元
0.0766美元
Junie – Junie可以与不同的模型提供商一起工作。我们评估了Gemini模型家族，根据Junie团队自己的基准测试，预先选择了最有希望的选项。Gemini 3 Flash被选为获胜模型。
Junie 短名单
Gemini 模型对比
Gemini 3 Flash具有更强的解决率；Gemini 3.1 Flash Lite始终更便宜且更快。
Gemini 3 Flash
Gemini 3.1 Flash Lite
39.1%
29.9%
147.57秒
110.85秒
0.1132美元
0.0564美元
45.2%
36.3%
142.80秒
100.54秒
0.1053美元
0.0551美元
58.7%
41.5%
215.87秒
173.97秒
0.1189美元
0.0661美元
15.6%
9.1%
130.64秒
109.97秒
0.1304美元
0.0554美元
最终对决：Junie vs Codex
仅凭离线结果，两者之间的差距太小，无法判断。没有任何一个代理在所有指标和生态系统中占据主导地位。
选手对比
Codex 与 Junie 在不同生态系统中的对比
最终短名单将Codex与GPT-5.4-mini中等配置与Junie与Gemini 3 Flash进行了对比。
每次成功解决的成本
0.4941美元
0.4337美元
0.3716美元
0.2864美元
0.2307美元
0.2298美元
0.9115美元
0.8882美元
我们将两者都包含在一个在线 A/B 测试中，以查看哪种在实际使用中表现更好。我们跟踪了激活率、流失率和失败率。Codex 表现更优，这影响了我们的决定。
Junie 仍然是 JetBrains 原生代理中最好的选择，适用于深度 IDE 工作流程、以 Java 为主的项目、BYOK 设置以及对成本敏感的团队。
推荐代理的下一步
Codex 现在是推荐的代理，因为它在我们测试的任务中提供了最强大的解决率和成本组合。然而，这不是一个永久性的决定。随着模型的演进、新代理的加入以及我们的基准测试范围的扩大，我们将重新评估这一决定，并根据数据提供的信息更新我们的推荐。
如果其他代理更适合你的工作流程，你可以在任何时候进行切换。我们的推荐只是一个起点，而不是限制。
AI 在 IDE 中
- 分享
上一篇帖子
如何赢得黑客马拉松：来自评审桌的笔记