Evaluating performance and efficiency of the GitHub Copilot agentic harness across models and tasks

The GitHub Blog

The GitHub Blog2026年6月25日

Evaluating performance and efficiency of the GitHub Copilot agentic harness across models and tasks

8.5内容质量

TL;DR · AI 摘要

GitHub Copilot 的 agentic harness 在多个模型和任务中表现出高效性能，对开发工具和流程有显著影响。

核心要点

GitHub Copilot 的 agentic harness 被设计为快速、高效且可预测，适用于多种开发场景。
测试涵盖 Claude Sonnet 4.6、Claude Opus 4.7、GPT-5.4 和 GPT-5.5 四个模型。
通过公共和内部基准测试，确保 harness 在不同环境下的性能和效率。

结构提纲

按章节快速跳转。

§引言
GitHub Copilot 的 agentic harness 是其 SDK 的核心组件，影响多个开发工具和体验。
·Harness 的设计目标
Harness 被设计为快速、token 效率高且可预测，以提升开发者体验。
·基准测试方法
通过公共和内部基准测试，评估 harness 在不同模型和任务中的性能和效率。
›测试模型
测试涵盖 Claude Sonnet 4.6、Claude Opus 4.7、GPT-5.4 和 GPT-5.5 四个模型。
·测试结果
测试结果表明 harness 在多个任务中表现优异，对实际开发有显著影响。

思维导图

用一张图看清主题之间的关系。

查看大纲文本（无障碍 / 无 JS 友好）

GitHub Copilot agentic harness
- 设计目标
  - 快速
  - token 效率高
  - 可预测
- 测试模型
  - Claude Sonnet 4.6
  - Claude Opus 4.7
  - GPT-5.4
  - GPT-5.5
- 测试方法
  - 公共基准测试
  - 内部基准测试
  - 真实世界指标

金句 / Highlights

值得收藏与分享的关键句。

The GitHub Copilot agentic harness is a single shared component of the GitHub Copilot SDK, which powers the GitHub Copilot CLI, app, and code review.
— 第 1 段
⬇︎ 下载 PNG 𝕏 分享到 X
We control as many variables as possible to evaluate the performance of GitHub Copilot’s harness compared to the model provider’s harness.
— 第 3 段
⬇︎ 下载 PNG 𝕏 分享到 X
Below we report our latest results for a subset of the benchmarks we track, across four leading models: Claude Sonnet 4.6, Claude Opus 4.7, GPT-5.4, and GPT-5.5.
— 第 4 段
⬇︎ 下载 PNG 𝕏 分享到 X

#GitHub Copilot#AI#软件工程#模型评估

打开原文

标题：评估 GitHub Copilot 代理式框架在不同模型和任务中的性能和效率

URL 来源：https://github.blog/ai-and-ml/github-copilot/evaluating-performance-and-efficiency-of-the-github-copilot-agentic-harness-across-models-and-tasks/

发布时间：2026-06-25T15:59:45-07:00

Markdown 内容：虽然模型提供了原始的智能，但框架决定了这种智能被应用的有效程度。GitHub Copilot 代理式框架是 GitHub Copilot SDK 的一个共享组件，它为 GitHub Copilot CLI、GitHub Copilot 应用和 Copilot 代码审查提供支持，并且在 GitHub 和 Microsoft 的各种体验中广泛应用。改进框架，所有界面都将受益。

图1：图表展示代理式框架为 GitHub Copilot CLI、GitHub Copilot 应用、其他 IDE 如 VS Code 和 Xcode 以及使用 SDK 构建的其他工具提供支持。

_GitHub Copilot 代理式框架为 GitHub Copilot 体验提供支持。_

工具、上下文和工作流程由框架进行协调。框架应快速、高效地使用令牌，并对开发者来说具有可预测性。这就是我们设计 GitHub Copilot 代理式框架的目标。

在本文中，我们将展示 GitHub Copilot 代理式框架在广泛代理式软件工程任务中的效率和性能数据。

我们如何通过基准测试进行迭代

我们通过结合公开和内部开发的基准测试，持续评估 GitHub Copilot 代理式框架的能力和效率。我们的公开基准测试包括行业标准，而一些内部基准测试则是从 GitHub 和 Microsoft 内部的大型代码库中得出的。我们还通过实际指标和在线实验进行补充，以确保我们了解框架在受控环境中的性能及其对代理式问题解决和任务完成的实际影响。

我们尽可能控制变量，以评估 GitHub Copilot 框架与模型提供商框架的性能：使用 相同的模型、相同的基准任务，并在上下文窗口、推理努力、工具选择和 MCP 服务器上进行归一化处理。

下面，我们报告了我们跟踪的基准测试中一部分的最新结果，涵盖四个领先的模型：Claude Sonnet 4.6、Claude Opus 4.7、GPT‑5.4 和 GPT‑5.5：

| 基准 | 领域 | 目的 | | --- | --- | --- | | SWE-bench Verified | 500 个经过人工验证的 bug 修复任务，来自开源 Python 仓库 | 建立用于编码代理的行业标准基准 | | SWE-bench Pro | 更困难、需要更深入推理和更广泛代码更改的多步骤工程任务 | 更好地反映复杂、现实世界中的软件工程工作 | | SkillsBench | 代理使用技能解决任务的有效性 | 评估扩展性以及技能使用和触发能力 | | TerminalBench | 代理在基于终端任务中的表现 | 测量代理在开发人员使用的命令行工作流程中的有效性 | | Win-Hill | 用于在 Windows 容器内部运行任务的内部基准 | 验证性能是否能跨操作系统和环境泛化 |

在整个过程中，我们将 GitHub Copilot CLI 与原生提供这些模型的模型供应商工具进行比较：Claude Code 用于 Sonnet 4.6 和 Opus 4.7，Codex CLI 用于 GPT-5.4 和 GPT-5.5。

令牌效率

在模型和任务固定的情况下，跨多个基准测试结果，GitHub Copilot 工具在任务完成率方面与其他模型供应商工具相当，同时在大多数配置中显示出更低的令牌消耗。

图像 2：图表显示 Copilot CLI 与模型供应商工具在 SWE-bench Verified、SWE-bench Pro、SkillsBench、Win-Hill 和 TerminalBench2 测试中的表现。对于 Sonnet 4.6 和 Opus 4.7，Copilot CLI 在所有情况下表现更好，使用的令牌更少。对于 GPT 5.4 和 GPT 5.5，CLI 在所有情况下表现更好，除了 SWE-bench Verified，分别差了 7% 和 4%。

_令牌效率：GitHub Copilot CLI 与其他模型供应商工具的比较_

任务解决

如果工作实际上没有完成，令牌效率就无关紧要。

GitHub Copilot 代理工具在这些基准测试中的任务解决率与模型供应商工具相当，当使用固定模型和基准任务时。这确保了底层模型的全部潜力可用，同时具备多模型灵活性、令牌效率以及内存和上下文能力。

图像 3：Copilot CLI 与模型供应商工具的任务解决基准测试结果。对于 SWE-bench Verified 测试，Copilot CLI 在 Sonnet 4.6 和 Opus 4.7 上表现更好，但在 GPT 5.4 和 GPT 5.5 上表现更差。对于 SWE-bench Pro，Copilot CLI 仅在 Sonnet 4.6 上略微表现更差，其他模型上表现更好。对于 SkillsBench，Copilot CLI 在 Sonnet 4.6 和 Opus 4.7 上表现更差，但在 GPT 模型上表现更好。对于 Win-Hill，Copilot CLI 在所有模型上表现相等或更好。对于 TerminalBench 2，Copilot CLI 在 Sonnet 4.6 和 Opus 4.7 上表现更好，在 GPT 5.5 上表现相等，在 GPT 5.4 上表现更差。

_任务解决：GitHub Copilot CLI 与模型供应商工具的比较_

这些结果反映了有效的相当性，因为无论哪个方向的差异都在模型随机性导致的方差范围内，使得跨工具的性能相当。

为了持续改进 GitHub Copilot 的代理式框架在任务完成和令牌效率方面的表现，我们定期在多个基准测试中进行深入分析。以下是对 TerminalBench 2.0 的方差分析示例，不仅突出了 GitHub Copilot 在任务完成和令牌效率方面的优势，还展示了此类基准测试中固有的运行间方差。

Image 4: 一张图表，显示每项任务的平均成本与解决率的对比。Copilot CLI 的表现与模型供应商的框架相当或更好。

_解决率与每项任务的成本。左上方更好：解决更多，花费更少。_

每个标记代表 TerminalBench 2.0 上的一个代理和模型配置，纵轴为解决率，横轴为每项任务的美元成本。每个点周围的阴影椭圆显示了±1σ的运行间分布，展示了每种配置在不同运行之间的变化情况。

有三个显著的发现：

GitHub Copilot 的代理式框架在我们评估的配置中，任务完成和每项任务成本方面与其它代理相当或更优。紫色（Copilot）标记及其同模型竞争对手在两个轴上几乎都位于重叠的椭圆内，差异在运行间方差范围内。Copilot 在完成任务方面从未低于竞争对手，成本方面也从未高于竞争对手。
运行间变异性。我们对每个代理-模型组合至少运行了五次。椭圆标记了这些运行的 1σ 分布；图表中更紧缩的椭圆意味着结果更具可重复性，而更宽的椭圆则表明运行间在成本和任务完成方面波动更大。
GitHub Copilot 模型选择的优势：图表显示了一个真正的权衡：GPT 模型（左侧）提供最佳性价比：以最低成本实现强解决能力。Claude Opus（右上）在高解决率方面表现最佳，但成本较高。GitHub Copilot 提供了这两种选择，因此您可以根据任务选择效率或峰值质量。

一个框架，多种模型

GitHub Copilot 的代理式框架支持 20+ 前沿模型，涵盖 GPT、Claude、Gemini 和 MAI 家族，还可以使用自己的密钥来连接开源和本地模型。您可以为每个任务选择适合其能力和成本特征的模型，或者让 **自动模型选择** 为您选择，平衡任务意图和模型健康状况，以优化令牌效率。

多模型架构还解锁了模型供应商框架无法提供的框架级功能。例如，**Rubber Duck** 使用跨模型家族的批评机制，其中一个模型会审查另一个模型的工作，以提升超出任何单一模型单独产出的结果。

结论

基准测试只是众多信号之一。我们一直在努力提高在基准测试、实际使用指标和在线实验中的质量，同时高效地利用每个令牌。

GitHub Copilot 在多种配置下使用更少的 token 即可实现与领先模型供应商工具相当的任务解决能力，同时通过其多模型架构，不会将你锁定在单一模型上。对于开发者而言，这意味着你可以在较低的 token 成本下实现类似的任务完成效果，同时仍可以选择最适合你任务的模型。

亲自尝试

使用你选择的模型尝试 GitHub Copilot，比较你在日常任务中的不同方法，看看不同模型和代理策略在你的环境中表现如何。

了解更多：

这些体验都由相同的代理框架驱动。我们正在继续改进其质量、效率和灵活性。

方法论

为了尽可能控制和重现比较，我们在不同模型、任务和环境中使用相同的设置运行每个代理。

所有运行都有两个小时的超时限制。所有代理以非交互方式运行单轮任务，禁用网络工具，允许所有工具使用。

TerminalBench2 分析：为代理启用默认设置，推理努力程度设为中等（例如，Claude Code 启用工具搜索，Copilot CLI 使用 github-mcp-server）。Codex 和 Claude Code 使用直接的 Anthropic 和 OpenAI 端点。为了确保结果完整且可靠，任何缺失的数据或基础设施相关的失败都会重新运行，直到所有 89 个 TerminalBench2 任务都产生结果。模型生成的错误被保留，未从分析中排除。每个模型在五次独立运行中进行评估，Copilot 在两个独立的评估批次中进行测试，以便与 Claude Code 和 Codex 进行比较。

所有基准测试：所有代理模型对都归一化为相同的上下文窗口大小、相同的提示 token 限制、推理努力程度（中等）和设置——不进行工具搜索，不使用 MCP 服务器。保持代理框架默认内置的工具。为了确保公平比较，在所有代理中排除了基础设施相关的异常和网络访问影响。为了减少对较小基准测试（<100 个实例）运行间变化的影响，进行了五次独立运行，并报告最佳得分运行。所有指标均以 pass@1 的形式呈现。这些归一化意味着结果与公开基准提交的结果不同，后者通常使用更高的推理努力程度和其他调优设置。