概念
一个用于评估大语言模型代码生成能力的基准测试。
已跟踪 2 条高相关材料
最近变化
2026-06-01 · SWEbench测试结果被质疑，GPT-5.5在DeepSuite中得分为70%，显著高于Claude Opus 4.7的54%。
为什么值得关注
SWEbench 被反复提及时，通常意味着它正在影响产品路线、开发者工作流或 AI 产业判断。这个页面把分散材料合并成一个可持续更新的观察入口。
SWEbench is done.
Matthew Berman · 5.5 分
文章指出SWEbench基准测试的可信度受到质疑，因为GPT-5.5在DeepSuite测试中表现远超Claude Opus 4.7（70% vs 54%），而SWEbench上却出现反常结果，暗示其可能已失效或无法反映真实模型能力。
SWEbench is done.
Matthew Berman · 4.5 分
SWEbench benchmark is invalid as GPT 5.5 scores 70% on Deep Suite versus Opus 4.7's 54%, showing opposite trends in SWEbench, indicating un...
已收录 2 条与 SWEbench 相关的内容，按评分排序。
The article questions the credibility of the SWEbench benchmark, noting that GPT-5.5 significantly outperforms Claude Opus 4.7 in DeepSuite (70% vs 54%), but SWEbench results show the opposite, suggesting the benchmark may be invalid.
入选理由：SWEbench测试结果被质疑，GPT-5.5在DeepSuite中得分为70%，显著高于Claude Opus 4.7的54%。
SWEbench benchmark is invalid as GPT 5.5 scores 70% on Deep Suite versus Opus 4.7's 54%, showing opposite trends in SWEbench, indicating unreliability.
入选理由：GPT 5.5 achieves 70% accuracy on Deep Suite, significantly outperforming Opus 4.7 at 54%.
