T
traeai
登录

概念

SWE Bench

用于评估LLM在软件工程任务中功能正确性的基准测试集。

相关材料

已收录 2 条与 SWE Bench 相关的内容,按评分排序。

Can LLMs generate Enterprise Quality Code? — Prasenjit Sarkar, Sonar

LLM能生成企业级代码吗?——Prasenjit Sarkar, Sonar

AI Engineer3517 字 (约 15 分钟)
85

LLMs生成的代码虽功能通过率高(如Gemini 3.1 Pro达84.17%),但存在严重可维护性与安全缺陷,Sonar用4,444个Java任务评估发现其每百万行代码含614个bug,且代码冗长、复杂度高。

入选理由:Gemini 3.1 Pro在SWE Bench测试中功能通过率达84.17%,但生成代码冗长(307,000行)且复杂度高(圈复杂度234)。

精选视频#LLM#代码质量#Sonar#企业级开发英文
Import AI 图标

Import AI 455: AI systems are about to start building themselves.

Import AI2928 字 (约 12 分钟)
85

AI系统即将实现自我构建,预计到2028年可能实现无人参与的AI研发。

入选理由:无人参与的AI研发可能在2028年前实现,概率超60%

精选文章#AI#自动化#研发中文

跨材料问答 · SWE Bench

回答基于:SWE Bench 相关 2 条材料
    0 / 500

    AI 可能会生成不准确的信息,请核实重要内容