Sam Witteveen视频2026年11月1日

Open Models Have Dropped to 12 Points Behind #artificialanalysis #localai

8.5内容质量

可直接观看的视频资源打开原视频

TL;DR · AI 摘要

开源模型在最新基准测试中落后闭源模型12分，主要由于测试标准变化和更严格的评估方法。

核心要点

新基准测试使用60%私有测试集，导致开源模型得分下降
Frontier Code 2测试要求代码更改必须通过维护者审核，否则得零分
当前最佳开源模型得分32，低于Claude Haiku的36分

结构提纲

按章节快速跳转。

§引言
开源模型在基准测试中表现突然下降12分
·测试标准变化
新基准采用60%私有测试集和更严格的代码审核机制
›具体数据对比
开源模型在科学代理基准得分仅13%，远低于闭源模型60%
·影响分析
旧排行榜可能高估了开源模型的实际性能
›结论
测试方法升级是导致性能差距扩大的主要原因

思维导图

用一张图看清主题之间的关系。

查看大纲文本（无障碍 / 无 JS 友好）

开源模型表现下降
- 测试标准变化
  - 60%私有测试集
  - Frontier Code 2严格审核机制
- 性能对比
  - 开源模型32分
  - 闭源模型60分

金句 / Highlights

值得收藏与分享的关键句。

开源模型从落后3分到12分，测试标准变化是主因
— 第 0:00-0:04 段
⬇︎ 下载 PNG 𝕏 分享到 X
Frontier Code 2测试要求代码更改必须通过维护者审核，否则得零分
— 第 0:23-0:29 段
⬇︎ 下载 PNG 𝕏 分享到 X
最佳开源模型得分32，低于Claude Haiku的36分
— 第 0:46-0:49 段
⬇︎ 下载 PNG 𝕏 分享到 X

#AI模型#基准测试#开源#闭源模型