Featuring Every Eval Ever Results on Hugging Face Model Pages

在Hugging Face模型页面上展示所有评估结果

返回文章列表

[-1

]

[0

发布于2026年6月30日

GitHub更新

点赞

25

[

• +19

Sree Harsha Nelaturu

deepmage121

关注

evaleval

Avijit Ghosh

evijit

Nathan Habib

SaylorTwift

Jan Batzner

janbatzner

Leshem Choshen

borgr

Irene Solaiman

irenesolaiman

Julien Chaumond

julien-c

Every Eval Ever (EEE) 和 Hugging Face 社区评估现已实现互操作性。我们支持跨平台发布和解读评估结果，同时链接到开源模型、排行榜和统一的标准化元数据存储库。

EEE 于 2026 年 2 月作为 EvalEval 联盟的项目启动，这是首个跨机构协作努力，旨在改进第一方和第三方评估者对AI评估结果的报告方式。Hugging Face 于 2026 年 2 月推出社区评估，以去中心化方式在Hub上报告基准分数。两者结合，解决了用户、研究人员和政策制定者在信任、理解和选择评估及模型时存在的信任缺口。

评估结果是我们衡量模型能力、比较模型、推理安全性和治理的关键依据，但目前这些结果却分散且难以比较。它们存在于论文、排行榜、博客文章和 harness 日志中，格式各不相同。同一模型在相同基准上往往因运行者和方式不同而产生不同分数；例如，LLaMA 65B 在 MMLU 上的得分被报告为 63.7 和 48.8。这些差距可能源于我们发现的常见未报告评估设置。

EEE 是我们对报告环节的解决方案。它采用统一的 JSON 模式记录评估结果，包含以下信息：

• 执行者
• 使用的模型
• 访问方式
• 生成设置
• 指标实际含义
• [推荐] 每个样本输出的配套 JSONL 文件

该模式在研究人员和政策研究者反馈下构建，可接收任何来源的结果，因此 harness 日志、排行榜抓取和论文数据最终都采用统一格式。GitHub 仓库包含转换器、示例和贡献者指南。自推出以来，Hugging Face 上的数据存储库已收录超过 22,000 个模型和 2,200 个基准的约 229,000 项评估结果，数据来自 31 种不同报告格式。仅复现这些运行就需要数十万美元成本，这为数据生成后不应再次分散提供了合理论据。

了解更多关于模式和如何贡献的信息请访问此处。

现在，它具备更好的集成和归属功能。贡献者现在可以将 EEE 结果发送到 Hugging Face 社区评估。我们开发了一个转换器，将您的 EEE 记录转换为 Hugging Face 预期的小型 YAML 文件，无需手动在两种格式中维护相同结果。

这是面向所有报告或阅读评估结果的人的新功能，而不仅仅是现有EEE贡献者。第一方评估者对其自身模型的报告和第三方评估者对他人模型的报告都可以提交至Community Evals和EEE，任何浏览模型库的用户都能看到可追溯完整记录的结果。当你通过组织的官方Hugging Face账户提交数据时，你的结果将在EvalEval上显示为已验证的标记，向读者表明这些数据直接来自源头。本文其余部分将介绍Community Evals是什么以及转换器的作用。

Hugging Face Community Evals如何与EvalEval协同工作

Hugging Face Community Evals包含两个组成部分。

基准位于数据集仓库中，通过添加eval.yaml文件进行注册。一旦注册，该数据集页面将收集并展示模型库中所有针对该基准的评分排行榜。官方基准列表会随着时间推移持续增长。

模型的评分存储在模型仓库中的.eval_results/*.yaml文件内。这些评分会显示在模型卡片上，并同步至对应的基准排行榜。无论是模型作者提交的结果还是通过Pull Request提交的其他人的结果都会被聚合展示，每个评分都会携带一个徽章，标明该结果是作者提交、社区提交还是独立验证。任何人都可以通过提交包含正确YAML文件的PR为任意模型添加评分，模型作者也可以自行关闭PR或隐藏结果。

以下是其中一个排行榜的示例：

模型库上《Humanity's Last Exam》的社区评估排行榜

这就是EEE与Community Evals的协同方式。当你同时向两者提交结果时，会发生两件事：首先，你的评分将出现在Hugging Face模型页面上，并被纳入基准排行榜。其次，该结果会携带一个来源徽章，可直接链接至完整的EEE记录，其中包含生成配置、Harness版本、可重复性说明和实例级数据。

来自EEE数据存储库的评估（MMLU-Pro）（a）在文件级别与Hugging Face模型卡片（b）建立交叉链接。来源徽章EvalEval链接至完整的JSON记录。

这两个目标虽不同但殊途同归。Hugging Face将你的结果展示在人们查看模型的地方，并附带来源链接。EEE则保留完整的结构化记录，使结果具有可解释性，并在此基础上生成Eval Cards。同时向两者提交数据后，同一评估将同时实现可见性和可读性，这正是进行评估的根本目的。

你可以在下方看到这种跨平台兼容性。上述模型卡片中显示的相同GPQA评分也会呈现在Eval Cards中，将EEE运行数据与基准和模型元数据整合为一个可解释的记录。同一评估，不同展示形式：

实现方式

Hugging Face将评估分数以YAML格式存储在模型仓库的.eval_results/目录下。必需字段仅包括基准数据集、任务和数值。源信息块是创建回链至EEE的部分。

- dataset:
    id: openai/gsm8k
    task_id: gsm8k
  value: 96.8
  date: '2024-07-16'
  notes: '8-shot CoT'
  source:
    url: https://huggingface.co/datasets/evaleval/EEE_datastore/blob/main/flat/objects/<xx>/<yy>/<uuid>.json
    name: EvalEval

转换器会从您现有的记录中自动填充这些信息。它将 source_data.hf_repo 映射到 dataset.id，将 evaluation_name 映射到 task_id，将 score_details.score 映射到 value，将 evaluation_timestamp 映射到 date，然后将数据存储库对象的 URL 作为每条记录的 EEE JSON 的来源链接。目前它能够处理四个官方基准测试：MMLU-Pro、GPQA、HLE 和 GSM8K。

转换器的作用不仅仅是重新塑造字段。您只需指定一个 EEE 数据存储库集合，它就会下载该集合及其引用的记录，检查对象哈希值，并找到与支持的基准测试对应的评分。在写入任何内容之前，它会先审计现有内容：它会读取模型主分支和开放 PR 中的每个 .eval_results YAML 文件，并按数据集和任务进行比较，而不是按文件名。如果评分已经存在则标记为 already_present，如果存在不同评分则标记为 score_conflict，如果模型仓库在 Hugging Face 无法解析则标记为 missing_hf_model。其余内容会标记为 ready。

在您确认之前不会推送任何内容。该工具会生成本地 YAML 预览文件和一个供您检查的审查文件，显示准备就绪的内容和需要关注的内容，只有在您输入 OPEN PRS 并输入提交信息后才会创建 PR。重新运行时会复用集合的缓存结果，除非您添加 --force 参数。

转换器的审查步骤。被排除的条目（此处为没有匹配 Hugging Face 仓库的模型）会列出其 EEE 源 URL，准备就绪的 PR 会等待明确的 OPEN PRS 确认。

从这里开始

将您的完整记录提交到 EEE 数据存储库。

使用 EEE 仅需额外一步，而转换器会自动完成大部分工作。社区评估转换器工具可在 GitHub 仓库中找到。要处理一个集合，请执行以下操作：

uv run tools/hf-community-evals/community_evals_converter.py MMLU-Pro \
  --datastore evaleval/EEE_datastore@main

查看预览和生成的报告，准备好提交时输入 OPEN PRS。有关模式、CLI 和转换器的完整文档，请访问 evalevalai.com/every_eval_ever/hf-community-evals。

本文中提到的数据集 2

本文中提到的论文 1

更多来自我们博客的文章

community

research

nlp

让大型模型辩论：首个多语言大模型辩论竞赛

• +8

33

2024年11月20日

介绍日本大模型的开放排行榜！

• +3

39

社区

编辑

预览

通过拖拽文本输入框、粘贴或

点击此处

上传图片、音频和视频。

点击此处上传图片

评论

· 注册或登录以发表评论

• +13