90% of US working hours are spent on tasks not covered well by AI benchmarks

美国经济基准地图 | Mercor

研究

企业

专家

公司

美国经济基准地图

近年来AI基准测试数量大幅增加，但对具有经济价值的工作覆盖仍然有限。为衡量这一情况，我们整理了相关基准测试以评估其对美国岗位的覆盖范围。这份基准地图是我们建立全面且持续更新的资源以理解经济各领域AI能力的第一步。

覆盖923种职业

208

覆盖18,797项任务

924

指数中的基准

29

基准地图

每个方块代表美国劳动力市场中923种O*NET职业之一，按22个职业家族分类。职业的着色根据其任务中被初始AI基准列表覆盖的比例。一个基准提示可以对应多个O*NET任务。

点击家族以展开

按基准指数覆盖

仅APEX

至少覆盖

1个提示

5个提示

• 基准指数

• 无覆盖

全部

22

O*NET职业家族及其被AI基准覆盖的职业占比。

职业家族

覆盖职业数

计算机与数学

/

36

商业与金融

33

48

社区服务

10

14

法律

5

7

办公室与行政

21

51

管理

56

建筑与工程

19

销售

6

艺术与媒体

13

40

科学

15

60

医疗从业者

12

89

教育与图书馆

9

62

在我们的数据集中：923种职业中仅有208种职业包含至少5个基准提示的任务，22个职业家族中有6个家族没有任何这样的职业。

我们的研究发现，美国工人90%的工作时间都花费在现有基准几乎未覆盖的任务上。这使得很难评估AI模型在实际工作中表现如何。

现有基准的覆盖范围也并非随机。我们的地图显示，AI社区优先关注最大的劳动力市场：

按职业工资账单划分的O*NET任务基准覆盖情况

• 高AI暴露度

• 低AI暴露度

任务覆盖的调整概率

0

%

20

高AI暴露度

低AI暴露度

5亿美元

10亿美元

20亿美元

50亿美元

100亿美元

200亿美元

500亿美元

年度职业工资账单（对数刻度）

每个点显示了给定AI暴露度标签的职业，其工资账单对应的O*NET任务被我们的基准指数中至少5个提示覆盖的估计概率。AI暴露度标签为二元变量，源自Eloundou等人（2023）研究。职业工资账单根据BLS对每种职业平均工资和从业人数的估计计算得出，假设每周工作40小时。覆盖概率的估计来自对覆盖概率进行AI暴露度和职业工资账单对数的逐任务逻辑回归分析。误差条为基于职业组别层级标准误差的逐点95% delta方法置信区间。

例如，我们初始列表中的基准测试高度覆盖了AI暴露度律师的任务，但对同样具有高AI暴露度的法律秘书或法院书记员的O*NET任务几乎没有任何覆盖。大量中小收入知识型工作的长尾部分似乎被严重低估。

随着我们扩展对经济各领域模型能力的覆盖，我们希望既揭示又帮助填补对模型能力理解的更多空白。

简要方法论

为将经济领域划分为不同行业、职业和任务，我们采用了美国劳工部的O*NET分类体系。O*NET将美国劳动力划分为923种职业；针对每种职业，O*NET都会提供一份涵盖该职业组成任务的详尽清单，所有职业共计包含18,797项任务。

律师职业关联的22项任务示例（其中6项）：

• 1 准备、起草和审查法律文件，如遗嘱、产权文件、专利申请、抵押合同、租赁协议和商业合同。
• 2 为客户提供商业交易咨询，包括责任认定、诉讼追诉或辩护的可行性建议，以及法律权利和义务的解释。
• 3 为个人和企业解释法律条文、司法裁决和监管规定。
• 4 基于法律判例知识分析案件可能的判决结果。
• 5 在民事或刑事诉讼中，向法庭呈递证据为当事人辩护或起诉被告。
• 6 监督法律助理的工作。

在衡量基准覆盖率时，我们首先从29个基准中筛选出质量高且具有经济相关性的基准作为初始列表。（完整列表及筛选标准详见基准索引标签页）。在选择这些基准时，我们优先考虑以下标准：

• 公共可获取性：所选基准至少包含25项公开任务。我们还纳入了可获取保留基准提示的Mercor APEX基准，从而能够将其映射到O*NET任务。
• 代理任务：所选基准要求模型执行代理任务，而非仅回答问题或指导用户如何完成任务。
• 经济现实性：基准任务需与人类（或代理）在现实企业中经常被要求执行的任务相似。经济价值高的任务优先于学术复杂度高的任务。
• 经济多样性：我们对每类职业的纳入基准数量进行了限制，主要目的是应对流行基准中软件工程和研究任务的过度集中现象。
• 难度平衡：当前前沿模型尚未完全覆盖这些基准。

在Wang等人研究基础上，我们随后请LLM裁判员为每个基准提示标记其认为与该提示相关的所有O*NET任务。我们通过Mercor APEX基准的人类专家标注验证了LLM标注的准确性，APEX基准是这29个基准的子集。在基准地图中，若我们的LLM裁判员将某个O*NET任务映射到至少5个基准提示，则该任务被标记为“已覆盖”。

为估算美国人工作时间中用于基准列表所覆盖任务的总占比，我们将覆盖率估算与Hatgis-Kessell等人基于LLM得出的每个O*NET任务工作时间占比估算相结合。

更详细的方法说明请参见方法论标签页。

局限性

我们对总体经济覆盖率及覆盖率模式的估算均基于最初选定的29个基准列表。这并非对所有未饱和、公开、代理型经济基准的完整或完全具有代表性的样本。任何不完整的列表都必然会导致经济覆盖率估算的低估，且难以量化这种偏差的范围。因此，我们强调这些结果是临时性的，随着初始基准列表的扩展，我们将持续更新这些结果。

我们还对每类工作中包含的基准数量进行了限制，以最大限度地扩大覆盖范围。我们认为这使我们对整体经济基准覆盖率的估计更加准确，但会导致对基准数量最多的工种类别（如软件工程）的覆盖率估计出现偏差。

通过选择未饱和的基准，我们可能会低估LLM在O*NET任务上的表现，这些任务对LLM来说更容易完成。另一方面，如果基准饱和是由于任务现实性较低导致的，那么包含饱和基准可能会高估覆盖率。考虑到基准在实际部署中常常高估LLM的表现，后者的说法似乎更有可能成立。我们认为包含饱和基准带来的偏差会比排除它们带来的偏差更大，但两种选择都不理想。

最后，尽管我们在基准索引标签中概述了基准选择标准，但某些标准（如“经济现实性”）难以形式化，这在我们的选择中引入了一些主观性。

覆盖范围的模式

我们索引中的基准对整体经济的覆盖范围相对较深但较窄。它们不成比例地集中在最容易受到AI自动化影响的经济任务上（根据Eloundou等人的测量），O*NET任务被标记为“暴露”时，出现在基准中的可能性比被标记为“未暴露”时高出约6倍。这很合理：基准旨在衡量AI进展，而AI进展最可能出现在最易受AI影响的任务上。这解释了为什么基准中充斥着软件工程和财务分析任务，而在卡车驾驶和天然气厂操作等任务上却非常稀少。

但即使在控制AI暴露程度后，来自工资账单较大的职业的O*NET任务在基准提示中仍显著过代表：

在控制职业和AI暴露程度后，O*NET“任务重要性”是另一个预测基准覆盖率的因素。具体来说，O*NET任务附带了领域专家对任务在其职业中重要性的评分（1-5分）。我们发现，评分最重要的任务出现在基准中的可能性比评分最不重要的任务高出约6-10倍：

职业内O*NET任务重要性对基准覆盖率的影响

3.25

3.50

3.75

4.00

4.25

4.50

4.75

O*NET任务重要性（1-5评分量表）

每个点表示在控制职业后，具有特定AI暴露标签和特定五分位O*NET重要性评分的O*NET任务在我们的基准索引中被至少5个提示覆盖的估计概率。AI暴露标签是二元的，来自Eloundou等人（2023年）。重要性五分位是根据O*NET重要性评分计算得出的。估计覆盖率概率来自以AI暴露和重要性五分位为变量的覆盖率概率任务级逻辑回归，包含职业固定效应。误差条是基于职业组别层面聚类的标准误差的逐点95% delta方法置信区间。

以上图表表明，目前将相对有限的资源投入到高质量且具有经济相关性的基准测试中是合理的；在工资总额最高的职业中，优先考虑覆盖最关键且涉及人工智能任务的基准测试是自然的选择。但除非这类基准测试的数量和多样性显著增加，否则这些模式将导致我们对具有经济价值的模型能力存在重大盲区。

O*NET + 基准测试能否告诉我们AI在你职业中的表现？

按职业类别衡量模型能力至关重要——对企业选择适合需求的模型、对政策制定者预测人工智能的经济影响、对美国人思考职业规划都具有重要意义。不幸的是，这是一个难以解决的问题。

我们可以通过简单地对与特定职业相关的所有基准测试提示进行模型性能平均来尝试。但正如我们的基准地图所示，基准测试对某些经济任务的覆盖远比其他任务密集。简单的平均值会过度强调那些被频繁测试的任务。

O*NET提供了一种潜在减少这种偏见的方法。如果我们按O*NET分类对职业相关基准测试提示的模型性能进行加权平均，使每个O*NET任务在职业平均中具有同等权重，我们将更接近反映真实经济表现的数值。

作为第一步，我们在Mercor的APEX基准测试中对四个职业（投资银行、法律、会计和软件工程）尝试这种方法。我们将O*NET加权得分与每个职业相关任务的模型性能简单平均值进行比较。得出的加权和未加权得分总体上相当接近：

投资银行

法律

会计

软件工程

APEX-1 + APEX-Agents · O*NET: 金融与投资分析师 · 11个任务 · 176个提示

每个提示权重相等

每个O*NET任务权重相等

得分（%）

Claude Fable 5.1 Max

69.8%

68.5%

Claude Opus 5.5 Max

73.3%

70.2%

Claude Opus 5 Max

65.5%

63.0%

GPT-6 Astra Max

61.8%

GPT-5.6 Sol Max

66.8%

65.6%

Grok 4.7 xHigh

58.1%

58.7%

Gemini 3.8 Flash High

66.9%

67.5%

Kimi K3 Max

59.4%

59.9%

DeepSeek V4.1 Flash Max

56.5%

58.4%

30

50

70

80

90

对于每个职业，我们收集所有与该职业相关的APEX基准测试提示。深色条形图显示每个职业相关提示的模型得分简单平均值。然后，我们按O*NET任务对提示进行排序。对于至少有5个对应APEX提示的每个O*NET任务，我们对这些提示的模型得分进行平均以获得任务级得分。接下来，我们将每个任务级模型得分进行平均，得到职业级得分，使每个O*NET任务的性能权重相等。（如果某个O*NET任务的提示少于5个，我们将其从平均值中剔除）。浅色条形图显示每个职业的加权得分。

至少在这种情况下，O*NET加权几乎没有改变。在上述加权得分所包含的O*NET任务中，模型在APEX提示上的表现相似，这限制了重新加权的价值。然而，上述四个职业中不到三分之一的O*NET任务有足够的APEX覆盖范围被纳入我们的加权得分。我们希望将O*NET加权应用于更大范围的基准测试能够产生高质量的职业特定模型得分，并正在为此目标努力。

然而，即使我们整合了数十个基准测试中的任务，仍存在一些障碍：

• 01 如何应对统计效力不足的问题？美国经济中开展的工作范围极其广泛，这意味着对于任何 O*NET 职业及其任务，我们拥有的基准测试项目数量相对较少。这导致我们的估计本身统计效力不足，仅一两个低质量项目就可能严重扭曲我们的评分结果。

• 02 如何应对任务难度和保真度的差异？一些基准测试项目高度饱和，而另一些仍尚未解决。这在一定程度上是时间因素造成的（较早的基准测试是为性能较差的模型和更简单的环境设计的），在一定程度上也与质量有关（一些基准测试项目评分过于简单化，存在细微错误，或可能被奖励机制利用）。我们目前尚未找到明确的质量加权方法。

• 03 以衡量 AI 自动化为主的评估能否推广到增强辅助场景？在现实世界中，AI 模型仍主要由人类使用，而非实现端到端的全流程自动化。因此，衡量模型的现实职业能力时，理想情况下应包括评估模型如何增强人类生产力。我们在这一方向已开展了一些初步工作，但找到可扩展的方法仍充满挑战。

• 04 是否所有 O*NET 职业和任务都能通过基准测试衡量？知识型工作非常适合通过基准测试衡量，因为它们主要在数字设备（如笔记本电脑和手机）上完成。Dingel 和 Neiman 估计，美国仅有 37% 的工作可以完全在家完成，这意味着约 63% 的工作包含需要物理操作的任务，这些任务难以纳入当前的基准测试。目前这可能还不是重大缺陷——随着机器人技术的快速发展，我们预计将迫切需要物理任务基准测试。

我们正在积极解决这些问题；如果您也在研究相关课题，请随时与我们联系！

我们感谢 Wang 等人提供的 O*NET 标签方法论，并感谢 Nathan Lambert 对本文初稿的反馈。

APEX 新闻通讯

最新前沿 AI 表现资讯，直接发送至您的邮箱。

新基准测试、排行榜变动以及 APEX 团队的研究成果。

查找工作

浏览职位

帮助中心

资源

故事

APEX 基准测试

APEX-Agents

APEX-会计

APEX-SWE

现成数据

美国基准地图

企业 AI

人类数据

数据货币化

机器人技术

联系销售

使命

职业机会

安全

新闻室

博客

© 2026 Mercor

服务条款

您的隐私选择

加利福尼亚州旧金山