Gary Marcus(@GaryMarcus)
Gary Marcus 在 X 上：澄清‘任务horizon’如何随准确率标准提升而下降
4.5内容质量
TL;DR · AI 摘要
该推文建议将不同准确率阈值下的任务完成时间范围直接绘于同一图表中，以提升METR评估图的可读性，并强调需明确任务领域为软件工程。
核心要点
- 建议在图表中直接绘制50%、80%、90%和100%准确率阈值下的任务完成时间范围曲线。
- 当前METR图表将数据分散在多个标签页，影响可读性和比较效果。
- 必须在标题中明确任务类型为软件工程任务，避免泛化到所有人类任务。
思维导图
用一张图看清主题之间的关系。
查看大纲文本（无障碍 / 无 JS 友好）
- METR图表改进建议
#METR#可视化#任务horizon#准确率阈值
打开原文Gary Marcus 在 X 上：“在图表中直接（而非通过标签页）阐明‘任务范围’如何随着准确率标准的提高而下降，肯定会改进这张图，@METR_Evals。作为对下方内容的一种变体，我建议你们加入50%标准等线，一直到80%、90%和100%，不要放在标签页里，而是像下面这样直接以线条形式呈现。注意：必须在标题中明确指出相关任务是软件工程（而不是从所有人类任务中随机抽样等）” / X
别错过正在发生的事
在图表中直接（而非通过标签页）阐明“任务范围”如何随着准确率标准的提高而下降，肯定会改进这张图，
。作为对下方内容的一种变体，我建议你们加入50%标准等线，一直到80%、90%和100%。不要放在标签页中，而是直接以线条形式报告，类似于下方示例。注意：必须始终在标题中说明（与下方不同），所涉及的任务是软件工程任务（而非从所有人類任务中随机采样等）
引用
@YafahEdelman
·
23小时前
我认为 METR 新的时间范围图目前相当糟糕。它是一个很棒的基准，但时间范围估算目前并不合理。我认为像下面这样的方式会更合理：
美国东部时间 5月13日 下午4:26
·
7
13
3
阅读 7 条回复