概念

80% Success Rate Benchmark

Q: 80% Success Rate Benchmark 最近有什么新动态？

traeai 已收录 1 篇与 80% Success Rate Benchmark 相关的内容。最新一篇是「An early Claude Mythos Preview snapshot we provided METR has a time horizon of more than 2x the next...」，由 Alex Albert(@alexalbert__) 发布。

用于衡量模型在复杂、多步骤任务中保持高成功率的能力指标。

已跟踪 1 条高相关材料

TraeAI 观察

如果只读 3 篇

An early Claude Mythos Preview snapshot we provided METR has a time horizon of more than 2x the next...

Alex Albert(@alexalbert__) · 7.5 分

Claude Mythos Preview 在 METR 的 80% 成功率基准测试中，时间跨度超过第二名模型的两倍，达到至少 16 小时（95% 置信区间 8.5–55 小时），展现出显著的长期推理能力。该评估基于 2026 年 3 月的有限窗口期。

Claude Mythos Preview Early Snapshot Achieves Over 2x Time Horizon vs. Next Best Model in METR Evaluation

Alex Albert(@alexalbert__)5月9日126 字 (约 1 分钟)

Claude Mythos Preview achieved a time horizon more than 2x that of the next best model on METR's 80% success rate benchmark, with a minimum 50%-time-horizon of 16 hours (95% CI: 8.5–55 hours).

入选理由：Claude Mythos Preview 时间跨度达 16 小时（95% CI 8.5–55 小时）

FeaturedTweet#Claude#Mythos#AI Evaluation#Time Horizon英文

跨材料问答 · 80% Success Rate Benchmark

回答基于：80% Success Rate Benchmark 相关 1 条材料