Who Grades the AI Models? | Ben Horowitz & Rayan Krishnan

集集摘要

a16z 的 Erik Torenberg、Ben Horowitz 和 Jennifer Li 与 Vals 创始人兼首席执行官 Rayan Krishnan 会面，讨论 AI 越来越困难的问题之一：如何实际衡量模型是否在进步？随着公开基准测试趋于饱和，模型在优化测试本身方面变得越来越好，Rayan 提出了独立且持续演进的评估方法。他们分析了为什么模型自报的分数可能具有误导性，VALS 在发布前数小时内如何评估模型，以及为何衡量日益自主的系统意味着需要测试可能持续数小时、数天甚至数周的工作。他们还探讨了为什么评估对于试图理解 AI 投资回报率的企业变得至关重要，如果 token 消耗开始与员工薪资相当会发生什么，以及评估最终如何可能为从模型路由和递归自我改进到 AI 政策和国际协调等一切提供统一的语言。

集集备注

a16z 的 Erik Torenberg、Ben Horowitz 和 Jennifer Li 与 Vals 创始人兼首席执行官 Rayan Krishnan 会面，讨论 AI 越来越困难的问题之一：如何实际衡量模型是否在进步？

随着公开基准测试趋于饱和，模型在优化测试本身方面变得越来越好，Rayan 提出了独立且持续演进的评估方法。他们分析了为什么模型自报的分数可能具有误导性，VALS 在发布前数小时内如何评估模型，以及为何衡量日益自主的系统意味着需要测试可能持续数小时、数天甚至数周的工作。

他们还探讨了为什么评估对于试图理解 AI 投资回报率的企业变得至关重要，如果 token 消耗开始与员工薪资相当会发生什么，以及评估最终如何可能为从模型路由和递归自我改进到 AI 政策和国际协调等一切提供统一的语言。

资源：

在 X 上关注 Rayan Krishnan：https://x.com/RayanKrishnan

在 X 上关注 Ben Horowitz：https://x.com/bhorowitz

在 X 上关注 Jennifer Li：https://x.com/JenniferHli

保持更新：

在 YouTube 上查找 a16z：YouTube

在 X 上查找 a16z

在 LinkedIn 上查找 a16z

在 Spotify 上收听 a16z Show

在 Apple Podcasts 上收听 a16z Show

关注我们的主持人：https://twitter.com/eriktorenberg

请注意，此处内容仅用于信息参考，不应视为法律、商业、税务或投资建议，也不应用于评估任何投资或证券；且未针对任何 a16z 基金的投资者或潜在投资者。a16z 及其附属公司可能在所讨论的公司中持有投资。更多详情请参见 a16z.com/disclosures。