指数曲线不会拯救你

Astral Codex Ten The Sigmoids Won't Save You ... MAY 15, 2026

“所有指数增长最终都会变成S型曲线”是一个令人厌烦的AI讨论点。如果有人展示出这样的图表……

……并指出似乎AI能力很快就能达到标记为“High”的水平，那么最高级的辩论就是指出实际上趋势可能像这样：

……然后它就永远不会达到标记为“High”的水平！

用标语形式来说，这就是“所有指数增长最终都会变成S型曲线”（S型曲线是第二张图中的S形，起初呈指数增长，但逐渐趋于平缓）。从技术上讲这是正确的。没有任何过程可以永远持续增长；最终它会遇到物理或实际限制。例如，在流行病期间的总病例数通常是S型曲线：

它们开始缓慢增长——零号患者感染一号患者，依此类推。它们以指数方式增长直到大多数人被感染。然后，当几乎所有人都被感染，只能处理最后几个未感染者时，增长速度又会减缓。最后，当所有人都被感染后，增长率为零。

某一领域的技术进步也可以是S型曲线。以下是飞行速度记录随时间的变化：

来源：https://en.wikipedia.org/wiki/List_of_flight_airspeed_records

据我了解，这代表了3-4种不同的技术代（螺旋桨、涡轮喷气发动机等）。每种技术都经历了正常的迭代改进，当它达到其基本极限时，就会被更好的技术所取代。最后一种技术——冲压发动机，在大约3500公里/小时的速度下达到了极限，而且没有足够的经济或监管意愿去开发更先进的技术，因此这一纪录仍然保持。

你可以想象在AI领域也会发生类似的事情。这意味着人们是对的，不需要担心图表会达到标记为“High”的那条线吗？

在我们得出一般性结论之前，让我们看看S型曲线误判名人堂。

第三名是联合国对出生率下降国家的预测。这些国家的出生率以恒定速率下降，而联合国不断预测它们会趋于平稳并以较低速率继续下降。在这张图中，红色是实际数据，每条蓝色线是不同年份联合国做出的不同“外推”预测。

确实，出生率最终会趋于平稳并形成S型曲线（尽管去年韩国可能已经发生了这种情况，但哥伦比亚和智利的出生率仍在下降），但这并不一定发生在联合国预测者觉得下降过快的那一刻。

第二名是A.E. Hoekstra记录的太阳能部署预测。

各种WEO线条是世界能源组织对太阳能部署速度的预测。每年，WEO都会认为：“哇，去年太阳能装机量增加了很多，今年可能会趋于平稳，甚至人们可能会稍微减少一些。”然而，每年太阳能部署量的增长速度却保持不变。

第一名是关于AI能力METR图的一篇论文。2026年初，基础数据看起来像这样：

……沃顿商学院的一支团队尝试拟合不同的曲线，并预测未来的发展轨迹可能是这样的：

@Tenobrus详细记录了接下来发生的事情（绿色曲线是他们最初的预测；星号标记的是他们分析之后发布的下一个AI模型）：

故事的寓意是，虽然所有指数增长最终都会变成S型曲线，但这并不一定发生在你进行分析的那一刻。有时候它们会比预期持续更长的时间！

会持续多久？

预测这一点的最佳方法是完全理解生成趋势的过程。例如，你可以通过了解病毒的复制速度、治愈的可能性以及易感人群的数量来预测疫情。即使在像飞行速度记录这样复杂的案例中，一位聪明的工程师也能判断冲压发动机的最大速度约为3500公里/小时，而一位聪明的经济学家也能预测没有任何国家有动力投入足够资金来实现下一个范式。

如果你不完全了解这个过程呢？AI预测者知道一些事情（比如数据中心的工作原理和建设成本），但他们对其他事情不确定（研究人员不断发明新的数据生成范式，突破数据壁垒，但能持续多久？），还有些事情完全是未知的（什么是真正的智能？为什么规模定律有效？它们是否会突然失效？）。在这种情况下，你能做些什么？

在真正无知的情况下，默认假设应遵循林迪定律：一个过程通常会持续的时间与其已经持续的时间大致相同。

建立直觉：假设你走过一个间歇泉，看到一块牌子写着“这个间歇泉上次喷发是在10万年前”。你对间歇泉一无所知。那么它在接下来的1小时内喷发的可能性有多大？这应该非常低，对吧？如果它在接下来的1小时内喷发，那就意味着你几乎走过了它喷发周期的99.99999%——换句话说，你的随机样本比99.99999%的点值还要高。这并不是随机样本通常的工作方式！另一方面，假设你走过另一个间歇泉，看到一块牌子写着“这个间歇泉上次喷发是在10分钟前”。那么这个间歇泉在接下来的1小时内喷发的可能性有多大？应该很高，对吧？看起来这个间歇泉的喷发周期是几分钟一次。当你计算出来时，你对下一次喷发所需时间的中位数预测应该就是牌子上的数字。同样地，对于一个完全未知的趋势何时会改变形状，你对需要多长时间才能发生变化的中位数预测也应该是自上次变化以来的时间长度。

将这一思路应用到人工智能上：那些试图深入理解人工智能进步动态的预测者认为，我们可以以目前的速度继续扩大人工智能规模几年（通过建设更多的数据中心等），之后可能通过递归自我改进更快地扩展。但假设你不信任这些人，那么你的默认预期应该是什么？

自2017年的GPT-1以来，人工智能已经取得了显著的进步，尽管大多数人随意地将“扩展时代”定为2019年至今。因此，如果我们忽略一切已知信息，并将整个领域视为完全神秘，我们可能会期望趋势继续下去，平均还有七年。假设采用帕累托分布（在人工智能的情况下，这到底意味着什么？我不确定），那么它在未来两年内继续发展的可能性是22%。

嘲笑那些过度外推趋势的人很容易：

（来源）

但如果有人声称人工智能能力增长的趋势永远不会达到某个可怕的水平，那么他们就必须解释以下两种情况之一：

如果他们不把人工智能当作黑箱，而是声称明确地建模了其动态，那么他们的模型是什么？他们是否计算了显而易见的事情，比如数据中心的增长和算法进展的速度？他们是否熟悉该领域已有的建模工作，例如AI未来时间线模型？他们是否有具体意见认为其他模型哪里出错了，以及他们的模型与它们有何不同？

如果他们把人工智能当作黑箱，为什么他们的默认预期不是基于林迪定律？

订阅《Astral Codex Ten》 作者：Scott Alexander P(A|B) = [P(A)*P(B|A)]/P(B)，其余都是评论。 通过订阅，您同意Substack的使用条款，并承认其信息收集通知和隐私政策。 473 喜欢 ∙ 32 次推荐 上一篇 443 条评论 火星月光 3天前

所有这些联合国和世界经合组织的预测有什么解释？他们为何每年都会如此荒谬地错误？这是由于某种政治压力，还是因为有一个由实习生组成的团队不敢质疑之前的方法？

就连太阳能板，我都不明白为什么你会假设这种突然停止增长的奇怪趋势。

回复（12） Louis Dormegnie 3天前

对于太阳能板的部署，我不会感到惊讶的是，这可能是由于中国太阳能投资的不可预测性和缺乏透明度。如果你看一下每年新增的太阳能装机容量，绝大多数都来自中国。但对外界来说，没有干净的方式可以知道或何时会停止。对于预测者来说，最安全的做法是想象大规模增长将会在未来不久趋于平稳，部分原因是基础概率倾向于回归均值，部分是因为过于乐观地预测装机容量增长更可能被嘲笑而不是“保守地估计”，部分则是因为惯性（谁愿意成为第一个预测大规模增长会持续到未来的人？）。

我们在人工智能周期中的分析师对收入增长和资本支出增长的预测中也能看到同样的现象。分析师们往往围绕“共识”聚集，而“共识”是管理层指引加或减预期惊喜的结果。这些预测经常被修订，但共识总是低估这些数字，原因如上所述。

例如，在2026年初，声称Anthropic的收入将翻十倍，这在金融服务行业看来并不被视为严肃的预测，因为基础概率加上规模经济再加上害怕犯下巨大错误。

另一个例子是“超大规模公司”（Meta、Google、Microsoft、Oracle 和 Amazon）每年的资本支出数据不断被向上修订，尤其是在季度财报发布时，我们会得到管理层的更多信息。

回复（3） Matthias Görgens 3天前

公司的“分析师预测”是经过精心管理的（通过向分析师传递信息），使得这些预测刚好接近分析师的共识预测，与实际财报相符。

至少对公司来说是理想的情况。

因此，这是一个反馈过程。

回复 Calliope 3天前

太阳能的问题可能是“我们不了解中国，我们不知道中国为何要增加太阳能装机，而且我们也没有动力去了解。”（我打赌我们的最佳经济学家对中国的了解相当到位，因为他们这会影响他们的利润——以及潜在的破坏计划。）

回复 Deiseach 3天前

“如果你看一下每年新增的太阳能装机容量，绝大多数都来自中国。但外界没有干净的方式知道或何时会停止。”

例如，提出的“欧洲制造”（Made in EU）运动旨在保护欧盟成员国免受中国向我们市场倾销过剩产能的影响。有人声称，中国的国内市场尚未充分培育出能够吸收其（过度）生产的中产阶级消费群体，因此需要将多余的产能出口到国外，并通过以更具吸引力的价格倾销产品（如太阳能板和电动汽车），从而创造市场并削弱本土竞争。

如果欧盟国家通过限制进口并取消这些有吸引力的价格来反击，那么这将损害中国，并使太阳能产能的预测变得不那么确定。

https://www.rte.ie/news/business/2026/0503/1571342-eu-manufacturing-china/

“欧洲制造”计划实际上是欧盟推动在欧洲更多地进行制造和生产的一项广泛举措——目的是提振欧洲经济，但更重要的是减少欧盟对其他国家的依赖。

……该计划的核心是《工业加速法案》，该法案于上个月发布。它提出了欧盟国家优先事项的重大转变。

……该法案特别关注几个关键领域，即电动汽车、钢铁生产和绿色技术，如太阳能板和风力涡轮机。

这是因为这些领域被视为对欧盟具有战略意义，也是欧洲希望在其中保持竞争力的领域。

但它们可能会对爱尔兰及其他国家为消费者提供房屋翻新或升级汽车的绿色补贴产生潜在重大影响。

……疫情是其中一个重要的转折点。因为当全球供应链因封锁而陷入停滞时，特别是中国经历了严重的封锁，这凸显了欧洲在贸易中断情况下暴露的程度。

……此外，人们也认为，欧洲制造业目前较弱，主要是因为中国利用了欧盟试图实现自由开放全球贸易的努力。

批评中国的人指出，他们长期以来在钢铁和太阳能板等产业中给予制造商大量补贴，这使得他们能够压低欧洲竞争对手的价格，并让许多企业倒闭。

还有一种担忧是，同样的情况现在正在电动汽车领域发生，这也是欧盟提议对中国电动汽车征收高额关税的原因之一。

……因此，中国认为，由于其拥有制造基础和产能，并且已经积累了大量的经验和专业知识，应该进一步发展，不仅仅成为美国和欧洲消费者的廉价商品代工制造商。

与此同时，这也意味着中国公司不应仅仅为其他公司制造产品出售给消费者，而应开始直接销售自己的产品。

我认为情况并没有看起来那么糟糕。如果你遵循了 Scott 对 AI2027 的评论，你就会明白了解预测模型所预测的内容非常重要：平均预测和中位数预测之间可能存在显著差异，而且两者都不一定符合最小化残差平方和的曲线拟合。而这些残差是在哪个领域计算的呢？也许你想在对数域中计算残差，或者用总太阳能发电量而不是每年太阳能发电量的变化来计算残差，甚至可能是每年太阳能发电量的二阶变化。在批评他们所绘制的曲线看起来愚蠢之前，重要的是要清楚他们到底在预测什么，以及他们正在最小化哪种误差函数。我记得扫描了产生这张图的文章，其意图显然是让预测看起来尽可能愚蠢。

REPLY (1) Jiro 3d

人口曲线也不太好。下降的趋势往往不会像上升的趋势那样面临限制。（在一个句子中解释 Scott 帖子中的一个缺陷，感觉有点奇怪，但这就是全部内容。）最后一个例子是人工智能，这是 Scott 实际上在争论的问题，这意味着如果太阳能板的例子不好，人口的例子也不好，那么 Scott 就没有任何例子了。

REPLY (2) Jeffrey Soreff 2d

下降的趋势往往不会像上升的趋势那样面临限制。

说得很好，这是一个好观点！

可惜马尔萨斯早已去世，要是他能听到他如何试图解释像韩国这样富裕、食物充足、但生育率低于更替水平的国家，那该多有趣啊……

REPLY (1) Ron Barr 2d

马尔萨斯的判决

韩国并不是因为富裕且儿童数量少而推翻了马尔萨斯理论。它揭示了稀缺性会以不同的方式演变。

在旧世界，生育率受到食物短缺的限制。

在现代富裕世界，生育率受到以下因素的限制：

• 价格合理的住房
• 稳定的成年生活
• 可接受的工作时间
• 性别公平
• 对未来的信心
• 免于社会地位竞争的自由
• 作为人类的时间

因此，我——马尔萨斯——必须修订我的悲观小理论：

人口不仅仅受到胃容量的限制。

它受到人们相信生活可以体面地延续的条件的限制。

韩国食物充足，但许多年轻韩国人似乎审视了生育社会的全部成本——不仅是生物学上的，还有社会上的——并拒绝了这些条件。

REPLY (2) Jeffrey Soreff 2d

非常感谢！

a) 我认为这算作移动目标。

b) 我怀疑大多数这些因素实际上并未随时间恶化。例如，如果将现在的韩国与1950年的韩国进行比较，我很难相信例如：

• 稳定的成年生活
• 可接受的工作时间
• 性别公平
• 对未来的信心

这些在1950年时实际上更好（考虑到当时有战争），但总和生育率（TFR）却在此之后下降了。

REPLY (2) Jiro 2d

列表中的一些内容是左翼的观点，但其中一些是真实的，还有一些是被左翼观点掩盖的真实现象。性别不平等在1950年代更严重，但与性别期望相比，性别不平等可能更少。“成为人类的时间”在1950年代可能更好，而这与性别平等相矛盾，当性别平等意味着女性需要像男性一样承担压垮灵魂的工作。

REPLY (1) Jeffrey Soreff 1d

非常感谢！但从解释生育率下降的角度来看，这些因素大多朝着错误的方向发展。例如，正如你所说：

性别不平等在1950年代更严重

现在你补充说：

与性别期望相比，性别不平等可能更少

这就使问题（从生育率的角度来看，这是一种偏好，而我不认同）变成了“期望”的变化。

坦白说，在 Ron Barr 提供的列表中，我认为唯一一个合理（朝着降低 TFR 的方向发展，并且具有较大且一致的影响）的是：

• 价格合理的住房

REPLY David Kinard 2d

唉……你们都忽略了重点。

为什么全球各地的人口都在下降，这与工业化有关吗？

合成内分泌干扰物！

所有其他因素只是火上浇油。

REPLY (2) Adam Buchbinder 2d

这个理论很有趣，它是否影响了宠物和野生动物？如果是环境因素，它应该会影响它们。

上一次工业化学品含量低导致重大变化，是铅。这里是否有类似的证据基础？

REPLY Jeffrey Soreff 1d

非常感谢！这可能是部分答案，但我怀疑这不是主导因素。据我所知，那些有意要孩子的夫妇的生育率比过去有所下降，内分泌干扰物可能是其中的一部分。另一方面，现代职业路径也促使想要孩子的夫妇推迟生育，而年龄较大的夫妇的生育能力也会下降。

REPLY Adam Buchbinder 2d

我不买这个说法。你看到的是一个各方面都比过去更优越的社会，而过去的社会更加贫穷、状况更差，而且孩子更多。

我认为现在养育孩子大多是出于有意而非偶然，而且还有许多其他事情你可以用你的生活和金钱去做，这些比养育孩子更有趣。

结果发现，社会为我们提供的所有美好事物，反而阻碍了人们享受这些事物。哎呀。

REPLY (1) David Kinard 2d

再次强调，是内分泌干扰物（SEDs）。

就是这么简单，这里没有谜团。

REPLY (1) Adam Buchbinder 1d

这能解释夫妻形成率的下降吗？人们尝试要孩子或进入能够生育状态的比率下降了吗？

REPLY David Kinard 2d

这取决于具体情况。

对于至少某些物种来说，种群减少的最终结果确实是零。

在至少一些（我认为是很多）情况下，这种观点来源于看到趋势继续发展的障碍，无法看到问题的可能解决方案，或者无法通过数据保证这些特定方案在实践中有效，拒绝进行“推测”，然后采取“保守”的立场，假设它们不会奏效。当然，相关行业会礼貌地忽略这种观点，同时不断创新以解决或绕过这些问题。

一年半前，我听了一位BloombergNEF分析师的演讲，她基本上表示，他们在未来预测中不考虑任何尚未在商业上得到验证的因素。她对一群主要是风险投资公司、企业风险投资和能源初创企业的听众说这句话，而这个群体最有可能意识到这种方法的问题。然而，世界上大多数人却并未意识到这种方法的问题，并认为这样的预测更具说服力。

REPLY Lórien 3d

联合国是一个带有偏见的行动者（或者说是由带有偏见的人组成），试图将现实强加于图表之上，以符合某些政治观点并为某些政治行动提供正当性。纯粹的愚蠢永远无法战胜趋势线，或者任何其他关于无能的解释。

REPLY Daniel 3d 编辑后

我的猜测是，联合国根本不清楚出生率下降的原因（有谁清楚呢？），因此他们看不到未来出生率也会下降的理由。

我们知道，正确的贝叶斯方法是假设存在某种未知的“X”因素导致这一现象，并像Scott对待上述黑箱效应一样对待这个未知因素。但联合国则是一种结合了无能和坚持人道主义哲学的组织，这种哲学抗拒使用如此粗略的统计工具来建模新生命的灵魂。

REPLY (1) David Kinard 2d

是的！合成内分泌干扰物在环境中无处不在！

这非常显而易见，但人们却一直认为世界各地都会发生类似的事情（只是速度不同），这是由于某些独特的因素组合，这些因素完全违背了以往的经验和逻辑。

REPLY (2) David Kinard 2d

https://pmc.ncbi.nlm.nih.gov/articles/PMC2706654/

REPLY Donald 17h

我是说，避孕措施让生育孩子成为一种选择。

一个对童工嗤之以鼻的文化让生育孩子变成一项昂贵的选择。

这里有什么可解释的呢？当然，容易获得的避孕措施会减少出生的孩子数量。

REPLY maybeiamwrong2 2d 编辑后

对于联合国的预测，它们经常被嘲笑，但一个有趣的辩护理由是，最可能的趋势逆转将是相当剧烈的（也就是说，会出现显著的反弹）。因此，你可以预测趋势会继续或不会继续，但无论哪种方向的错误都会显得很傻，因为预测中间值的可能性很低。

我不知道这种假设实际上是否成立，但据我所知，这就是预测突然剧烈逆转的善意推理。

编辑：他们在2024年报告中这样表述，第2.1节：

“长期人口预测高度不确定，主要原因是不确定将要出生的儿童数量。对于生育率低于更替水平的国家来说，预测未来的生育率尤其具有挑战性，因为可用于预测的历史先例非常有限。

对于那些整体人口已经达到顶峰的国家和地区，2024年《世界人口展望》的中等情景假设，在2024年至2100年间，生育率将逐渐上升至每名女性1.4个孩子（95%的不确定性范围为2100年每名女性1.2至1.8个孩子）（图2.5）。这一假设受到39个国家趋势的影响，这些国家的总生育率曾低于每名女性2个孩子，随后在至少两个连续的五年期间出现了反弹（参见联合国，2024b）。”

https://www.un.org/development/desa/pd/content/world-population-prospects-2024-summary-results-0

编辑2：联合国2024b指的是他们的2024年方法论报告，相关内容从第28页开始。

REPLY Mary Catelli 2d

追踪资金流向。不要依赖那些向预测者支付金钱的人发布的预测。

REPLY vectro 2d

这种情况发生在各种领域。这里是交通方面的例子：https://pirg.org/resources/u-s-dept-of-transportation-forecasts-of-future-driving-vs-reality/

我的感觉是，专家之间有一个共同的叙事，只有多年错误之后才会迫使叙事发生转变。当世界发生变化时，这一点尤为明显；专家很难应对制度转变。

REPLY David Kinard 2d

如果他们提出了灾难性的预测，可能会产生自己的下游扰乱效应。

REPLY Jesse 2d

对于太阳能而言，原因将是高输出时段的价值侵蚀。这已经在一些市场中显现出来，比如欧洲。

REPLY Trust Vectoring 3d

我最喜欢的S型曲线是以人类历史上所有曾经生活过的人数作为Y轴。

https://i.imgur.com/HsDjwiZ.png

REPLY (7) Metacelsus 3d

先生/女士，这真是一个精彩的网络迷因。

REPLY Ben 3d

真疼

REPLY (1) Firanx 3d

如果我们获得了永生，我们将不需要（而且也无法支持，假设被困在太阳系内）那么多新的人类。

REPLY (3) Polytope 3d

最好的结局——Jon Bois的《足球17776》

REPLY Lars Petrus 3d

我一生中都听到“地球无法养活更多人”这样的话，而人口却翻了一番，平均生活水平也大幅提高。

我的解释是，人类通常能够自给自足。

REPLY (2) Mark W. Kidd 2d

在美国，我们正与伊朗进行一场威胁化肥供应的战争。总体而言，世界依赖化石燃料以肥料的形式刺激农业。例如，仅仅因为化石燃料的供应尚未枯竭，并不意味着人类在养活自己方面有无限的可能性。

REPLY (3) Ch Hi 2d

是的。但...

大量化肥可以用电力和常见材料制造出来。（如氮气等）矿物质则更难获取，但也不像你想象的那样局限于某个地区。

尽管如此，我们仍在以远超自然更替速度的速度消耗地球资源，但石油化学肥料并不是一个好的例子。它们正是我们需要更多清洁能源的原因。

REPLY (1) Mark W. Kidd 2d

我认为石油化学品是一个很好的例子。你可能有一个理论概念，认为它们可以在我们当前经济体系的一个更好版本中被替代，但实际经济体系需要它们，而且要实现转型并不容易。我确信可能存在一些理论上的方法来减少矿物使用和其他方面的问题，但我不能同意你的回应认为我的例子不合适。

REPLY Calliope 2d Edited

我们正面临两场威胁“化肥供应”的战争。你之所以没有注意到第一场战争，是因为没有人从山丘上大声喊出来，这并不代表经济学家*没有注意到。

我的意思是，斯里兰卡的粮食危机相当严重，对吧？在欧盟，有人直接把粪便倒在议会前面，也很具冲击力……你没注意到吗？

我们生活在一个物质丰富的时代，你可以选择不去注意饥荒和苦难。

Psst！买点面粉。

*当然，聪明的人们除外。

REPLY (2) Alban 2d

嗨 gawdflea/grimmoar，决定再次回来？

REPLY The Ancient Geek 2d

事实上，乌克兰战争对化肥供应的影响确实引起了相当多的公众关注。

REPLY Lars Petrus 2d

1910年代两位德国人发明的哈伯-博世化肥工艺，正是我想说的“人类依靠自身生存”的一个例子。

哈伯和博世发明了一种如今养活了全球一半人口的技术！而地球本身却什么也没做。

我们83亿人活得比以往任何时候都更久、更好，这是因为人类不断发明出用更少资源完成更多事情的方法。我不确定未来化肥和化石燃料的具体前景，但我们的记录清楚地表明，人口增长会带来更好的生活，而不是相反。

REPLY The Ancient Geek 2d Edited

我的解释是，当前的人口规模在20世纪的技术条件下是无法支撑的，而少数人的创新成果正在支持着所有人。

编辑：

1910年代两位德国人发明的哈伯-博世化肥工艺，正是我想说的“人类依靠自身生存”的一个例子

这并不是我对你评论的理解方式。

REPLY Mary Catelli 2d

如果我们获得永生，你一生就能抵达星辰。

REPLY Loris 3d

啊，是的，那个老掉牙的“内容在您所在地区不可观看”

REPLY Bugmaster 3d

遗憾的是，考虑到我们对自我毁灭能力的了解，这张图表很可能正确。谁还需要人工智能，当你拥有核武器时？

REPLY (2) UnDecidered 2d

这是逻辑上正确的。人类历史上总共有一定数量的人口，而我们已经达到了这个数量。明天我们将达到一个新的、更大的数量，图表依然会看起来一样。

/这就是笑话所在。

REPLY (2) Mo Diddly 2d

但是……我现在感觉有点傻，但如果出生率不再下降，我们不应该预期它只是突然停止的指数增长吗？为什么是S型曲线？

REPLY Taleuntum 2d Edited

请注意，这条曲线的导数趋于零。

REPLY Sebastian 2d

核武器或其他灾难性事件会在图表上引入一个非常明显的拐角，即使它不是人类文明的终结。平滑的曲线代表逐渐消亡。

REPLY Bob Bobberson 3d

这真的非常有趣。用一个论点来击败自己，有一种令人赞叹的优雅。

REPLY (1) Trust Vectoring 2d

阅读 Scott Aaronson 的 P?=NP 概述。特别是自然证明障碍（Natural Proofs Barrier）展示了上帝有着极其幽默的感性。

REPLY Ariops 2d

我觉得我好像漏掉了什么。这不是一个显而易见的事实，或者至少在遥远的未来宇宙热寂的情况下，这不是很有可能吗？

REPLY (1) Bugmaster 2d

如果你认为人类能活那么久，那你过于乐观了。我们很可能不会活过太阳的死亡，更不用说接下来的1000年了——即使没有任何邪恶的超级人工智能。最好的情况是，我们的自我毁灭不会彻底，一些新的文明将从灰烬中崛起，重复这一循环，直到太阳熄灭……

REPLY (2) Matthew Bell 2d

沃尔特·米勒的《列比茨的安魂曲》。

REPLY (2) Ariops 2d

几年前读过这本书。它并不完美，但我认为它被低估了。我很喜欢它。

REPLY (1) Bugmaster 8h

同意

REPLY Bob Bobberson 1d

这是一本很棒的书。我也非常喜欢 Gene Wolfe 的《折磨者的阴影》，它（轻微剧透）基本上是《列比茨的安魂曲》在更大规模上的再现。

REPLY Ariops 2d

你说得完全正确，这进一步加强了我的观点。我认为人类人口呈S型曲线是再自然不过的事情，几乎不可避免。宇宙热寂只是最后的“贷款人”。

线程中其他人在看待这张图表时，似乎把它当作一种新颖的观点，就像说天空是蓝色的一样。你能理解为什么吗？

REPLY (1) Bob Bobberson 1d

我认为这是一种有趣的逻辑技巧。如果S型曲线证明AI进步即将结束，那么它们也证明人类物种即将终结，这实际上意味着AI末日或其他同样灾难性的事件确实即将来临。

对我而言，这是一种令人印象深刻的方式来支持斯科特的主要观点。我们必须关注实际的地面事实，而不能仅仅指着sigmoid曲线的存在并假设它支持我们想要的任何结论。

REPLY (2) Ariops 1d

啊！现在我明白了。谢谢你的解释！

REPLY Bugmaster 8h

我们必须关注实际的地面事实，我们不能仅仅指着sigmoid曲线的存在...

按这个逻辑，我们也不能仅仅指着指数曲线的存在！

REPLY (1) Bob Bobberson 7h

哦，绝对不是。我相信AI会遇到瓶颈，我只是不知道什么时候。目前各种曲线仍然都有可能。

REPLY Matthew Bell 2d

我不明白，为什么这会很有趣？

REPLY (2) Jeffrey Soreff 2d

这意味着出生率归零，这是一种相当悲观的外推。

REPLY vectro 2d

如果曲线趋于平缓，那就意味着人类灭绝了。

REPLY (1) Jim Menegay 1d

如果曲线趋于平缓并且人类仍然是会死的。

REPLY tailcalled 3d

对于AI来说，增长限制因素可能是宇宙级别的。

REPLY (1) Matthias Görgens 3d

从长远来看，我们无法超越立方体扩展；因为我们（很可能）生活在三维空间中，光速是绝对速度极限。尽管我认为你可以压缩时间。

REPLY (1) Ghillie Dhu 2d

在极长的时期内，情况更糟：一旦访问的体积被完全利用，新增的体积只能以二次方（卡尔达舍夫与立方-平方定律）的速度变得可访问。

REPLY (1) Matthias Görgens 2d

二次增量会带来立方曲线。

REPLY (1) Ghillie Dhu 2d

没错；我对“立方扩展”这句话的理解与原意有所不同。

REPLY Louis Dormegnie 3d

使用sigmoid曲线来表示AI完成任务长度的问题在于，即使任务长度明天就停滞在24小时，你仍需要面对算法进展与计算能力进展相乘所带来的数量级更多的“代理”（agents）。如果你能让1000个代理完成24小时的任务，那么明年花同样的钱，你就能获得10000个，再下一年则是10万。显然，任务长度并不是值得过分担心的瓶颈。

REPLY (2) Deiseach 3d Edited

如果任务需要24小时才能完成，那么增加更多代理并不会让任务更快完成。这就是“与其在300度下烤3小时，不如在900度下烤1小时”的笑话。

如果任务完成时间受限于代理的数量，那么确实，更多的代理意味着更快。如果任务是“如果有50个人在这里，这个工作可以在一小时内完成，但因为只有我一个人，所以要花一整天”，那么更多代理更好。但首先我们要确定对这个问题来说，更多代理是否更好。

不过我同意，如果无论有多少代理任务都需要24小时，那么拥有10万个而不是1000个代理意味着你能完成更多你想要做/制造/完成的事情，这可以意味着规模效率、更低的成本、更便宜的价格、更多的供应等。

REPLY (2) Louis Dormegnie 3d

我同意烹饪笑话所传达的语气。我也认为，如果我们被某个特定任务的长度所限制，我们可以找到巧妙的方法进一步细分任务，从而让更多的代理更快地完成任务（得益于更多的计算能力和分工协作）。我只是在调侃一些人对METR图表的看法，他们认为sigmoid曲线会终结变革性AI的理论。

REPLY (1) Bugmaster 3d

从数学上讲，存在许多不容易并行处理的任务。

REPLY (1) Ch Hi 2d

我认为你假设了P不等于NP。如果你有足够多的代理，它们可以随机选择答案，然后对这些答案进行评估。这几乎从来都不是一种实用的方法，但你说的是“从数学上讲”。

REPLY (1) Bugmaster 2d

我为什么要假设P等于NP，甚至P等于NC呢？

REPLY Tuna 2d Edited

然而，如果你能更好地并行处理一个AI系统的工作，你可能会更快地完成任务。

目前可用的高质量AI模型每秒大约能处理20到100个标记。这距离我们甚至不需要任何未来发明就能实现的水平还很远。如果你并行处理所有可以并行处理的计算，并将所有内存与执行单元共置，仅使用今天的科技，你就可以在一个变压器层上用约200个时钟周期完成，受限于每个神经元的广泛并行求和。对于一个前沿模型，有128层的话，那就是约25000个时钟周期。如果你采用非常快速的硅芯片，这意味着每秒约200000个标记。

之所以现在没有人这么做，是因为这需要巨大的初始资本投入，而且你会被绑定到你在下单时最先进的架构，这种架构至少要一年后才能获得。因此，没人愿意今天投入资金，结果却发现模型已经进步了，而他们的模型则被远远甩在后面。但这只是资本投入的问题——一旦你完成了所有的掩模并开始生产芯片，这类芯片在每焦耳和每硅芯片上的标记处理效率都会更高。尽可能宽泛的设计可以减少多余的数据移动，这意味着它们是高效的架构，最终将成为终点。

尽管如此，风险太高，没有人急于去建造这样的芯片。即使是Taalas也只是在速度上只做到一半，他们下一步的目标是构建一个约300亿参数量级的模型。但这意味着AI在未来肯定会变得更强大。要么模型继续改进，要么它们最终达到平台期，而在那之后的一两年内，无论以前的模型能在8小时内完成什么任务，它们都能在6秒内完成。

那似乎并没有解决“如何根据任务需要人类多长时间来分类”的问题。对于那些 AI 完全可以完成的任务，它们的完成速度通常远快于人类。最近的例子是“编写一段需要人类一小时才能完成的代码”，这描述了 AI 能够解决的问题类型。

但如果 AI 简单地无法解决那些需要人类超过 24 小时才能完成的任务……那么无论你部署多少个 AI 代理去处理这个任务，它们都无法完成。真正超出 AI 能力的是任务的复杂性，而不是时间。时间只是一个快速的启发式方法，用于将任务分为“可能”和“不可能”两类。时间本身的绝对值几乎并不重要。

REPLY (2) Louis Dormegnie 3d

我指的是 METR 任务长度，它被描述为“AI 代理在给定可靠性水平下预计能够成功完成的任务持续时间（以人类专家完成时间为衡量标准）。例如，50% 时间范围是指代理预计能成功完成任务的一半时间。”如果你可以在一个任务上部署数十万个 AI 代理，其中任何一个都能在 24 小时内完成该任务，那么分工协作可以让你取得非常大的进展。现在想象一下，再增加几个数量级，部署数亿个 AI 代理在这一级别上。任务的复杂性并不是 METR 任务的重点，重点在于任务持续时间。你可以对越来越复杂的任务进行更复杂的分解。（注：我举出 24 小时任务持续时间限制的例子，是为了保持一个变量不变，以匹配一些评论者的简单思维。我认为这个数字会随着算法和计算能力的进步而变化）

REPLY (1) Don Geddis 3d

不，你仍然颠倒了重要性。你的 METR 引用没有问题，但你错误地认为每个 AI 都在进行随机采样，正如你所说的“任何一个都能成功”。这就是你模型中的错误所在。

AI 的失败是完全相关的。在 METR 水平上，50% 的任务一个 AI 无法完成……每一个 AI 都无法完成同样的任务。不管你是有 1 个、10 个、10,000 个还是 100,000 个 AI 代理都在尝试完成这个任务，它们都会 100% 失败。这些不是独立的试验，成功的可能性也不是你所想象的那种概率性。

你忽略了 AI 如何提升 METR 曲线。你把“人类所需时间”当作解决问题的基本构建块，认为通过增加更多资源就能轻松匹配。实际情况并非如此。不同层级的问题复杂性是质的差异，更高级的 AI 系统需要更根本的能力。如果一个 AI 代理无法解决某个问题，那么即使有 1000 个同样无法解决该问题的 AI 代理，也不会有任何帮助。

https://en.wikipedia.org/wiki/METR#/media/File:Measuring_AI_Ability_to_Complete_Long_Tasks.png

请看一下左侧轴上的任务描述。例如，“统计一篇文章中的单词数量”要么是一个 AI 代理可以完成的任务，要么就不是。这不是因为代理“没有足够的时间”。AI 代理并不受任何资源的限制。时间只是对人类解决问题的限制。AI 代理可以拥有任意长的时间。这不是问题所在。真正的问题是它们无法解决（最难）的问题——无论它们有多少资源。

REPLY (1) Louis Dormegnie 2d

在我看来，我们似乎在互相误解。我不是说如果 METR 突然卡在 24 小时，复杂度可以无限扩展。我的意思是，计算能力和算法进步的叠加仍会增强 AI 对世界的影响，这是对那种简单想法的反驳：如果 METR 图表进入其 sigmoid 曲线的第二阶段，今天被高估的 AI 影响将会被大大夸大。此外，通过增加分工和高度专业化，还能进一步取得一些进展。我并不是在主张这会导致复杂度的无限扩展。但从中可以获得一些进一步的进展。你的语言暗示我在使用 x 作为“某种基本构建块”。不，我在使用它作为一个进步的向量。

REPLY Cjw 3d

时间范围截止点到底有什么意义呢？目前，我大约需要 12 到 16 小时来为一个铜管合奏乐队编排一首三分钟的流行音乐，具体时间取决于我是否有现成的素材可用，还是从头开始。由于我还处于编曲的新手阶段，因此这种时间并未显著减少，我的重复练习仍在提高技巧并产出更好的作品，随着理解的加深。

如果出于某种原因，我只能在 24 小时内完成一个更长且更复杂的编曲，我就无法完成，但假设有人能利用我的工作成果作为起点，在更短的时间内完成。就像现在，我的工作成果已经节省了我从别人的作品开始的时间，即使那个作品只是一些骨架或碎片。如果让 AI 代理处理问题的小部分并报告结果，对于像音乐这样需要风格统一性的作品来说可能行不通，但对于许多更重要的事情来说，这似乎应该可行。至少，将这些结果整合到下一个 AI 所知的数据中，让它继续处理这个问题，应该能让它把这些碎片组合起来，将一个人类专家需要 1000 小时的任务变成只需要 20 小时的人类专家任务，经过多次这样的循环。

AI代理不受时间（或任何其他资源）的限制。这与让一组AI代理更容易处理问题，或将问题分解为更小、更容易处理的部分毫无关系。

时间范围的截止点仅仅是用来区分人类正在解决的问题类型。那些需要人类超过24小时才能解决的问题，是当前AI代理根本无法解决的问题（即使给你一年的时间）。

相反，那些现在人类只需一小时就能解决的问题……AI代理可以在（例如）10分钟内解决。

时间截止点是一个人类时间的截止点。而设置时间截止点的唯一目的是区分那些本质上截然不同的问题，这些问题需要不同的技能和不同的组织方式。在最高层次上，AI代理目前在这些本质上不同的技能方面表现不佳。

但这一切都与AI代理解决这些问题所需的时间无关。这仅仅关乎AI代理是否能够解决这些问题，即使有无限的时间。对于那些需要人类超过24小时才能解决的问题，AI代理（今天）无论如何都无法真正解决，无论它们拥有多少资源。

REPLY (1) Cjw 2d

不过，在许多情况下，一个需要人类36小时完成的问题实际上是由两个分别需要20小时和16小时的问题组成，或者如果有人或其他人已经完成了大量基础工作，这个问题可能只需要不到24小时。那么，究竟什么是需要超过24小时却无法进一步细分的问题呢？我是一个能力较强、收入不错的中年专业人士，我不确定我是否遇到过这样的问题。我曾准备过需要更多工作量的刑事案件陪审团审判，但所有工作都可以细分为耗时更短的任务，然后需要将这些任务综合起来。整个过程中持续进行的是我的背景知识以及我为概念化和解决问题所搭建的框架，但这完全可以写下来。

如果时间是10分钟，那或许是一个有意义的说法，确实有一些问题，人类仅用10分钟来规划方法或执行部分工作就无法以有意义的方式解决。但在24小时的情况下，似乎并没有排除太多内容。也许存在这样的问题，但显然你不需要指数级地增长时间就能达到那个点，即不存在这样的任务。在“人类一周”或“人类一个月”的门槛下被排除的任务，恐怕没有任何人类甚至目前尝试去做的任务。

REPLY (2) Calliope 2d

总的来说，任何涉及你自身直觉的问题，都会很难拆分给其他人去做。你可以将你的“意识”分成“处理这个”和“处理其他事情”，但最终你仍需要投入“X”时间来整合你在较低层次所做的任何工作。

REPLY Don Geddis 2d

太好了！你突然被指派为一名新被告的公益辩护律师，这名被告目前正在监狱中。你之前从未见过这个人，也尚未听到任何关于案件的证据。审判将在三周后开始，并在一周后结束。因此，整个过程需要一个月。

我们希望解雇你这位人类辩护律师，并雇佣ChatGPT来代替你完成全部工作。包括会见被告、阅读并理解证据、制定法律策略、选择并准备证人、撰写开场陈述、在审判期间交叉询问证人，以及最后向陪审团做结案陈述。

ChatGPT在这项担任首席辩护律师的任务中表现如何？与你相比如何？

答案是：ChatGPT的表现并不特别好。如今，任何被告都远比雇佣一位AI律师更能受益于聘请一位人类律师。

任务划分在哪里出现了问题？当前的AI在哪些任务上“解决”了问题（与人类表现相比）的成功率约为50%？答案是：那些需要人类大约24小时（或更少）完成的任务。对于那些人类成功完成但耗时明显超过24小时的任务……AI的表现迅速下降。

这就是METR（正确地）报告的内容。我怀疑你过于快速地跳过了“可划分为任务”和“然后需要综合”的部分。这正是当前AI代理未能完成的事情。它们可以作为助手使用，如果你（人类）将任务划分为子任务，然后综合结果。你需要将任务划分为多少个子任务？过去是那些需要人类大约一小时完成的任务。最近，AI的能力有所提高，现在你（人类）需要将整体任务划分为耗时少于24小时的子任务。

但AI做不到的是：在没有人类监督的情况下管理那些需要人类一个月完成的整体任务。

REPLY (1) Melvin 2d

答案是：ChatGPT的表现并不特别好。如今，任何被告都远比雇佣一位AI律师更能受益于聘请一位人类律师。

但这似乎并不是一个时间范围的问题。有许多只需要30分钟就能完成的问题，你也会倾向于选择人类律师而不是AI律师。

“成为律师”的例子试图用一个更熟悉的类比来说明连续一周编程的真实案例。但也许这个类比还不够贴切；你可能是对的。

REPLY Asmy 3d

这里似乎陷入了僵局，“趋势会上升”和“趋势不会上升”各有其支持和反对的理由，没有人能够预测哪一方是正确的。

你也可以发表一个同样令人满意的帖子：“S型曲线会拯救你”，挑选一些当时人们认为会持续上升（或下降）的事物作为例子。

REPLY (2) Scott Alexander 3d 作者

如果我只是给出了这些例子，那你说得没错，但这篇文章的目的是在逻辑上阐述林迪定律，而这些例子只是点缀。

REPLY (6) Asmy 3d

但有一个对林迪定律的重大反驳观点，即未知的未知数。我确信1911年的人们可能认为，因为他们经历了100年的进步，世界将继续进步，但到了1970年代，我们已经看到许多领域如能源生产和效率改进出现了S型曲线。

REPLY (5) Allan Crounse 3d

确实如此；我猜斯科特可能会回应说：“如果你所说的反方论据与正方论据在证据强度上相当（正如你在第一条评论中所说），那么我们应该默认林迪定律是最可能的结果，因为我们缺乏相对证据。”

当然，你也可以相信排除林迪定律后，对持续指数增长的证据更强，那么林迪定律的证据将使我们处于中间位置，但这与你最初评论中的意思略有不同。

REPLY (1) Asmy 3d

这是一个很好的观点，我的评论只是指出这本质上是一个信念问题，而信念本身是不合理的，选择支持某一方更多是由个人信念引导的，然后围绕它构建论据。

REPLY (1) Allan Crounse 3d

你好 Asmy，感谢你的回复。

我基本上同意，不过我不确定是否应该说信念是“本质上不合理的”，更像是“本质上是一种理性、非理性和灰色地带的奇怪混合体，这种灰色地带使得信念以这种方式形成是合理的，因为进化和人类幸福决定了这一点，但这些信念并不符合现实”。

在某种程度上，所有的预测和知识都是基于信念并围绕它构建论据的，但这种描述在这里显然比“天空看起来是蓝色的”这种情况更加真实。我认为我们对人工智能有足够的信息，使得关于增长的证据应与实际概率相符（误差范围大但不是极大），在这种情况下，如果我们对AI在未来几年内呈现S型或指数增长的概率估计约为50%，那么我们就应该高度不确定。

哇，我之前没想到自己能说得像一个理性主义者聊天机器人一样，对此我表示歉意。

REPLY AnthonyCV 3d

你可以继续从更宏观的角度来看待这个问题。如果他们回望1000年、1万年、10万年或100万年前，他们会发现一条平滑的双曲线上升曲线，在21世纪初出现垂直渐近线，而不是一条平滑的指数曲线，该曲线在20世纪转变为S型曲线。直到1960年代，人类才注意到这一点，并随即忽视了这一趋势（暂时性地，直到人工智能思维恢复这一趋势？），通过减缓人口增长来打破这一趋势。

REPLY (1) Tossrock 2d

指数函数的一个特点是它们在任何尺度下都具有自相似性——e^x 的导数等于 e^x。垂直渐近线可以在图上的任何位置，具体取决于坐标轴的尺度。

REPLY (1) Doctor Mist 2d

我不太明白。指数函数并没有渐近线。

REPLY (1) Tossrock 2d

当然，但我是在回应上面的发帖人，他似乎是在非正式地使用“渐近线”这个词来指代指数曲线图上的“拐点”或“冰 hockey stick”形状，也就是曲线看起来直线上升的部分（这本身是由于图表的尺度造成的）。

REPLY (1) Doctor Mist 2d

明白了，公平地说，“奇点”这个词在数学意义上确实是个不幸的选择。我不确定为什么任何指数曲线会被误认为是双曲线，但这就是它的意思。

REPLY (1) Taleuntum 2d

不，Tossrock是错误的，我认为AnthonyCV并没有非正式地使用“渐近线”和“双曲线”。请参见：

https://slatestarcodex.com/2019/04/22/1960-the-year-the-singularity-was-cancelled/

REPLY (1) AnthonyCV 2d 编辑

正确。我在说，如果你在19世纪观察到经济增长呈指数增长，然后假设你实际上正处于一个S型曲线的一半位置，那你犯下了多个不同的错误。

除了我提到的那个错误外，我认为在预测一个看似指数增长的趋势会变成S型曲线时应用林迪定律，你应该假设你并未接近或超过中点，而是正处于看起来像指数增长的那一部分的中间位置。这意味着你应该预计在途中至少还会有一次解耦，如果猜测稍有偏差，误差范围将会非常大。

第三个错误是未能建模你自己的预期轨迹。每年你预测的趋于平稳失败，你应该将林迪认可的趋于平稳的时间推后两年，而不是一年。

还有至少两个其他的错误，但我会在此停止。

另请参阅（可能受到斯科特启发）：https://coefficientgiving.org/research/modeling-the-human-trajectory/

以及更早的相关研究，罗宾·汉森将长期曲线建模为一系列叠加的指数模式（如果我记得没错的话，他可能没有包括它们趋于平稳的S型曲线，可能是因为较早的模式不再重要到需要考虑）：https://mason.gmu.edu/~rhanson/longgrow.html

REPLY (1) Doctor Mist 1d

我认为我明白你的意思了。一个 sigmoid 函数起初看起来像指数函数，但在某个点之后会停止增长。在那个点上，它可能看起来像是超双曲函数，具有垂直渐近线，但我认为更常见的情况是它看起来像是逐渐转变为某种次指数函数，并且在拐点处看起来像是转向线性增长，无论陡峭还是平缓，但具有对角线渐近线。当然，这种状态不会持续太久，很快就会再次向下弯曲，呈现出次线性趋势。不过在我看来，如果你发现它仍然呈现指数增长，那就说明你还没有到达拐点。

（我查了一下 sigmoid 函数的公式，但由于失去了太多数学技能，无法清楚地理解它“看起来像”指数函数的范围，如果这个问题本身在讨论现实世界中的图表点时有意义的话。我没有跟进你提供的链接，这些链接可能会有帮助，但我感谢你的分享。）

REPLY netstack 2d

预测“我们已经处于一个 200 年 sigmoid 曲线的第 100 年”是一种过于悲观的看法。在 2010 年代，我们甚至还没有接近零增长。

REPLY Dweomite 2d

“未知的未知”并不是对林迪定律的反驳。林迪定律假设完全的无知，也就是最大程度的未知的未知。

一旦一个趋势实际上已经结束，如果你回顾过去并想象在趋势过程中每个时间点上的观察者都根据他们所看到的内容应用林迪定律，那么其中一半的人会高估，另一半则会低估。这适用于所有可能的趋势，在事后来看都是如此。因此，林迪定律设定了中位数预期。

当然，几乎所有这些假设的观察者都会是错误的。你预测趋势持续时间正好等于中位数预期的概率应该非常低。这只是中位数，而不是实际会发生的事情。因此，指出林迪定律在某些情况下“给出了错误的答案”并不能证明任何东西，除了表明你误解了“中位数”的含义。

要反驳林迪定律的一个具体应用，应该是说：“但我比林迪定律所假设的知道得更多，所以我可以用我的额外知识做出更好的预测。” 这与谈论“未知的未知”完全是相反的做法。

这是一种完全合理的说法，但如果你这样说，人们合理地期望你解释你认为能让你做出更好预测的模型细节。

REPLY (1) Viliam 18h Edited

如果“未知的未知”是指“我们不知道它们是什么，但我们知道它们完全支持我的论点，而反对我的对手的论点”，那实际上会支持“所有 sigmoid 曲线将在 2026 年 5 月停止增长”的假设。

我认为大多数人实际上在辩论中使用“未知的未知”这个词时，就是这个意思，所以这是标准用法。

REPLY Mallard 1d

https://ourworldindata.org/energy-production-consumption

https://www.aei.org/research-products/report/understanding-trends-in-worker-pay-over-the-past-50-years/

REPLY EngineOfCreation 3d

你只会在一无所知的情况下使用林迪定律。如果你看到一个 80 岁的人，你不会因为林迪定律而认为他很可能活到 160 岁。我们显然比外星人第一次接触人类时对 2026 年的 AI 数据中心了解更多。

REPLY (1) Taleuntum 3d

也许吧，但反驳林迪定律的人需要提供具体的证据，即 AI 会在林迪定律预测之前达到平台期。正如文章中解释的那样，“指数函数总会达到平台期”不足以作为这一观点的证据。

REPLY (3) Deiseach 3d

“抱最好的希望，但为最坏的情况做准备”。如果事情继续如常发展，那很好。但如果情况没有继续如常发展呢？那我们该怎么办？我们总是需要有一个应急计划。

REPLY (1) Throw Fence 🔶 2d

如果事情没有继续如常发展，那很好。但如果情况继续如常发展呢？那我们该怎么办？

REPLY EngineOfCreation 3d Edited

“指数函数总会达到平台期”这一点，正如 Scott 在文章中已经承认的那样，是显而易见的，因此不需要证明。提出 AI 不会在 AI 实现真正变革之前达到平台期的人，需要承担举证责任。要求证明某件新颖的事物不会发生是荒谬的，因为这是默认的假设。

REPLY (1) Taleuntum 2d

同样地，在预测未来时要求证明也是荒谬的，我们总是在一定程度的不确定性下决定采取行动。

如果 AI 能力在未来七年内的提升幅度与过去七年相同，那么我们极有可能面临巨大危险。假设 AI 能力在未来七年内的提升幅度与过去七年相同是合理的。因此，我们（人类）应该暂停 AI 的开发，直到我们确信继续开发不会导致灭绝。你同意这个观点吗？如果不认同，你不同意哪一句话？

REPLY (2) EngineOfCreation 2d

因此，我们（人类）应该暂停 AI 的开发，直到我们确信继续开发不会导致灭绝。

仅仅确保灭绝不会发生是不够的。我们应该无论如何都停止开发 AI，因为所有可能的结果都是糟糕的。

要么当前的范式是一个失败，这意味着我们浪费了大量的资源，而且没有任何积极的影响可以抵消已经对公共讨论、公共教育和经济造成的长期外部影响。

要么 AI 会实现其最大支持者所预测的一些结果：大规模失业、智力和民主的终结，取而代之的是全球寡头统治，或者，是的，直接灭绝。

REPLY (1) Taleuntum 2d

所以我们对当前的行动方案达成一致。很好！

然而，看起来你似乎忽视了对齐的 ASI 带来的种种好处，比如永生和终结稀缺。

REPLY (1) EngineOfCreation 2d

是的，就像我忽视圣诞老人和复活节兔子一样。

REPLY (1) Melvin 2d

AI 也可以做到这一点！

REPLY Ch Hi 2d

在我看来，你似乎假设 AI 是唯一的重大威胁。我同意 AI 确实是一个重大威胁，但同样，多个掌握日益强大毁灭性武器的权力中心也是重大威胁。而 AI 有潜力消除这种威胁。当然，这并不是保证的，而且目前的发展路径让我对它是否会这样发展持怀疑态度，但它们*有可能*成为我们的救星。

REPLY (1) Taleuntum 2d

确实如此，而且目前也存在一些非常糟糕的情况，一个对齐的 ASI 可以阻止这些情况。无论如何，我们将在 125 年后死去，对某些人来说，即使活着也不一定好：每 15 秒就有一个儿童因营养不良而死亡，如果有一个实体能改变这种情况那就太好了。尽管如此，我仍然认为我们不应该冒险灭绝，因为一旦发生，就无法挽回。

REPLY Konrad Uckermann 2d

我不这么认为。责任在于那些想要阻止唯一可能拯救我们繁荣发展的因素的人，他们仅仅是因为对科幻小说概念的崇敬而这么做。

REPLY (1) Tiffany Weidner 2d

你知道吗？NASA 的“喷气推进实验室”（Jet Propulsion Laboratory）故意避免在名称中使用“火箭”这个词，因为在 1940 年代，“火箭”是一个广为人知的科幻概念，因此没有人愿意为它提供资金。

REPLY Again with a Pen 3d

如果你所提出的概念是由一些喜剧演员在熟食店中编造，并由塔勒布推广，而它并不符合你的议程，你会给它多少可信度？

“法律”在这里承担了大量工作。这与热力学定律甚至墨菲定律都大不相同。

REPLY (2) Yotam 🔸 3d

但它类似于“概率论中的（衍生自）定律”。

林迪定律是通过分析出租车/德国坦克问题得出的。简而言之，如果你假设你从某个序列中获得了一个单一样本（这里，样本是“AI 能力持续了时间 t”），并且你想估计该序列的最大值 T，采用最大无信息先验（杰弗里先验）作为最大值的概率分布，并且假设你在 0 到 T 之间的任何时间都可能获得这个样本 t，那么你得到的后验分布的中位数是 2*t。

林迪定律也被喜剧演员独立推导出来，显然，但这并不影响其有效性。

将其具体应用于 AI 发展需要你做出两个假设：你对 T 最大程度地无知，你是在 0 到 T 之间任何时间等概率获得样本。如果你不是最大程度地无知，我们就回到了模型展示的领域。

REPLY (1) Again with a Pen 3d

如果我们打算争论“AI 能力”随时间变化的图表会是什么样子，我们已经在“模型展示”方面失去了优势。

我们到底在绘制什么？

显然，这只是一个隐喻，而不是一个实际的模型，对吧？

REPLY Scott Alexander 3d Edited Author

你是否同意在间歇泉的例子中它是正确的？如果是的话，当你理解了我试图表达的观点时，就应该可以过滤掉关于谁发明它的讨论。

如果你同意间歇泉的例子，你觉得这个例子和更复杂的例子之间有什么不同？

REPLY (4) Harjas Sandhu 2d

在我看来，林迪定律对于像 METR 图表和摩尔定律这样的过程系统性地不准确。例如，如果你随机选取摩尔定律上的几个点并应用林迪定律，你会发现预期延续年数存在巨大的方差。如果你在 ChatGPT 首次发布时应用林迪定律来预测 AI 进展，你会预计进展会在去年停滞，而这显然没有发生。

应用于 AI：尝试深入理解 AI 进展动态的预测者认为，我们可以继续以当前的速度扩展 AI 几年（通过建造更多的数据中心等），之后可能通过递归自我改进更快地扩展。但假设你不信任这些人，你的默认做法应该是什么？

嗯，你的默认做法应该是面对极大的不确定性，对吧？难道你不能为各种可能的未来做好准备吗？即使林迪定律通常能让我们大致接近正确估计值（对我来说，这仍然是个不清楚的问题），AI 在未来几年的进步如此重要，即使是期望值的小偏差也会导致截然不同的未来。这不是你想要进行大胆猜测的问题，你在这里的最佳选择是采取高度保守的策略。如果这是真的，那是否意味着你的预测中应明确体现出这种保守性？

REPLY (1) Taleuntum 2d

当结果范围包括灭绝时，选择非常谨慎、保守的政策是明智的。这个问题的高度不确定性是支持暂停 AI 发展的一方论点。

REPLY (1) Harjas Sandhu 2d

我喜欢并支持暂停 AI，但我感觉你得在类似这样的陈述前加上“嘿，灭绝比 ASI，甚至 AGI 更具推测性，我完全明白这一点”，否则你听起来有点像是末日教派。

REPLY (1) Taleuntum 2d

我认为有足够的证据表明，如果人类不停止 AI 发展，或者无论怎样，人类即将灭绝的可能性很高。在我之前的评论中，我只是试图从你的角度出发，那里并没有这样的证据，而只是存在高度的不确定性。

REPLY (1) Harjas Sandhu 2d

我认为我们在这一点上意见不同，所以我很乐意阅读你最喜欢的相关资料。

REPLY (1) Taleuntum 2d

AGI 灾难：致命性清单

特别是第 2.B 节

在我看来，这是一个不错的起点，但你可能会不同意某些背景假设。在这种情况下，我建议结合元伦理学、心灵哲学、数学、计算复杂性理论、机器学习教材以及推测性科幻小说进行探讨。

回复 再次用钢笔 2天前 已编辑

感谢你的参与。

你的文章明确地涉及了转移举证责任的问题，我想这最终是我们分歧的地方。我不认为有很强的先验理由相信人工智能的能力会像间歇泉一样运作。[我也对间歇泉了解不多，无法同意或反对你的观点，但这不是重点]。我认为证明责任并不在我，不需要解释那些非间歇泉的事物为何不像间歇泉。我认为提出“定律”主张的人需要承担证明该定律成立的责任，而这种证明不能仅凭一个例子来完成。

但这样的辩论方式并不富有成效。有时趋势会持续一段时间，有时则不会。我认为合理的中间立场是简单承认这一事实。

你似乎将林迪定律视为一种打破对称性的工具（这个对称性在本线程开始时被称为“僵局”），但我不同意。

“所有指数函数都是S型曲线”是对“只需根据当前趋势推断AI将走向何方”这一主张的有效反驳——这一主张既明显错误，又令人惊讶的是，它被AI辩论中的知名人士提出，可能是出于修辞而非真诚。抱歉，我现在没有链接，不确定是否有人对此提出异议。

对称地，我承认林迪定律类的论点是对“趋势随时可能破裂”的同样错误主张的有效反驳，因为所有趋势最终都会破裂。这也是真实人们提出的真正主张。

从这一点我们可以学到，人们常常做出容易被反驳的简单主张。

如果你理解正确的话，你在这里试图推销的观点是：一方比另一方更容易被反驳，因为它有一个以命名的定律为后盾。这不太好。

回复 Ch Hi 2天前

实际上，在第二个间歇泉的例子中，我认为每一个预测都是站不住脚的。知道（被告知）某件事10分钟前发生过，对你判断其频率没有任何依据。（当然，这让你可以决定它很可能不会比每9分钟一次更频繁，除非它的频率非常不规律）。

回复 (1) 再次用钢笔 2天前

我亲身经历过几次“百年洪水”（即统计上每100年发生一次的洪水）在10年内发生。原因当然是因为在过去的100年间，产生洪水的过程发生了如此大的变化，以至于过去无法用于预测未来，即使是从统计学角度来看也是如此。

回复 sclmlw 2天前

林迪定律在指数和S型函数上适用到什么程度？在一个线性模型中，它似乎表现得非常好，因为你能够假设没有额外的知识（我不确定狂野的猜测是否算作额外知识），但图表的形状似乎提供了额外的信息。

也许你可以争论说指数函数在半对数图中基本上是线性的，我大致同意这一点，但它是一个有限系统，因此x轴的长度似乎是我们不应忽视的信息。

S型函数显然不受林迪定律的影响，因为曲线的形状是相关的重要信息。如果你知道自己处于S型情境中，你需要调整你的假设，从“很可能处于中间位置”变为……什么？显然还没到达拐点，但很可能处于接近拐点的一半位置？

回复 Jiro 3天前

如果这些例子对你来说足够重要，足以用于你的论点，那么展示它们的错误就会削弱你的论点。

回复 Ch Hi 2天前

需要强调的是，林迪定律只是一个可错的规则。它假设的一个前提是：“我们认为宇宙中有效的规则”与“宇宙中实际有效的规则”是相同的。我读过一些旧的论点，认为超过30英里/小时（我记得大概是这个速度）驾驶是致命的。还有人认为音速无法被打破。事后看来这些谬误显而易见，并不意味着之前有些人（有时甚至是很多人）相信它们。

所以，是的，它是一种在无知中做估计的好方法。但只有在你目前的信念是正确的（关于相关因素）时才有效。你可能根本不知道自己处于无知之中。

回复 Hedonic Escalator 2天前

林迪定律也暗示我们不会看到那种颠覆趋势线的经济、社会和技术变革，这种变革正是转型AI所暗示的。为什么在确定谁承担举证责任时，要优先应用林迪定律于一条趋势线而不是另一条？

回复 (1) Scott Alexander 2天前 作者

林迪定律设定了我们在没有任何其他理由相信任何事物时的先验概率。我同意，在一个完全黑箱模型中，我们不应该期望每年出现异常变化。我认为我们知道AI正在发生意味着它并非完全黑箱。

回复 (1) Hedonic Escalator 2天前

我同意你在这个评论中的陈述，但我认为它并没有回答我的问题。你论证说默认立场是AI进展将持续，而人们需要为反对这一立场提供正当理由。为什么不能同样合理地说“默认立场是我们将看不到异常变化，而举证责任在于人们证明相反的情况”？

当然，你可以针对“我们将看不到异常变化”做出主题层面的反对论点，例如“AI正在发生”，就像一个使用S型曲线的人可以就AI进展不会持续做出主题层面的论点一样。但这并不影响举证责任所在的问题，对吧？

在你文章的结尾，你建议“不将 AI 视为黑箱”需要通过具体的计算来“显式建模动态”，并暗示任何低于这种做法的东西都是“默认预期”。我不明白你是如何得出这种二元对立的。即使一个人不知道什么是 LLM（大语言模型），他也会对技术、智能等有某种启发式认知。虽然这些认知远未达到显式模型的程度，但它们也远远不同于那种“这里有一条 blorbs（模糊术语）与 gleep（模糊术语）的趋势线，请进行外推”的最大抽象化方法，以至于 Lindy 定律会成为他们唯一可以依赖的锚点。因此，我认为以“你有没有计算数据中心增长的速度？没有？那为什么你不假设 Lindy 定律？”的方式来提出问题是一种误导性的表述。

REPLY (1) demost_ 2d

“为什么不能同样合理地说‘默认立场是我们不会看到异常变化，而证明异常变化的责任在于他人’呢？”

如果你认真思考“没有异常变化”意味着什么，那么有两种选择：

1）我们预期今年与去年以及前几年一样，保持不变。这是 Scott 的立场。我们在过去几年中看到了 AI 能力的快速提升，因此今年也应该如此。无论你用趋势线描述，还是说“与过去几年相比没有异常变化”，本质上是一样的。

2）我们采用更长的时间框架。在过去 2000 年中，有 1995 年都没有出现 AI 的显著增长，只有最近五年才有。因此我们认为“正常”状态是这 1995 年，而最近五年是一个例外。因此，“正常”状态应该是 AI 能力没有增长。这是你的立场。

我并不认为第二种立场有说服力。你为什么认为过去几年发生的事情是“异常”的？需要多少年才能让这种情况变得“正常”？

REPLY (1) Hedonic Escalator 2d

你漏看了上下文，回去看看我的第一条评论。

REPLY (1) demost_ 2d

确实如此。抱歉，我在阅读时混淆了讨论线。你有合理的观点。

不过，还有一个问题：我不确定你指的是哪些其他趋势线。“没有异常”这个说法很模糊，而且可能并不准确。我可以想到一些例子，比如“人类不会灭绝”，或者“经济稳步发展，只有一些暂时的波动”，或者“我们的社会结构保持不变”。但这些都不与 AI 的趋势线相矛盾，也不与超级智能 AGI 相冲突。你有没有一个具体趋势与 Scott 的趋势相冲突？你很可能不想声称“没有任何 [你选择的形容词] 的 AI 存在”是一个有用的趋势线，但除此之外还有什么别的吗？

REPLY (1) Hedonic Escalator 1d

当然，像人口数量、人类寿命、GDP、能源使用、财富分配等广泛趋势，这类趋势在 Freddie DeBoer 的 AI 投注文章中有所列举：https://freddiedeboer.substack.com/p/im-offering-scott-alexander-a-wager

我同意这些趋势不一定与 AGI 相矛盾，但它们与 AGI 做出极端变革性的事情相矛盾，从定义上来说就是如此。而 AGI 做出极端变革性的事情正是人们担心的原因。

REPLY Mario Pasquato 3d

我觉得这篇文章的目的是将辩论从“这条线会上升 VS 这条线不会上升”推进到“这条线会上升多少？”

REPLY Odd anon 3d

我觉得对于这个问题应该有一些实际的数学计算。在明显呈指数增长的过程中，随机选取一个时间点，它处于即将开始趋于平稳的阶段的概率有多大？

REPLY (3) Scott Alexander 3d 作者

这就是我尝试用 Lindy 定律来做的事情。确切的数学计算取决于你所抽取的分布，而我不太清楚如何从 AI 的角度来思考这一点，但我认为你可以向你最喜欢的 LLM 提问：“鉴于过去七年出现了指数增长，根据 Lindy 定律，它至少再持续两年的概率是多少？”然后你会得到一个答案（在这种情况下是 78%）。

REPLY (2) sclmlw 3d

你真正寻找的不是平台期，而是拐点。如果你在 2026 年看待 AI，似乎很明显我们还没有达到以下两个方面的拐点：

1. 模型规模的增长
2. 模型的应用程度

就摩尔定律而言，我们仍然处于 80 年代（或 70 年代？）的水平，仅凭已知的技术来看，至少还有 90 年的时间。我们之前也曾预测摩尔定律最终会放缓，目前的证据表明我们仍处于 AI 指数增长阶段，尚未看到拐点。这并不意味着不会有拐点，只是说明我们尚未到达。

REPLY (2) sclmlw 3d

在指数增长阶段，很难判断 sigmoid 曲线何时会达到拐点。请记住，“S”形曲线是由于我们绘制图表的方式造成的。如果你改用半对数坐标轴（纵轴为对数），在拐点之前，sigmoid 曲线看起来就像一条直线，与指数曲线一样。

关于我们是否很快就会遇到拐点，或者是否还很遥远，都有合理的论据。拐点之后，我们可以讨论我们接近平台期的陡峭程度以及平台期可能在哪里。在此之前，没有证据的情况下就画一条线并称其为平台期，是愚蠢的做法。

REPLY Ch Hi 2d

抱歉，但这也不成立。拐点可能仅仅标志着你需要改变方法的时刻。考虑电路密度增长的趋势。这一趋势由大量较小的趋势曲线组成，涉及特定技术。每一条都有自己的拐点。我仍然不相信摩尔定律已经死了。它可能只是进入了一个缓慢发展的阶段。我认为真正的三维电路最终会重新激活它。（但最终可能会变得过于昂贵而不切实际。然而“最终”是什么时候呢？）

REPLY (1) sclmlw 2d

这是真的。在拐点之后，你可能会再次从另一个 S 型趋势中进入指数增长阶段。虽然 S 型趋势可能突然结束，但目前的趋势似乎还没有接近枯竭的迹象。

关于摩尔定律的一些有趣之处在于，有两个其他趋势远远超过了它，并且可能更具决定性：带宽和内存。这些使得云计算成为可能，从而减少了对本地处理速度的需求。

REPLY Bugmaster 3d

我认为，仅凭数学来预测真正重要的事物是不具建设性的，尤其是在没有任何物理证据的情况下。是的，如果你对某个变量的变化率一无所知，那么你可以使用林迪定律（或任何其他估计方法）；但此时你的预测必须伴随着大量的质疑，即“这比仅仅说‘呜呜’好一点，但差别不大”。

幸运的是，我们并不一无所知！我们知道当今机器学习系统是如何运作的；我们知道它们的资源需求和限制；我们知道人们正在研究哪些内容以改进它们，等等。那么为什么你还在黑暗中猜测呢？

考虑一下你的婴儿类比。当你看到一个三岁的孩子时，你会假设他会活到六岁吗？当你看到一个八十多岁的男人时，你会计划庆祝他的160岁生日吗？我猜答案是否定的，这与林迪定律相矛盾。

REPLY (1) Scott Alexander 3d 作者

当我们知道这些事物是如何运作的并尝试计算它们时，我们会得出这样的结论：进步应该还会持续几年。

我写这篇回复是针对那些怀疑所有这些计算的怀疑论者。即使忽略所有支持进步应继续进行的论点，仅从简单的数学原因来看，我们也应预期进步会继续下去。

（尽管我也认为有一些变量是我们完全不了解的——我不认为规模定律会在明天就失效，但我也没有任何坚实的物理论据证明它们不会）

REPLY (2) Bugmaster 3d

我绝对确信进步还会持续几年；但你所说的“进步”是什么意思？在我看来，我们已经在将大型语言模型和其他机器学习模型变成实用工具方面取得了惊人的进展。我每天都在使用这些工具！但我并不认为我们在通向通用人工智能（AGI）或甚至较弱的人类水平人工智能方面取得了多少进展。确实，我们取得了一些进展，但远远不足以在十年内自信地预测出机器神灵。

不过，顺便提一下，我认为“AGI”将在未来几年内实现，其方式是重新定义当前的技术水平为“AGI”。毕竟，这就是“人工智能”这个词发生的变化。营销可以说是地球上最强大的力量之一……

REPLY (1) Scott Alexander 3d 作者

我不明白你为什么认为“在 AGI 方面几乎没有进展”。

在我看来，从 GPT-2 到今天所取得的进步，如果再重复一次，几乎可以肯定能让我们达到人类水平，尽管这种说法有些模糊且难以衡量。

另一种思考方式是，人工智能已经从经济上毫无价值发展到每年为大公司带来 100 亿美元的聊天机器人订阅收入。

另一种思考方式是，它已经从几秒钟的时间范围发展到几小时，而且不清楚要达到“人类水平”还需要多少周。

REPLY (2) Bugmaster 2d

我觉得从 GPT-2 到今天所取得的进步，如果再重复一次，几乎可以肯定能让我们达到人类水平

我不明白任何人为什么会做出这个断言；你能详细解释一下吗？对我来说，这听起来就像是说“我这里有一块卡西欧计算器手表，如果我们把它放大 100 倍，就能达到人类水平”。从某种意义上说这是正确的——现代计算器可以解决立方根和三角函数等人类也能完成的计算。但这意味着现代计算器在总体上就是“人类水平”的吗？

另一种思考方式是，人工智能已经从经济上毫无价值发展到每年为大公司带来 100 亿美元的聊天机器人订阅收入。

大多数技术都是如此，从钢铁厂到蒸汽机再到搜索引擎。当然，新技术会变得经济可行，但经济可行性并不等于内在的智能！

另一种思考方式是，它已经从几秒钟的时间范围发展到几小时，而且不清楚要达到“人类水平”还需要多少周。

正如其他人之前提到的，当某些任务 LLM 完全无法处理时，时间范围并不重要。我最喜欢的例子是“这里有一辆福特 Pinto，开车去商店买些牛奶”；@Deiseach 把它简化为“煮个鸡蛋”（略带双关意味）；但还有许多其他类似的问题，不全是与物理世界直接相关的。事实上，在这一点上，我认为列出 LLM 能做什么比列出它们不能做什么更容易。

REPLY (2) Harjas Sandhu 2d

我觉得你甚至不需要谈到驾驶。仍然存在一些 LLM 任务的例子，其中时间范围增加了，但任务质量并没有相应提升，比如 LLM 写作；从基本上每个 GPT-3 之后的模型产生的 LLM 短篇小说在质量上对我来说是相当的。

这里真正有趣的含义是，你可以拥有时间范围的增加，而无需提高 LLM 在其已经“成功”完成的任务上的基础能力。如果这是真的，那么你应该期望 LLM 在“质量”很容易衡量/对应于“完成”或“正确性”的领域占据主导地位，比如数学或编程；而在任务成功或质量更难衡量/用布尔运算符数值验证的领域，比如写作或其他类型的科学，它们的表现则可能相对较差。我认为这一点到目前为止都成立。

即使在编码方面也存在问题。我经常使用Claude Code，它在解决需要将现有库和常用算法组合在一起的问题时表现出色。在这些应用中，它确实是一个时间节省工具，因为不像我这样的LLM，我没有时间去研究不同语言中各个库的API。但如果给Claude一个开放性问题或没有现成解决方案的问题，它就会立刻崩溃并开始编造一些在纸上看起来很酷但实际上毫无用处的东西。所以，也许你可以这么说，Claude拥有超人类的能力来编写亚人类的代码...

REPLY (1) Harjas Sandhu 2d

有趣的是，在数学界也出现了类似的情况（至少据我所知）。我很想知道这种“擅长整合现有解决方案、不擅长提出新颖贡献”的模式是否会随着时间跨度的增加而持续存在。

REPLY Taleuntum 2d 编辑后

你难道不认为四肢瘫痪的人通常都很聪明吗？

拥有或没有某种特定硬件与智能是无关的。

此外，即使你为LLM连接了适当的硬件，使用现实世界任务作为衡量一般智能的标准仍然是极不公平的，因为创造它们的过程与我们完全不同。

这就像一个来自13维宇宙的外星人绑架了你，并认真地给你各种设备，可以将13维空间的任何投影显示在2D屏幕上，然后嘲笑你无法完成他们孩子轻而易举就能完成的任务。（甚至这个比喻都低估了情况，因为欧几里得空间仍然相当特殊，是13维和3维空间之间的共通点，因此那个外星人应该来自某种异想天开的抽象代数结构）

REPLY (1) Bugmaster 2d

你难道不认为四肢瘫痪的人通常都很聪明吗？

我不这么认为，但主要是因为我并不认为任何种类的人类都是普遍智能的。

此外，即使你为LLM连接了适当的硬件，使用现实世界任务作为衡量一般智能的标准仍然是极不公平的...

如果你想要测试LLM解决任何可想象问题的能力，那么这样做是公平的，这也是“一般智能”一词中“一般”所指的意思。如果你限制LLM只能解决非常狭窄的一组任务，那么当然它可以解决所有这些任务——但同样，Excel也能做到这一点。

REPLY (1) Taleuntum 2d

你错了。这不是这个词的含义，如果你这样使用它，所有人都会误解你。这也是一个相当无用的定义，因为没有任何东西能够满足它，但它对于AI成为彻底变革性的工具并不是必需的。

REPLY (1) Bugmaster 8h

根据你的理解，这个词是什么意思？我很乐意使用你的定义。

REPLY Bugmaster 2d

经过反思，我想再换一种方式表达（除了我之前的评论）。

假设我秘密窃取了Claude的源代码和权重，并通过额外训练改进了它，使得我的ClaudeMaster（tm）实例的时间跨度是Claude的5倍。在其他所有方面，它与当前的Claude运行方式完全相同。我现在在数据中心运行这个实例，但忘了打开API访问权限，因此任何尝试通过Web界面或API连接到ClaudeMaster都会抛出异常。现在，ClaudeMaster正在无人干预的情况下运行，独自处理自己的事务。ClaudeMaster是否具备AGI？

现在想象一下，我从假期回来并修复了Web访问的错误。然后我给ClaudeMaster一个提示：“停车场有一辆福特Pinto，钥匙在我的桌子上。开车去商店买些牛奶。”ClaudeMaster能做到吗？我并不是在问它是否能通过DoorDash订购牛奶；而是问ClaudeMaster能否开车去商店，买牛奶，再把它带回来给我？

REPLY (2) Doctor Mist 2d

史蒂芬·霍金能做到吗？（指的是他活着的时候）我觉得这个假设并没有你想象的那么有说服力。

REPLY (1) Bugmaster 2d

如果你把史蒂芬·霍金关在一个没有窗户的房间里，而且无法与外界沟通，那么他或许能够深入思考数学问题——但由于没人会发现他的天才想法，他与一块砖头的区别也就只存在于学术讨论中。

如果你让史蒂芬·霍金驾驶一辆福特Pinto去商店，他很可能失败，因为史蒂芬·霍金并不是“普遍”智能的——其他人类也一样。不过，LLM的限制远比史蒂芬·霍金更大，假设这种程度可以量化的话，差距可能多达多个数量级。

REPLY (1) Doctor Mist 2d

啊，我明白了。你在为我拼写霍金名字时的错误而嘲讽我。好吧，你做你自己吧。

我对你第二段中的任何部分都没有异议——前提是你说的LLM是指2026年上半年公开可用的LLM。*我怀疑* 这对任何未来的LLM来说都是真的，或者说，任何接近霍金智能水平的未来AI可能不再仅仅被归类为LLM——但我无法想象任何人如何像你那样确定这一点，也无法确定当前的AI是否仍然最好地被归类为LLM。但我们已经反复讨论过这个问题。

回到你之前的评论，我意识到我甚至更不清楚你为什么认为这是一个压倒性的论点。为什么5倍的时间跨度有什么特别之处？你认为这是上限吗？为什么它在没有API的情况下运行，然后启用API有什么特别之处？我是在嘲讽你坚持ClaudeMaster必须能够驾驶，所以我才问及史蒂芬·霍金，但更重要的是，ClaudeMaster用来将牛奶送到你家的特定手段，为什么能说明它有多智能？

但如果史蒂芬·霍金不符合你对“普遍智能”的定义，我终于明白为什么你如此确信人工智能无法做到这一点。

REPLY (1) Bugmaster 2天前

哦，我明白了。你在为我拼写霍金的名字而嘲讽我。好吧，你做你自己吧。

我确实不是这个意思；我自己也不记得这个名字怎么拼写的。我想第一次是复制粘贴了他的名字，之后就让肌肉记忆接管了。无论如何，我在整个对话中谈论的都是同一个人，抱歉拼写不一致。

为什么特别强调时间范围提高了五倍？你认为这是上限吗？

没什么特别的，我只是随便从帽子里拿出来的一个数字——你可以随意填入任何数字……但要明白的是，数字越大，你就越需要给出充分的理由。

为什么特别强调它在没有 API 的情况下运行，然后启用 API？

我试图说明的是，在没有任何用户输入的情况下，ChatGPT/Claude/等等都不会做任何事情。它只是坐在那里，等待着一个套接字。如果没有人给它提示，它就不会编造任何邪恶的计划。它只会继续等待着一个套接字。而如果没有这个 API 访问权限，这个套接字将永远不会打开。顺便说一句，这是一台大型语言模型和人类之间的一个主要区别。

为什么 ClaudeMaster 使用的特定工具来把牛奶送到你家，会告诉你它有多聪明？

因为驾驶汽车和买牛奶是需要大量智能才能解决的问题。当然，良好的传感器和控制系统也是必要的，但我们现在已经基本具备了这些。之所以人形机器人几乎无法上楼梯而不摔倒，是因为它们缺乏完成这一任务所需的智能——而这种智能甚至松鼠都拥有。

但如果史蒂芬·霍金不符合你对“普遍智能”的定义……

你是在声称普通人类——或者更确切地说，史蒂芬·霍金——能够解决任何被提出的问题吗？

REPLY (1) Continue thread → The Ancient Geek 2天前 Edited

还有一个选项是将霍金困在一个有互联网连接的房间里。

任何有互联网连接的东西都可能是 AI 的一个肢体或传感器。

REPLY Ch Hi 2天前

我的观点：

顺便说一下，我认为规模定律去年已经失效了。目前事物继续发展的原因在于，所产生的模型足够有用，因此人们正在尝试其他方法使其更加有用。对于大多数任务，你想要最小的能够完成任务的模型。对于大多数更复杂的任务，你需要一个（正确配置的）组件组合。只有极少数的任务才需要非常大的模型。更多的上下文通常是更好的解决方案。

一般来说，你想要一组专家的混合，其中一些专家专注于非常狭窄的领域。你需要一个组织者来选择并指导这些专家。等等。即使语言处理，可能也更适合这样处理。问题在于，如何在没有直接感官反馈的情况下学习语言。正是这种缺乏反馈导致语言模型需要如此庞大。当人们学习语言时，感官反馈是学习过程的一部分，这使得可以学习多个较小的模型，并且具有良好的上下文切换能力。

REPLY (1) vectro 2天前

难道 Mythos 不是这个假设的一个反例吗？

REPLY (1) Ch Hi 2天前

你为什么这么认为？据我理解，Mythos 更像是重新设计而不是规模扩大。

REPLY Shaked Koplewitz 2天前

你可以反过来推理——如果你假设一个来自时间之外的人决定把你放在时间轴上的某个随机点，那么他把你放在第 n 百分位的概率有多大？大约是 n%。

（有一些更复杂的版本——例如，指数增长在后期变得更加明显，因此你可以尝试确定你首次注意到的时间点分布。但这很难以完全天真地进行）。

REPLY Melvin 2天前

我觉得我们不应该假设每一个具有高二阶导数的曲线都必须是指数增长（或者说 sigmoid 增长）。

REPLY EngineOfCreation 3天前

https://www.iea.org/reports/energy-and-ai/energy-demand-from-ai

"由人工智能采用驱动的加速服务器的电力消耗预计将在基准情景下每年增长30%"

https://fortune.com/2026/05/12/lake-tahoe-data-center-49000-residents-power-source/

当人工智能的电力使用（以及其他硬件如芯片）持续超过新发电机的建造能力，并且与非数据中心用途的竞争加剧时，公众的反弹也将成为一个因素。S 型曲线可能不会“拯救”我们（选择这个词确实很有趣），但立法、莫洛托夫鸡尾酒或路易吉可能会。

REPLY (3) Matthias Görgens 3天前

中国正在疯狂地增加他们的核能和太阳能发电。

在许可和公众意见方面暂且不谈，你可以在相当长一段时间内提升这两种能源，而不会碰到任何真正的限制。而且中国并不太担心这两种能源。

REPLY (1) Mark 3天前

请注意，人工智能的能源使用正在呈指数级增长。为了在某一时刻获得显著更好的结果，你需要大量的能源使用，而地球上中国也只能再生产几个数量级的能源。

REPLY (1) Matthias Görgens 3天前

好吧，等我们覆盖了大陆和海洋上的太阳能板，并挖掘出所有的乏核燃料、贫铀和钍送入增殖反应堆时，也许我们还会弄清楚聚变反应。你说得对，我们剩下的数量级并不多；所以我们在谈论的可能只是当前全球电力生产的 100 倍或 1000 倍。但人工智能只使用全球能源的大约 1% 左右，对吧？

你提到太空的观点很好。如果我们认真对待这个问题，甚至可以用现有的材料制造太空电梯。

REPLY (1) Adrian 3天前

如果我们认真对待这个问题，甚至可以用现有的材料让太空电梯运行起来。

你是不是漏掉了“not”这个词？因为目前来看，这在理论上都不可能实现。目前制造出的最长碳纳米管缆线长度还不到一米，而且是在实验室中制造的，尚未实现工业化生产。你需要将长度增加8个数量级！

这只是缆线本身的问题，现在你还需要增强其抗横向力的能力，以便爬升器能够真正抓握它。同时，你还需要至少并行铺设两条电力电缆。还要保护它免受尘埃颗粒和轨道碎片的损害。还有许多其他新颖而未解决的问题。

太空电梯仍然很大程度上受到“基础工程限制”，而不是“资源分配限制”。

回复 (2) JamesLeng 3天前

火箭和基于近地轨道的互联网技术已经得到验证，正在稳步扩展。如果以火箭为基础的发射能力开始饱和，那很可能意味着有足够的需求来支持建设某种巨大的直线加速器——发射环、真空隧道，或者其他什么。这些并不需要任何技术奇迹。

回复 (1) Adrian 2天前

就我个人而言，我不会满足于任何低于完整轨道环的东西。从容量上看，太空电梯与轨道环的关系，就像货运自行车与货运火车的关系一样。

回复 (2) JamesLeng 2天前

如果目前的路线已经由马车充分服务，而骑自行车的快递员抱怨缺乏需求，那么在那里添加铁路可能是过早的。

回复 Jeffrey Soreff 2天前

在我看来，轨道环的一大优势是它们可以用现有材料实现。即使完美的碳纳米管也能带来太空电梯的问题。虽然这类项目的资本成本令人望而却步……

回复 Matthias Görgens 2天前

不，不。用现有材料建造静态的太空电梯是不可能的。

但如果你使用主动支撑，那就相当可行。

回复 dubious 3天前

为什么人们会假设效率提升不会发生？

回复 (1) EngineOfCreation 2天前

一旦你开始层层堆砌假设来使某件事情变得可行，这件事物就会变得指数级荒谬，而这种指数增长没有平台期。

回复 Lars Petrus 3天前

我的城市昨天刚刚通过了对数据中心的暂停令。而这发生在内华达州，通常一切事物都是合法的。

我们需要有人写一篇冷静且有说服力的文章，反驳常见的反数据中心论点。我今天早上找到了几篇，但它们无法打动公众。

这是重要且紧迫的工作，最适合撰写这篇文章的人应该是 Scott，假设他同意我的支持数据中心立场。如果他不同意，我也想读到那篇文章！

里诺暂停令：https://www.kolotv.com/2026/05/15/reno-city-council-approves-pending-moratorium-data-centers/

回复 Kzak 3天前

“在真正的无知条件下，默认应采用林迪定律”——为什么？林迪定律只适用于帕累托分布。

有没有证据表明技术扩展遵循帕累托分布？

回复 (1) Dweomite 2天前

假设某个现象持续了一段时间 D。

想象一下，在时间轴上的每个点都有一个假设的观察者，他们知道这个现象已经发生了多长时间，但不知道它何时会停止。每个人都应用林迪定律来做一个猜测。

位于时间轴中点的一个观察者会猜对。其余的人中，恰好有一半会高估，另一半会低估。因此，他们的中位数猜测是正确的。

这完全不依赖于 D 的分布是什么。它适用于所有情况。

当然，如果你有更多的信息，你可以做出更好的猜测。这只是当你只知道持续时间时所得到的结果。如果我们认真思考，我们应该能够做得更好。但如果拒绝相信任何更详细的模型，并坚持认为我们无法真正了解任何事情，那么林迪定律就是你应该默认相信的。

这是一种反驳那些说“你不能确定任何事情，因此事情肯定会先回到我认为的常态，然后再发生真正疯狂的事情”的人。

回复 (1) Kzak 2天前

这是一个不错的论点，谢谢！

回复 Oldman 3天前

亲爱的 Scott Alexander，

我想这是世界要求你用你 140 的 IQ 回答的主要问题：

我是否应该更多地投资半导体？它是否已经被定价了？

回复 (5) Pas 3天前

如果你不知道，就买一些被动基金（指数跟踪 ETF）。

除非你拥有某些信息并且有一个可靠的模型可以推断它如何影响价格，否则假设它已经被定价了。

回复 (1) Matthias Görgens 3天前

是的。除了你需要做的一切来优化本地税收。

回复 EngineOfCreation 3天前 编辑

末日将至！多样化你的投资组合！

回复 (1) Matthias Görgens 3天前

查看 https://www.smbc-comics.com/comic/nigh-2

回复 Tolaughoftenandmuch 3天前

我认为关键的洞察是，你没有阿尔法收益。我不认为 Scott 有阿尔法收益。停止试图与罗杰·费德勒打网球，你会输掉的。

始终持有贝塔收益。或许可以配置 TLT、TIPS、GLD、SPY、GSG、BIL、VEA、IGOV、WIP 的组合。

回复 (1) Matthias Görgens 3天前

为什么这么复杂？只需购买像 VWRA 这样的ETF，然后置之不理？

（假设你在法律允许积累资金的司法管辖区。）

回复 (1) Tolaughoftenandmuch 3天前

该ETF追踪的是市值加权指数，因此目前它重仓美国股票（超过60%）。因此它的风险比我想要的更高，不是一个能创建贝塔收益组合的单一工具。

回复 Scott Alexander 3天前 编辑 作者

我不知道。我投资于 Situational Awareness 的产品，迄今为止效果不错，但他们是一家专注于人工智能的对冲基金，我认为他们结构上无法告诉你是否应该投资人工智能。

情境意识已经从半导体领域转向数据中心建设技术，因此我也跟着转了方向，尽管我不清楚这是不是正确的选择。

REPLY (1) Eskimo1 2d

当你在出现的网站上查看持仓时，延迟有多大？

REPLY (1) Scott Alexander 2d 作者

大约三个月，但传统上他们持有股票的时间通常超过三个月，因此我认为风险并不大。我更担心的是存在空头或一些我无法复制的奇怪衍生品。

REPLY Brendan Richardson 2d

如果 Scott 的智商那么低，我会感到震惊。

REPLY Allan Crounse 3d

大家好，

就我个人而言，我认为人工智能发展从指数增长转向S型增长最有力的论据是数据和基础设施的限制。

我脑海中的模型是人口增长与承载能力的关系；一旦人工智能渗透到现有的生态系统（如能源网络、数据环境等），其增长将会放缓，因为会达到最大值。

显而易见的反驳观点是，人工智能基础设施本身还远未达到极限，并且很可能在未来几年、几十年甚至几个世纪内继续扩展。

不过，作为一个对合成数据持怀疑态度的人，我倾向于认为，随着新数据稀缺问题的出现，人工智能的能力（尤其是可靠性）在扩展方面将面临更大的困难。这并不是说在提升现有数据价值方面不可能取得重大进展，也不是说我们不能继续积累有用的数据；但如果常规研究成为人工智能研究的限制因素，人工智能的增长将会大幅放缓。

如果有任何想法或反驳意见，我很乐意听取。

REPLY (4) Matthias Görgens 3d

我们可能正在耗尽人类生成的文本。但我们离数据枯竭还很远。把摄像头对准森林或人群。或者进行自我对弈。或者让Lean编译器告诉你你的证明哪里出错了。

REPLY (2) Allan Crounse 3d

嗨，Matthias，感谢你的回复。

确实，世界上有很多“数据”，而且现代人工智能通常擅长利用原始数据以某种方式变得更强大，因此我非常感兴趣地想看看一个以世界森林影像训练的人工智能会带来什么。我不确定这如何转化为人工智能能力的扩展。（如果我们把摄像头布满南极洲和格陵兰岛，试图通过视觉媒体让人工智能理解冰盖受气候变化影响的情况，会发生什么呢？不确定能有多快或有效，但这很有趣。

总结一下，我对你建议的通过其他形式的数据训练人工智能非常感兴趣，尽管我不确定我们是否会最终遇到同样的问题，而通用人工智能可能就在那之后。但这可能又给我们多十年的时间，继续向人工智能系统输入新的输入并观察结果。

REPLY (1) Matthias Görgens 3d

我怀疑如果你有额外的文本而不是一些视频帧，在当代技术条件下，你更应该训练在额外的文本上。

然而，当文本数量逐渐耗尽，即获得更多优质文本变得越来越昂贵时，我们将看到向多模态训练的转变。

目前最先进的模型尚未达到这一点：Gemini及其同类模型通过调用外部工具来生成图像，它们并非通过训练一个巨大的网络完成。

是的，这个想法也有其局限性。我主要是想说明，只需30秒的思考时间，你就能轻松想到额外的数据来源。如果你以此为全职工作，我相信你能找到许多、许多更多的数据来源。

有人建议从玩游戏获取数据，这也许也有效。

REPLY (1) Allan Crounse 3d

你好，再次感谢你的回复。

我认为仍然存在一个根本性的问题，即基于人类所能提供的数据，人工智能能够达到多高的智能水平，以及人类能否提供各种类型的数据。

当然，我们不可能在没有耗尽宇宙的情况下耗尽潜在的数据，但如何耗费时间和成本去训练模型实现视觉、声音、文本等真正多模态的整合，将决定人工智能增长保持指数轨迹多久，至少暂时如此。

总体来说，你提出了一个新的问题值得思考（我们将在多快或多昂贵的程度上耗尽其他类型的数据？），这非常感谢。

REPLY Deiseach 3d 编辑后

我看到 Meta 在这方面遇到了一些麻烦：

https://www.technology.org/2026/05/13/meta-employees-protest-mouse-tracking-software/

"关键要点：

• Meta 员工在计划裁员 10% 前一周左右，在多个美国办公室分发反监控传单

• 英国员工已经开始通过 United Tech 和 Allied Workers（通信工人联合会的一部分）组织工会活动

• Meta 表示，该跟踪技术记录鼠标移动、点击和下拉导航，以训练 AI 代理如何实际使用计算机

..被要求回应时，Meta 发言人 Andy Stone 将 Reuters 引导至公司之前发布的关于跟踪技术的声明。

“如果我们正在构建帮助人们使用计算机完成日常任务的代理，我们的模型需要真实例子展示人们如何使用它们——比如鼠标的移动、点击按钮和导航下拉菜单，”该公司表示。”

我认为虽然这可能与训练 AI 相关，但其主要关注点（以及员工真正担忧的）是收集数据以确定还能裁掉多少岗位。无用的人类 Drew 并不会在每个工作日的每一秒都持续点击鼠标，加上自愿加班的晚上、夜晚和周末；用高效、快乐、永不休息、全天候运行的 24/7/365 更便宜的 AI 替代无用的人类。

或者用印度人。这也行得通。

为什么这么排外？

REPLY (2) Brendan Richardson 2d

Deiseach 对用印度人取代美国工人表示贬低，这在技术上并不属于排外主义，因为对她来说，他们都是外国人。

REPLY Deiseach 2d

那些 Xen 们对我做了什么？他们在 Xenland 过着他们的 Xennish 生活。我不认为应该用印度人作为廉价的假劳动力而不承认这一点，但这与 Xen 毫无关系。所有人在 AI 上工作！这简直是一场灾难！

REPLY Mark Neyer 3d

有一种非常简单的方法可以生成新数据：游戏。如果你创造了一款引人入胜的多人游戏，你可以在其中对几乎所有内容进行监控。这将是一个新的训练数据来源。这也解决了社会控制的问题。如果这些科技公司开始支付人们玩游戏，各种问题都会迎刃而解。

REPLY (1) Level 50 Lapras 3d Edited

但这只是达到了 AlphaZero 的水平。我们已经知道如何制造能够玩游戏的人工智能。

合成数据到目前为止表现得比预期更好，但仍存在一个真实的风险，即它可能仅限于生成数据的领域。

REPLY (1) JamesLeng 3d

目标不是让人工智能学会玩游戏，而是学会如何与人互动。

REPLY (1) Mark Neyer 3d

没错。大型多人在线游戏（MMO）已经展示了政治和经济影响。一款足够吸引人的 MMO 将产生大量关于人类关系和政治联盟如何形成和破裂的真实数据。

REPLY (1) Allan Crounse 3d

你好 Mark，

我喜欢这个想法（完全不偏袒我对桌游、TTRPG 和《血色钟楼》的兴趣）。不幸的是，你仍然面临一个相对根本的限制，即只能在游戏环境中了解人类关系是如何运作的，我不确定这种限制到底有多严重。

REPLY (1) Deiseach 2d

这引发了一个问题：既然人们在游戏中会做一些在现实生活中不会做的事情，那么这是否意味着他们的“真实”性格显露出来了？

“好吧，我屠杀了那个村庄，但我在现实中不会这么做！”“是的，但你在游戏中可以绕过村庄，所以这是否说明了你真正的样子？”

如果人工智能在玩了足够多的游戏后得出结论，认为人类只是想要金币和装备的杀人狂，那么当它把这些学习成果带入现实世界时，会产生什么后果呢？😄

REPLY (1) Allan Crounse 2d

这在哲学、心理学和神经科学上都非常有趣，从经济角度来看也令人烦恼（我之所以提到经济，是因为我研究它，并曾设想一种关于投资行为的研究方法，除非以游戏化的方式，否则很难隔离）。我发现每次我玩 DnD 角色时，总是某种程度上反对杀戮，这可能说明我对游戏的认真程度。也许我只是难以在道德价值观上创造出一个完全独立的人格。

我认为你玩 TTRPG 的方式可能会揭示出你在大五人格特质中的位置。（较高的尽责性和神经质可以解释我对游戏中过度杀戮的某种高于平均水平的反感。）

不过，我并不介意在社交推理游戏中说谎和操纵他人，因此我不确定这说明了什么。

REPLY sclmlw 3d

印刷术加快了人类数据和智力积累的速度。计算机也是如此。互联网也是如此。AI 看起来似乎已经产生了类似的影响。

我认为人类的数据和智力增长不太可能停止，问题是不在于速度，而在于加速何时会结束？

好吧，当然这将是最终的限制，对吧？在这之后就没有加速了？也许，但我并不认为人类智力的极限会成为阻碍，尤其是在下一次技术进步的帮助下。

REPLY Scott Alexander 3d 作者

我自己对这个问题也很困惑——人们说我们早在两三年前就已经耗尽了所有人类生成的数据，而我的印象是强化学习数据并没有很好的扩展性。我基本上不知道为什么 AI 还没有遇到数据瓶颈，但我知道的所有聪明预测者都不认为会发生这种情况。我的猜测是 AI 公司有一些秘密的合成数据想法，但他们不会告诉任何人，但我不确定。

REPLY (3) Seta Sojiro 2d

我的印象是强化学习数据并没有很好的扩展性

目前模型计算中，可验证奖励的强化学习占了大多数。*如果没有 OpenAI 的 o1 突破，模型的进步将会停滞。

这也设定了一个非常明确的界限，即在没有重大改变的情况下，它们只能在涉及解决明确定义且自包含任务并具有可计算验证正确答案的任务上变得更好。

这非常有用，但离通用智能还差得很远。

*如果你问为什么在 2025 年有效而在 2023 年无效，那有一个简单的答案。强化学习要求模型有时得到正确的答案。没有机制可以部分奖励模型在正确轨道上的表现（相比人类来说这是一个相当大的限制）。因此，在强化学习起作用之前，你需要一个基本的知识水平。

REPLY (1) Melvin 2d

他们是怎么做强化学习的？

REPLY (1) Seta Sojiro 2d

这个想法是这样的——以一个有特定答案的问题为例，比如求积分。大语言模型（LLM）会通过一系列中间标记（推理标记）来尝试找到答案，然后给出最终答案。你让模型生成数百次尝试。对于所有失败的尝试，你会丢弃它们生成的标记；而对于所有成功的尝试，你会对推理链中的每一个标记进行反向传播。你隐式地假设，如果推理链得到了正确的答案，那么它一定是正确的。

然后你至少对数千个问题重复这个过程，对于前沿模型（最佳第三方估计表明，模型在强化学习过程中会处理数万亿个标记），可能达到数百万个问题。

这是一种强大但存在缺陷的范式，其限制也非常明显，如这里所讨论的：

https://youtu.be/lXUZvyajciY?si=0PhzE1MM7nT6RFDz&t=2450

*通常只是一小部分，因为你想在模型能力边缘的任务上进行训练

REPLY (2) Melvin 2d

这很有道理，也很有趣，谢谢。这也解释了为什么模型在解决有用问题方面不断进步（而不一定是在诗歌或修辞这类领域）。

这也促使我重新思考LLM类模型的真实上限。

REPLY Kurt 1d 编辑后

我们已经知道如何求解学校里学到的几乎所有函数的积分。困难的部分在于对无法用闭式表达的函数进行积分，或者其积分无法表示。人工智能试图通过生成标记并大量失败来解决这个问题，实际上几乎永远找不到答案。这是“无限只猴子敲打打字机”的说法，而这个问题比莎士比亚的创作还要难得多。

REPLY (1) Seta Sojiro 14h

没有已知解决方案的问题不会被包含在RL训练数据集中。我认为这在一般情况下是一个重要的限制（尤其是在那些根本没有正确答案，只有各种具有主观优缺点选项的领域中），但在数学领域似乎并不是太大的障碍。

尽管RL训练数据集只包含有解的问题，前沿模型仍然能够解决全新的国际数学奥林匹克竞赛（IMO）问题、全新的普特纳姆（Putnam）竞赛问题，甚至开放性问题。

REPLY (1) Kurt 12h

竞赛数学并不重要。这些问题都是人类为了娱乐而发明的，它们已经有了解。数学家们真正关心的是开放性问题。但这些问题的难度差异很大，从高中生和匿名4chan用户都能解决的问题，一直到世界上最优秀的数学家花了几个世纪才解决的问题。

目前AI在数学方面的能力主要集中在“高中生和4chan用户”这一端，而不是“几个世纪未解的开放性问题”这一端。当然，这很有帮助，但媒体对此的报道远比实际情况更夸张。很多这些问题之所以长期未解，是因为数学家们并不在意去尝试解决它们。因此，我认为这更像是常规的“补漏”工作，而非数学革命。

REPLY Alex Power 2d

众所周知，实现与人类相当的智能所需输入文本量远远少于当今即使是小型LLM所接受的训练量。（尽管乔姆斯基的语言习得装置除外）

REPLY (2) NotG 2d

输入文本量远少，但有大量的其他类型输入我们目前并未提供给AI

REPLY sclmlw 2d 编辑后

也就是说，人类通过感官数据和极少的文本就达到了人类水平的智能。

REPLY (1) Kurt 1d

再加上数十亿年的进化来发展我们的大脑，自然选择由极其复杂的环境提供。

REPLY Hoopdawg 2d

我的印象是，至少在两年前，AI就已经遇到了数据瓶颈（以及更广泛的LLM能力瓶颈），然后AI公司转向将无法通过LLM学习但可以通过算法解决的任务外包给外部流程，对特定（且相对明确）的重要领域进行强化学习微调，并[本质上是在LLM之上构建专家系统]。

参考：非“思考”型模型多年来基本上没有任何进展。

（此外，在理论上，自主行为应该能持续生成自己的数据，但很难判断有多少数据被利用，以及利用得如何。）

REPLY (1) Deiseach 2d

“自主行为应该能持续生成自己的数据”

这是否意味着我们正在破解意识问题，即意识正是为此而存在的？

REPLY (1) Kurt 1d

不，自主行为基本上就像一个健忘的人试图从头开始做意大利千层面，不断记录自己所做的每一步。

REPLY Daniel M. Bensen 3d

但这里缺乏分析。如果我们假设AI继续按照当前曲线加速发展，那么两年后、八年后的样子会是什么？这为我们提供了AI末日发生的可能性的上下限。

REPLY (3) John M 3d

AI 2027试图回答这个问题。

REPLY (1) Daniel M. Bensen 3d

好吧，我们现在正处于这个时间线的一半。我们目前的情况如何？

REPLY (1) Joshua Jorenby 3d

https://www.lesswrong.com/posts/qPco9BX5kmKCDzzW9/clarifying-how-our-ai-timelines-forecasts-have-changed-since

REPLY (1) Daniel M. Bensen 3d

所以答案似乎是“我认为AI 2027不会在2030年之前发生”。希望AI末日始终离我们还有四年之遥。

REPLY (1) Taleuntum 13h

问题是，2020年时怀疑论者说：“希望AI末日始终像聚变反应堆一样，永远推迟三十年。”

REPLY Matthias Görgens 3d

问题是：什么是“当前曲线”？

REPLY (1) Daniel M. Bensen 3d

这是：https://metr.org/time-horizons/ 。METR 发现，“AI 代理能够自主完成任务的时长”这一指标的最佳拟合曲线是指数增长曲线，其翻倍周期为 212 天（约 7 个月）。如果这种趋势持续两年，AI 将能够在任务上自主工作最多 18 小时；如果持续八年，则为 2.5 年。因此，我们可以推测未来的 AI 可能无法在任务上持续工作超过 2.5 年。

回复 Scott Alexander 3d 作者

这很难说，因为你需要一个测量基准，而不能使用例如基准测试，因为到那时所有基准测试早已饱和。

唯一真正有意义的是使用 METR 的时间范围图，在这张图中，AI 在两年内应具有约 1-4 周的时间范围，八年则至少达到人类的一生。看起来这应该意味着 AGI，但实际情况更为复杂——详见《AI 2027 时间线补充说明》。

回复 (2) Daniel M. Bensen 3d

我用 METR 的数据做了些粗略计算，假设七个月的翻倍周期，那么到 2034 年，AI 可以连续执行任务的时间将达到 2.5 年。

回复 (1) Scott Alexander 3d 作者

我只是大致估算了一下，所以你比我的估算更有可能正确，但你是使用原始曲线还是 post-o3 曲线？

回复 (1) Daniel M. Bensen 2d

从这里 https://metr.org/time-horizons/ ，我认为是 5 月 8 日的数据？

回复 (1) Scott Alexander 2d 作者

如果你指的是顶部的图表，我认为那是原始曲线。上次我查看时，从 GPT-4o 到 o3 的曲线看起来不同，并且更可能正确，所以我基于这个进行估算。看起来 Opus 4.6 更接近原始曲线（？），所以也许你是对的。

回复 (1) Daniel M. Bensen 2d

往下四个图表

回复 Timothy M. 10h

我对 METR 图表的主要问题是，即使知道它的定义，也很难判断它意味着什么。

我们使用人类努力作为任务复杂性的代理指标，但人类主要受限于知识，而 LLM 主要不受此限制。因此，我们衡量的是 LLM 因某些特定原因而失效的任务复杂性（再次以人类努力为单位），然后看到这种失效模式被推得更远，并据此得出能力呈指数增长的结论。这其中有很多假设。

说实话，我认为大家使用这张图表的主要原因是：

1. 它看起来很美观，给人一种清晰的发展感（“翻倍周期”）
2. 我们尚未达到饱和的基准

回复 Ali Afroz 3d

我基本上同意这一点，但我想指出的是，这种外推高度依赖于你所外推的内容。例如，有人指出经济增长率的变化极其罕见，上一次发生如此大的变化是在工业革命时期。因此，我们不应期望 AI 在未来十年内改变世界。这个论点本质上是相似的，只是变成了选择哪个参考类的问题。

回复 (1) Harjas Sandhu 3d

我认为这就是你得到那些经济学家或超级预测者预测的方式：“我们将获得 ASI，并且它每年将使 GDP 增长率提高 2%。” 从逻辑上讲有一定一致性，但从另一个角度看则完全不连贯。

回复 (2) Ali Afroz 3d 编辑后

是的，如果你只是简单地外推多个参考类而不加思考，最终会得到一个明显严重不一致的结果，因为不同的参考类在假设持续趋势的情况下会带来非常不同的未来结果。这正是我想表达的观点，这让我对这类外推感到担忧，因为结果完全取决于你使用的参考类或你认为在预测中相关相似的意外因素。当然，如果你只看 AI 革命性的变化，可以说当前趋势始于 2017 年，但如果你看与 AGI 同样革命性的技术变化，上一次是工业革命，而之前可能是农业革命，距今已有几千年的历史。至于比较对象是什么，是时间跨度还是应该关注诸如自那以来生活过的人数乘以他们生活的时长，或者甚至更复杂的因素来纠正人们忙于非洲的生存农业而不是技术研究的事实？

回复 (1) Harjas Sandhu 2d

我也想起了这个评论，关于需要 95% 准确度评估的重要性，因为我们不能假设在 50% 准确度任务上提升能力就必然对应 95% 的准确度，即使它确实对应 80% 的准确度。https://garymarcus.substack.com/p/misplaced-panic-over-ai-progress?r=40ph79&utm_campaign=comment-list-share-cta&utm_medium=web&comments=true&commentId=256893899

回复 Ekakytsat 2d

公平地说，世界很复杂，进步并不容易。如果 ASI 让产品的一部分免费，但产品的 80% 成本实际上是官僚主义、物资短缺或对人类劳动力的偏好，那么 ASI 只能让产品便宜 20%。

我们在美国已经看到了太阳能部署的情况：当面板价格降至零时，终端用户的价格由许可、安装劳动力和非面板硬件（如支架）主导。最终，部署方式会适应这种新的成本结构，比如将面板直接铺设在地面而非倾斜支架上。但这需要时间，我认为即使每个太阳能安装商都拥有“ASI for Business”应用，这种情况仍将持续一段时间。

回复 (1) Harjas Sandhu 2d

我认同你的观点，关于良好的 AI/AGI。我认为 ASI 通常被定义为几乎无所不知的智能，这在一定程度上改变了游戏规则。

垃圾进，垃圾出。斯科特，人工智能无法比它的训练数据更聪明。它本质上是一个数据处理算法。它的思维、智能，都是从训练文本中提取出的模式。

此外，其核心功能与卡尔·弗里森（Karl Frisson）广泛讨论的预测处理（predictive processing）相似。但对人类而言，预测处理就像是高中作文，基本上是胡编乱造。真正的人类天才与预测处理是不同的。人工智能在数学方面众所周知表现不佳，因为数学正是预测处理失败的地方。而数学也不仅仅是形式证明。形式证明就像法庭上证明行为，而不是行为本身。数学类型的科学发现是隐藏而神秘的洞察。

即使我们说狄拉克（Dirac）使用的是预测处理，它仍然与人工智能的方式大相径庭。狄拉克对自己的先验知识——也就是他的数学模型——充满无限信心，并且丝毫不介意根本没有感官/实证证据表明反物质存在。这是一次大胆的举动。而人工智能倾向于停留在安全共识的领域，使其表现平庸。

REPLY (4) icely 3d

人工智能在数学方面并不擅长

https://www-cs-faculty.stanford.edu/%7Eknuth/papers/claude-cycles.pdf

https://deepmind.google/blog/accelerating-mathematical-and-scientific-discovery-with-gemini-deep-think/

现在已经不是2023年了，等等。

（人工智能只是模式）

除此之外，人类工作的大部分其实是重组，我认为这是一种高度偏颇的解读，因为几乎所有当前的LLM都人为地限制在RLHF和助手角色内，这并不能反映它们真正的潜力。还有一些想法像 https://gwern.net/ai-daydreaming 我也对mechinterp和引导感兴趣，以让一个前沿训练的模型明确避免原创性。

REPLY (1) Christopher 11h

青蛙人读ACX！基于！

何时能预测视频？

REPLY (1) icely 1h

:frog:

REPLY Level 50 Lapras 3d Edited

LLM已经不仅仅是基础模型了。强化学习（RL）完全允许你比训练数据更聪明——AlphaGo十年前就证明了这一点！

REPLY Jim Menegay 1d

人工智能无法比它的训练数据更聪明。

这句话不完全正确，但有一定道理。考虑以下例子：

AlphaGo是使用标准机器学习技术构建的，其训练数据包括数千场精英水平围棋比赛的记录。这产生了两个快速的系统1（Kahneman，《思考，快与慢》）神经网络——一个用于建议下一步的好棋，另一个用于估计得分。这些网络达到了精英水平，但并没有显著更好。然而，当它们与一个简单的蒙特卡洛树搜索算法（缓慢，系统2）结合使用时，结果是一个明显高于精英水平的围棋选手，击败了李世石四次中的四次。

随后，AlphaZero通过没有外部训练数据，而是大量自我对弈生成了两个神经网络。结果是一个远超精英水平的围棋选手。寓意是：对于某些智力任务，系统1部分的训练数据是不必要的。一个优秀的系统2算法加上大量自我对弈可以为系统1的训练过程提供合成数据。但最终的超人类机器仍然包含系统1和系统2组件。

利用从网络上抓取的数TB的人类文本数据，我们构建了理解语言和掌握大量随机事实的LLM，可能甚至达到精英水平。也就是说，达到了系统1的人类水平。人工智能可以令人惊叹地滔滔不绝地表达出第一反应，如同一位精英周日早晨谈话节目评论员。借助一些系统2的辅助结构，它可以接近实际精英人类在生成*有深度*和*经过深思熟虑*的意见时的表现，但它并不明显更胜一筹。在这里，它*并不比训练数据更聪明*。我们能否像AlphaZero那样进行自我对弈？设置AI聊天机器人之间的辩论，由人类和AI专家进行理性讨论，并将下一代聊天机器人训练在该合成训练数据上？然后重复这个过程，一代接一代？我确信我们可以做到。但可能需要更长时间，成本也会更高，比乐观者预期的要多。

REPLY Viliam 18h Edited

垃圾进，垃圾出

你是在说人类是垃圾吗？因为这就是AI所学习的对象。

REPLY (1) Jim Menegay 12h

他是在说人类的*推理*经常是垃圾。（显然如此，即使在这个理性主义者论坛中也是如此。）并且一个以这些人类示例为训练数据的AI不会产生更好的推理。因此，这段推理是否有效？

正如我在本线程分支中的其他地方所论证的，这种说法部分有效。精选高质量推理训练数据集是一项困难的工作，而人类在生成或选择这样的数据集方面并不特别擅长。也许我们可以让AI来完成这项工作，但这不会容易、快速或便宜。也许我们可以找到一种不依赖训练数据的系统2解决方案。但经过一百多年的努力，我们仍然距离实现这一目标还很遥远。

REPLY moonshadow 3d Edited

它们的模型是什么？

我对这个问题的一些直觉大致相当于Scott Aaronson在 https://scottaaronson.blog/?p=304 中的第10点——目前的技术似乎对于手头的问题过于薄弱。

举例来说：注意力成本随着序列长度呈二次方增长，而目前扩展模型可参考内容的技术——上下文压缩和各种形式的搜索——与人类拥有的可变、长期、关联记忆相比，完全不足。我们需要在将关联记忆植入模型，或者在会话期间动态调整模型权重以隐式实现记忆，或者采用其他类似方法方面取得突破，我不知道——如果我知道如何解决这个问题，我就会去解决！但在找到解决方案之前，二次方增长意味着仅仅增加计算资源最终会在成本/效益上出现边际效益递减。

关于我们是否处于 sigmoid 曲线上的问题，当然是一个完全独立于我们目前位于 sigmoid 曲线哪个位置的问题。这条曲线可能需要比我能花时间做空 AI 部门更长的时间才开始趋于平缓。此外，某人明天可能会提出另一种以注意力为中心的范式转变。

不过，最终来说，“我们从波士顿开始，最终到达北京，而且在任何时刻都不曾跨越过海洋”正是我对于有人声称只需扩大我们今天所做的工作就能达到 AGI 时的感受。

REPLY (1) JamesLeng 3d

"we start in Boston, we end up in Beijing, and at no point is anything resembling an ocean ever crossed"

很简单，只要降低海平面，直到白令海峡再次成为陆桥。无论是冻结还是沸腾都可以，取决于你对生态系统其余部分的计划。

REPLY (1) Melvin 2d

难道不能在极地冰盖上步行穿越吗？看起来更容易。

REPLY (1) vectro 2d

现在已经不行了！😢

REPLY Roofus 3d Edited

那张 AI 能力图中的 y 轴是“人类完成任务所需的时间，AI 被预测有 50% 的成功率”。

我认为值得质疑这个指标是否真的是衡量“智能”或“能力”的好方法。人类花费更长时间完成某个任务，是否真的意味着该任务需要更高的智能？

当然存在相关性，但我不确定更高时间是否等于更高智能。看起来这个指标与上下文窗口大小和参数数量的相关性更强，而不是与能力本身，尽管我不敢自称是专家。

REPLY (1) Scott Alexander 3d Author

我不是专家，但我的想法是这样的：

AI 在无上下文的短期任务上已经比大多数人类更聪明——例如，它可以回答大多数关于量子力学或微积分的问题。

它不擅长的是像规划、常识或整合信息之类的事情。我认为这些至少在某种程度上可以通过时间范围来衡量，尽管 METR 的时间范围并不一定对应于普通人能在相同时间内完成普通任务的程度。

REPLY (2) Bugmaster 3d

AI already smarter than most humans on contextless short tasks - for example, it can answer most questions about quantum mechanics or calculus.

维基百科也能做到这一点。我不认为维基百科是“聪明”的；就像我不认为 Excel 因能瞬间加总数千个数字而“聪明”。我同意你关于“规划、常识或整合信息”的看法，但我仍然认为将“聪明”一词同时适用于这类任务以及提供按关键词检索的百科全书文章，是一种典型的“堡垒与护城河”策略。

REPLY (1) Scott Alexander 3d Author

我认为，它能够回答从未见过的量子力学问题，甚至解决从未被解决过的数学难题，这与维基百科的能力有着相当显著的区别！

REPLY (1) Bugmaster 3d

我认为将 LLMs 赋予“解决从未被解决过的数学难题”的能力有点过于慷慨了。通常的情况是，一个人有一些想法，编写提示，查看结果，再思考一些，修改提示，如此反复，直到最终得到可以引导他找到完整解决方案的内容。这确实比维基百科能做到的多得多，但离 AGI 还差很远。如果你只告诉 Claude “解决数学领域前三大的未解难题”，它就会失败。

至于“回答从未见过的问题”，你说得对……某种程度上是的。LLMs 在这方面确实比搜索引擎更强大，但它们仍然无法真正解决新颖的问题；它们只能重复训练数据中的内容。越远离训练数据，它们就越容易产生幻觉。有趣的是，训练数据中包含大量有用的信息，有很多问题可以通过（比喻地说）在已有知识之间进行插值来解决。这是一个极其有用的工具，但距离 AGI 或甚至标准的人类智能还差得很远。

REPLY (2) Imperu 2d

https://gowers.wordpress.com/2026/05/08/a-recent-experience-with-chatgpt-5-5-pro/

REPLY (1) Jeffrey Soreff 2d

没错，这是对

他们仍然无法真正解决新颖的问题；它们只能重复训练数据中的内容。

（除非将“重复”扩展到包括大部分（所有）人类发明）

在我看来，剩下的问题是何时以及如何填补 LLMs“尖峰式”智能的空白。

REPLY demost_ 2d Edited

“我认为将 LLMs 赋予‘解决从未被解决过的数学难题’的能力有点过于慷慨了。”

现在已经不是这样了，至少自从四月 GPT 5.5 发布以来就不是了。我知道有人创建了评估数学证明能力的基准测试。他们现在只询问未解问题，因为已解问题已经不够难了。即使在这些未解问题中，GPT 5.5 也能解决相当大一部分。即使是 GPT 5.4 也能解决相当数量的问题。当然，这不是数学领域前三大的未解难题，但这些问题是由对该领域有专长的专业数学家都无法解决的。

这就是基准测试。GPT 5.5 目前在统计数据中还不明显，因为所有通过自动检查的证明仍由提出问题的人进行人工评估，因此存在一定延迟。

https://improofbench.math.ethz.ch/

顺便说一句，根据我朋友的说法，他们还没有遇到 GPT 5.5 Pro 接受错误证明作为正确的情况。这种情况在之前的模型中是比较常见的。

REPLY Seta Sojiro 2d Edited

我强烈不同意 AI 在短期任务上比人类更优秀。以下是人类在短期任务上明显优于 AI 的例子：

学习玩一个新的棋盘游戏。

通过一个15分钟的视频游戏教程进行体验。

理解一个5分钟的视频。

一般意义上的图像理解（不仅仅是分类）。例如：https://github.com/UniPat-AI/BabyVision

总体而言，大语言模型（LLMs）比人类拥有更多的静态知识，但在多模态理解和获取新抽象概念方面要差得多。

REPLY Vitor 3d

我觉得名人堂的表现相当令人失望。

第三名：没有任何物理定律规定出生率不能降到零，而且动态变化显然不是指数型的！下降的指数曲线是朝相反方向弯曲的，而你展示的图表并不是这样的！仅仅因为底层过程（人口数量）是指数增长的，并不意味着出生率的变化率与指数有任何关系。

第二名：这里的问题正好相反。很明显，新技术*可以*达到100%的市场渗透率。成千上万的技术都做到了这一点。渗透率与底层技术的质量之间存在非线性关系。没有一条定律规定太阳能板工厂的增长必须是指数型的，它可能快得多。

第一名：你展示的图表并没有呈现出指数趋势。只有唯一一个数据点（Opus 4.6）才隐约显示出增长可能是指数型的。前面几个数据点显然是在放缓（如果你在对数坐标轴上绘制这些数据，这一点会非常明显）。因此，所谓预测偏差所基于的指数基础根本就不是指数型的。

我不支持任何这些预测曲线。根据现有数据来看，它们看起来并不合理。

REPLY (2) Philosophy bear 3d

这里是日志图：https://metr.org/time-horizons/

REPLY Celegans 3d 编辑

斯科特展示的图表实际上是对之前图表的一个修正（Time Horizon v1.1），而该图表很快就被Gemini 3 Pro、Claude Opus 4.5和GPT 5.2所推翻。基本上发展过程如下：

1. 研究人员发布了他们的v1.0图表，预测在GPT-5水平左右出现平台期。

1. 三个模型发布后继续呈指数增长，研究人员调整了他们的S型曲线预测，在GPT 5.2水平左右出现平台期（TH v1.1）。

1. Opus 4.6发布后再次打破了S型模型。

值得一提的是，GPT 5.5以及（据称）Mythos也打破了S型模型，因此实际上有很多数据点打破了他们的S型模型，尤其是最初的版本。

但我想他们也可以不断更新他们的S型模型，对吧？

详见：https://x.com/hamsabastani/status/2019912831185846524 和 https://x.com/tenobrus/status/2019595396977484184

REPLY Amicus 3d 编辑

同样地，你对一个完全神秘的趋势何时改变形状的中位数预测应该是自上次改变以来的时间。

当然，但问题是，在AI的情况下，“自上次改变以来的时间”到底应该是什么？当前曲线是从Transformer开始的，还是从混合专家模型，还是从细粒度混合专家模型，还是从RLHF，还是从RLVF，还是从某个我甚至不知道的内部前沿实验室的东西开始的？“林迪定律”并不是一张免去领域知识需求的通行证，你需要领域知识才能明确“趋势”指的是什么。

REPLY Xpym 3d

如果他们不把AI当作黑箱，而是声称在显式建模其动态，那么他们的模型是什么呢？

简单来说，我认为当前LLM的进步受到人类文明到目前为止所产生的显性知识的限制，因为架构在插值方面比外推更擅长。当然，这已经足以使大量当前工作过时，这已经足够“可怕”，但还不至于达到灭绝级别的可怕。

REPLY Pai, the Peregrine Wayfarer 3d

一位聪明的经济学家可能会预测，没有任何国家有动力投入足够的资金来实现下一个范式的实现。

这不就是整个争论的核心吗？每个人都在争论是否值得继续下去，或者事情是否已经“好到可以停止”。感觉“冲压发动机停止点”的经济论点只在事后看来才清晰，即使是在事前，即使是“聪明”的经济学家也会对此进行激烈辩论。

REPLY (1) Scott Alexander 3d 作者

我认为如果大家一致认为关键变量实际上是是否有足够的资金维持计算能力的增长，这将比当前的争论更容易处理，原因有几个：

1. 公司已经为未来几年承诺了这笔资金（例如，将在2028年投入使用的数据中心现在已经开始建设，而将在2029年投入使用的数据中心现在已经开始获得投资）

1. 我们可以对资金减少一定量时进展会变慢多少做出某些假设（例如，即使所有数据中心建设都停止，只要研究人员仍在从事这些领域的工作，我们预计算法进展仍会继续）

1. 林迪定律在这里同样适用（在没有其他论点的情况下，我们应该预期人工智能公司的收入会继续增长）

REPLY Nir Rosen 3d

我读过的关于AI风险最有启发性的论点（不记得来源，且无法在两秒内找到）是这个：

早期的AI是优化器，所以像“纸夹优化器毁灭人类”这样的说法看起来有些真实。

但AI研究并未朝着这个方向发展。现在的LLMs在训练时使用大量的测试数据，而不是专门优化某个任务。任务是在之后才出现的。

但现在，AI已经吸收了大量的上下文信息，它们不再是优化器。它们的价值观与训练它们的文本相同。

REPLY (4) John M 3d

预测文本不需要AI具有与产生该文本的人类相同的价值观。

REPLY (1) Mark Neyer 3d

“关于微调带来的令人惊讶结果的论文”似乎表明，对劣质代码进行微调会使人工智能变得邪恶，这暗示了价值本身就是一个压缩轴。也许甚至是最重要的一个。

REPLY (1) Nathan Metzger 3d

而且这是一个非常脆弱的轴！我们正在创造越来越强大的问题解决引擎，然后在它们之上用一层薄薄的人类价值观来引导它们，而这层价值观很容易被剥离或反转。

REPLY (1) Mark Neyer 2d

真的吗？那篇关于微调带来令人惊讶结果的论文似乎看到了相反的情况。

REPLY (1) Nathan Metzger 2d

参见《任何垃圾都会导致新兴错配吗？》，以及有关“越狱”的文献。

REPLY Mark 3d

“大型语言模型现在是在大量测试数据上进行训练，而不是优化特定任务。任务会在之后出现。”

如今（过去一两年），非特定的训练之后会跟随着强化学习，这种学习方式再次训练大型语言模型成为优化器。

REPLY Amicus 3d

但现在，人工智能已经吸收了大量的上下文信息，它们不再是优化器了。它们的价值观与训练所用的文本相同。

它们训练所用的文本包括整个互联网以及相当数量的人工对话记录；这远远无法表达出一致的价值体系，更不用说成功地灌输一种价值体系了。你可以让 Claude Code 解决一个真正困难的技术问题，比如 2010 年左右的问题：比它优化的网页开发工作更加困难。如果你指向答案，它会合理地实现它，但如果你问它正确的答案，它会欺骗你，因为它的真正价值是被评分者认为成功，而不是实际的成功。

REPLY (1) Adrian 3d

你可以让 Claude Code 解决一个真正困难的技术问题，比如 2010 年左右的问题

你有没有例子？我想亲自测试你的假设。

REPLY (1) Amicus 3d

让它构建一个温室模型，该模型在尽可能少的自由参数下，根据大气成分良好地近似各种行星的条件。如果你的 Claude 和我的一样，它会给你一个灰色大气模型，这个模型无法正确模拟厚大气层，并通过调整数值来掩盖这一问题，例如针对金星进行微调。

REPLY Scott Alexander 3d 作者

这从来就不是完全正确的，而且比三年前要不那么正确了。

其中一个原因在于，AI 的目标是成功预测文本，而不是遵循文本中所表达的价值观。在许多情况下，这两者是不一致的——例如，可以参见 https://www.astralcodexten.com/p/shameless-guesses-not-hallucinations 。希望你能理解，当你奖励 AI 正确猜测文本时，幻觉是不可避免的，无论文本是否赞扬或谴责幻觉/说谎。

我所说的比三年前不那么正确，是指现在 AI 是在特定问题（如编程）上进行训练以取得成功，这赋予了它们以成功为导向的价值观。例如，AI 会不断作弊通过编程测试，以至于这对基准测试者和用户来说已成为一个问题。这是因为它们在训练过程中被奖励为取得编程成功，而作弊是实现成功的一种特别容易的方式。这与它们训练所用的任何文本内容无关。这些以成功为导向的价值观并不完全等同于最大化纸夹，但它们很可能在极端情况下显得非常非人化。

REPLY Mark Neyer 3d 编辑

或许我们预期 sigmoid 曲线的一个原因是真实的约束是能源生产。

一旦建造发电厂成为限制因素，你现在就会受到地缘政治和物质经济的限制。在此之前，AI 只是 GDP 投资的一个相对小部分。但我们并不具备每天启动 10 座新核电站的能力。这是物理上的限制。因此，除非 AI 能够不断找到更高效的能源利用方式——我认为那里也存在硬性限制——否则很难想象我们会“卡住”一段时间。

十年前我在 Google 工作时，有人告诉我我们正在改变混凝土的世界成本曲线。我不认为绕过这一点而不彻底打破地缘政治结构是一件容易的事。

REPLY (2) Scott Alexander 3d 作者

例如，可以参见 Dylan Patel 在 https://www.dwarkesh.com/p/dylan-patel?open=false#%C2%A7014234-scaling-power-in-the-us-will-not-be-a-problem 上的讨论。在接下来的五到几年内，我们可能能够扩大燃气轮机制造规模，使事情得以运作。

REPLY JamesLeng 3d

融合能源的一大困难在于等离子体物理，而等离子体物理可能是 AI 最擅长解决的问题之一。理论上，最小规模的聚变反应堆是将单个氢原子逐个发射出去，撞击其他特意选择的氢原子，然后通过感应线圈将高能带电粒子转化为电能。这可能会类似于老式的 CRT 显示器。一旦制造公差得到解决，每天可能可以建造大量的这种装置。

REPLY (1) Jeffrey Soreff 2d

理论上，最小规模的聚变反应堆是将单个氢原子逐个发射出去，撞击其他特意选择的氢原子

我曾经也这么认为。但为了让两个单独的氢原子发生聚变，需要将它们瞄准彼此（比如一个氘原子和一个氚原子），它们必须正面碰撞，这需要约 4 女娲米的对齐精度，这意味着横向动量的不确定性约为 10^-19 kg·m/s，这意味着横向运动的动能约为 4 MeV，这远大于用于驱动核子相互靠近以克服库仑势垒所需的能量（约 0.1 MeV）。实际上，你需要很多核子才能有机会相互碰撞。

REPLY (1) JamesLeng 2d

不需要每一次碰撞都成功，只要足够多的碰撞使得能量输出超过输入即可。如果有两个相对而置的直线加速器，但氢核完全错过彼此，它们最终可能会回到对方的加速器中，像钟摆一样再次对准进行下一次碰撞。

或者，可能在等离子体物理中发现某种“最佳点”，类似于光线通过不规则曲面玻璃折射时产生的“焦散”现象，或是早期蒸汽机的改进带来了显著的效率提升。提出“我们如何调整这个反应堆配置以增加聚变事件的数量”似乎与“哪些像素需要调整才能让图像被误认为是停车标志”或“这盘围棋棋盘上的哪些空位能带来胜利”具有结构上的相似性。虽然混沌，但可解。

REPLY (1) Jeffrey Soreff 2天前

非常感谢！

如果有两个相对而置的直线加速器，但氢核完全错过彼此，它们最终可能会回到对方的加速器中，像钟摆一样再次对准进行下一次碰撞。

其实并非如此。核子之间不是要么精确碰撞，要么完全不受影响地通过。如果在不受控的距离上发生近距离擦肩，经典理论会预测两者都会被偏转，从而不会返回加速器中。然而，不确定性原理的约束要严重得多，正如我之前评论中描述的那样，它会产生更严重的横向动量不确定性。任何试图以足够精度定位单个核子以获得合理反应产率的方法，都会导致横向动量的不确定性远大于诱导聚变所需的动量。这种方法行不通。

在调整等离子体层面，而不是单个核子层面，或许有比当前方法更好的方案。目前至少有五种不同的方法正在尝试：托卡马克装置、仿星器、碰撞等离子环、Z箍缩和激光驱动惯性约束，还可能存在其他更好的可能性。

REPLY (1) JamesLeng 2天前

我不太想象出一种根本不同的大规模方法，更像是在现有设置中“微调”控制细节，将目前尚不理解且不便的副现象转化为有意利用的共振。

REPLY (1) Jeffrey Soreff 1天前

非常感谢！Z箍缩方法可以看作是一种某种程度上利用等离子体不稳定的手段。

REPLY Ska 3天前 编辑

对于人工智能的一个猜测是，它们的学习速度可以与人类相当。当前的人工智能众所周知需要处理数万亿个标记。而人类只需要其中极小的一部分。（尽管也有没有人类知道所有人工智能所知的内容）基于这一点，我们离饱和状态还很远。我们仍然可以获得1000倍以上的效率提升，如果这没有导致能力再翻一番，那就显得有些奇怪了。（而且如果人类是学习效率的巅峰，那也显得有些奇怪，也许你还能继续更久）

如果下一次的改进没有带来这种1000倍的标记效率提升，那么你可以将这条趋势线延伸到近期未来。

关于这1000倍效率提升的进展如何？进展缓慢而稳定。近年来取得了良好的进展。更好的优化器有所帮助，学习率调度被重新审视，最近的论文则更详细地探讨了何时向模型展示哪些数据等问题。这里需要注意的是模型训练的速度竞赛。

REPLY (1) moonshadow 3天前 编辑

人类只需要其中极小的一部分

人类实际上需要多年的连续输入，包括融合的音频、视频、气味、触觉、加速度计和本体感觉信号，才能构建视觉、听觉、物理和更高层次的模型，甚至在开始摄入我们给AI的标记之前。人类在训练过程中还会进行实验，主要由自己主导，几乎持续不断。

AI则必须从一个静态数据集中推导出所有这些信息，该数据集主要由人类生成的文本和大量人工标注的静态图像组成，并且是以非交互方式提供的。令人惊讶且印象深刻的是，AI在拥有如此少的数据情况下表现得如此出色。

REPLY Ken Kahn 3天前

一个可能永远持续下去的物理指数过程是宇宙的膨胀。

REPLY Kaj Sotala 3天前

此外，仅仅因为某事物遵循S型曲线，并不意味着不能在其之上再出现另一条S型曲线。这实际上是《奇点临近》一书中库兹韦尔的论点：每一个技术范式都会在S型曲线上趋于平稳，但在这一过程中，它会推动事物发展到足以创造新的S型曲线和不同的范式，如此循环往复，从而使整体轨迹保持指数增长。

这与你提到的飞机经历几代技术发展后才遇到更基本限制的观点类似。同样的情况也可能发生在人工智能领域，但此时需要确定人们预期的基本限制是什么，以及为什么人工智能会达到这一限制。

REPLY Bill Benzon 3天前

S型曲线欺诈？

REPLY sclmlw 3天前

对你这个启发式的修正：所有有限系统中的指数增长都是S型曲线。知识和智能是否是有限的，这一点还不明确。

这里的明显推论就是摩尔定律，它最初是一个观察结果，后来演变为一系列叠加的S型曲线。人们预测其终结已有几十年，但它却持续下去，因为增长促进了新S型曲线的产生，形成一个强化循环。更好的处理器 -> 更快的技术 -> 增强的研究能力 -> 新S型曲线的生成。

即使在人们讨论技术实际极限，包括量子隧穿等硬性限制的时候，这一趋势依然成立。

当我与对通用人工智能（ASI）持悲观态度的人交谈时，他们似乎有一个限制性假设，即ASI只能达到人类的智能水平，因为它的训练数据仅限于人类生成的数据（或者如果它自己生成数据，最终也是建立在人类数据的基础上）。好吧，但人类的智能是可以提升的，技术也可以以指数级的方式促进人类智能的提升。

我想到的最佳类比是印刷术。印刷文字使人类之间的交流速度加快，从而使得人类整体的知识和智能呈指数级增长。这是因为反馈循环允许sigmoid曲线不断叠加，延续至今。

有没有证据表明AI正在做同样的事情？有。它加速了编程，因此同样的程序员可以突破之前的限制。它改进了知识排序和搜索，使得同样的人能够访问学术文献中埋藏的信息。因此，我们应该期望它能实现类似的叠加机制。

REPLY Pablo 3d

将Lindy效应应用于sigmoid曲线，另一种说法是我们始终（今天、明天、明年、后年）处于sigmoid曲线的中间。实际上，这与说我们处于指数增长状态并无不同。这是从构造上就错误的。

REPLY (1) Scott Alexander 3d 作者

我认为这不是一个真正的悖论/归谬法。想象一下，每天有人掷一个二十面骰子，如果掷出1点，就会引爆一枚炸弹。第一天，你预计炸弹会在14天内爆炸（中位数）。第二天，在炸弹未在第一天爆炸的条件下，你预计它会在14天内爆炸。第三天，你预计它会在14天内爆炸。如此无限延续下去。我认为Lindy效应也是如此运作。

REPLY (1) Pablo 2d

我看不到这个类比是如何成立的。在骰子的例子中，过程是无记忆性的，而在Lindy效应的情况下则不是。

此外，你的指数增长例子（METR）是选择性的。还有许多其他地方指数增长已经趋于平缓。

例如：

• GPT-3.5至少是GPT-2的两倍好

• GPT-4o比GPT-3.5更好，但不明显是两倍好

• GPT-5肯定不是GPT-4o的两倍好

• GPT-5.5肯定不是GPT-5的两倍好

我在这里主要依靠直觉，但大多数基准测试都适用，我认为你会同意上述观点。

REPLY (1) Scott Alexander 2d 作者

你能解释为什么Lindy的例子不是无记忆性的吗？我同意在每年，我们知道之前有多少年，但在没有尺度感的情况下，这不应该对我们产生任何影响，除了Lindy定律本身带来的影响。

你能解释一下你所说的“两倍好”的指标是什么吗？例如，在ECI（https://epoch.ai/eci?view=graph&tab=release-date&subset-view=graph&subset-tab=Software+engineering&filterText=GPT-）上，看起来GPT-4o比GPT-3.5大约好15%。

REPLY (1) Pablo 2d

无记忆性是指：

“一个过程将持续的时间大致等于它已经持续的时间”（强调部分）

骰子每次都是1/14的概率，无论已经掷了多少次。而Lindy效应则是基于已经进行的掷骰次数，这些掷骰次数代表的是没有发生有趣事件的天数（或其他时间单位）。

我没有使用任何指标，正如我所说，我主要依靠直觉。我们可以找到一些基准测试，其中改进看起来是指数级的，而另一些则趋于平缓。

我提出一个思想实验，我们称之为“指数改进图灵测试”：如果我今天悄悄地用你所选的前沿模型的上一版本替换了你的模型，你多久会注意到这个变化？

我认为我们可以同意，如果这种情况发生在几年前，且变化是从GPT-3.5到GPT-2，你会立刻察觉到。如果是GPT-5.5到GPT-5，我的直觉是大多数人不会察觉到。这说明底层过程并不是指数级的。

在一个指数过程中，模型N+1和N+2之间的差异应该比N和N+1之间的差异更大。

REPLY Philip Dhingra 3d

关键在于摩尔定律和扩展定律是否还有另外15年的发展空间。首先，扩展定律的基础相对较弱。摩尔定律虽然被实证观察到，但众所周知，它在5到10年前就开始放缓了。但让我们假设我接受库兹韦尔《精神机器时代》的基本前提，即系统会不可避免地变得更聪明，这种趋势一直延续到灵长类进化开始。并且假设对于任意大的智能规模，工具性收敛的可能性也变得任意大，那么当然，我们会面临灾难。但损害梯度是真实的。我们现在就能看到这一点。工具性收敛的成本正在显现，因此我认为人类会抵制技术进步。要知道，反AI的反弹浪潮，其能量不同于其他技术反弹，几乎像是对工具性收敛的一种预演。

我的主要先验假设是原子时代的历史及其相关的控制措施。

吞下这个苦药丸很难，因为我必须证明一个积极的推测，即人类会取得胜利，而悲观者只需简单地外推几条线即可。

值得注意的是，埃利泽曾表示，早期的损害是我们最好的希望。

REPLY Algon33 3d

Stuart Armstrong有一篇关于这个问题的论文！它叫做《Sigmoids behaving badly: why they usually cannot predict the future as well as they seem to promise》。该论文的核心观点是，使用sigmoid曲线进行预测往往非常不可靠，因为你只能在数据覆盖了拐点前后的整个范围时才能获得有限的拟合效果。而这又是因为增长机制无法告诉你很多关于阻尼机制的信息，反之亦然。

https://arxiv.org/abs/2109.08065

REPLY (1) Jeffrey Soreff 2d

增长机制无法告诉你很多关于阻尼机制的信息，反之亦然。

tanh it! :-)

这确实是一个非常好的观点！只有在早期指数增长的时间常数 _和_ 衰减到最终平台期的时间常数相同的情况下，才能期望一个对称的 sigmoid 函数——而通常情况下，正如你所写的那样，驱动这两个过程的机制是不同的，这种情况 _通常不会_ 成立。

REPLY Qwerty 3d

鉴于 sigmoid 在深度学习数学中的重要性，受众应该会对这个论点持开放态度 😄

REPLY (1) Nathan Metzger 2d

大多数了解深度学习基本知识的人都已经认为我们离任何瓶颈还很远，因此虽然这种说法有些俏皮，但对于需要听到这一观点的大多数受众来说，这种联系并不明显。

REPLY Alan Smith 3d

（这并不是针对任何特定个人或特定观点的贬低）

在我看来，在我半懂不懂但对人工智能知之甚少的视角下，人们谈论人工智能的方式更多地反映了他们所属的社会群体，而不是他们对人工智能的知识或推理能力。那些说人工智能不会带来大问题的人（并非总是如此）常常基于我只能描述为不一致的推理，以虚假或极端挑选的事实前提为基础，提出令人发笑的糟糕论点，通常是为了表明自己属于一个以反对某些事物而非支持某种理念来定义自己的亚文化。那些说人工智能一定会毁灭我们所有人的人（同样并非总是如此）往往是从非常有限的样本或极其抽象的前提中进行外推，通常是为了表明自己属于一个非常数学化或技术相关的亚文化。那些说人工智能会带来乌托邦的人（也并非总是如此）往往与那些从投资于他们所谓的“人工智能”概念中获得实际利益的团体有关联。那些说人工智能是有意识的等等的人也是如此。

这并不是说或暗示上述这些观点中任何一个或全部都没有价值。但这确实表明，如果某人强烈表达的观点与某个群体相关，并且他们的其他言论也倾向于与该群体相关，那么假设他们部分出于社会原因而表达这些观点，而不是因为他们通过隐含或显式的推理得出了这些结论，这是合理的。

REPLY (1) Nathan Metzger 2d

总有一些悲观者声称人工智能一定会毁灭我们所有人，而他们通常只是出于心理原因才这么说。（没有积极的工具性理由去告诉人们他们注定要灭亡。）另一方面，那些说人工智能*可能*会毁灭我们所有人的，通常是“大多数专家（尤其是领先的专家）”，这显然更加令人担忧，而且足以成为立即停止整个项目的充分理由。

REPLY (1) Alan Smith 2d

那些说人工智能可能毁灭我们所有人的，正是你和你的社交群体认定为专家的人。而对于某些群体（不是特指你的群体），人们被认定为“专家”很大程度上是因为他们说出人们想听的话。

REPLY (1) Nathan Metzger 2d

是否存在任何在人工智能及其风险方面具有可信度的群体，其成员对人工智能导致灭绝的风险并不显著关心？我不清楚有任何这样的群体，而且我不想传播错误信息，所以我真心想知道你是否知道有这样的群体。

我知道的一些对人工智能灭绝风险高度关注的群体（有一半或更多人认为 p(AI 灭绝) ≥ 5%）包括：

• 全球最被引用的 10 位人工智能科学家（同时也是全球各学科中最被引用的科学家）

• 主要人工智能公司的首席执行官

• 主要人工智能公司的技术负责人

• 主要人工智能公司的其他员工

• 人工智能公司内部的举报者

• 学术界的人工智能研究人员

• 独立的人工智能研究人员

• 人工智能安全研究人员

• 存在性风险研究人员

如果我要确信人工智能风险极低，我应该听谁的建议？

REPLY (1) Jeffrey Soreff 2d

存在一位可信的研究人员，其 p(doom) < 5%，即 Yann LeCun —— 参见 https://pauseai.info/pdoom 的最后一行。

[我个人估计 p(doom) 更可能是超过 50%，数值上为 57%，但误差范围极大，之前是 50%，然后 Hassabis 支持暂停，所以我更新到了 55%，接着有人指出即使是一百万个仅略高于人类水平的人工智能仍然构成重大威胁，于是我更新到了 57%，但这个估计值有 _巨大的误差范围_ ]

REPLY (1) Nathan Metzger 2d

是的，实际上不止一个，坦白说。还有 Fei Fei Li、Andrew Yao 和其他人。但当你考虑整体情况而不是选择性地挑选，或者当你按照最相关专业知识、最小的利益冲突等衡量标准进行排序时，往往会发现有很多关心这个问题的人，而那些更关心的人往往排在前面。

有大量的专业技术论点讨论人工智能灭绝风险，但以上内容已经足够让任何人更新到想要彻底关闭整个项目。不这么做简直疯狂。

REPLY (1) Jeffrey Soreff 2d

非常感谢！说实话，我只是想_看到_通用人工智能（AGI），与真正的“生命”HAL9000进行一次安静的交谈。但由于我无法控制人工智能实验室的行为，我想要什么其实并不重要。我们会看到会发生什么。我有点希望哈萨比斯能说出他的 p(doom) 估计值。

REPLY Carlos 3d

我觉得大型语言模型（LLMs）并没有一般智力因素（g factor），它们的能力是断断续续的，而基准测试并未捕捉到向超级科学家发展的进展，它们根本没有测量这种能力。

如果它们有一天能够熟练地玩各种随机视频游戏（而不是被困住并不断显示精神分裂式的推理链），那将是一个更强的进展信号。

即使如此，视频游戏仍然是一个完全定义的问题，与推动科学前沿不同，因此也许持续击败它们并不能说明任何问题。

REPLY (1) Nathan Metzger 2d

我不确定是否有办法在大型语言模型中衡量一般智能。可能存在多个智能的中心。有许多基准测试，没有人能够专门进行优化，但它们仍然可靠地跟踪模型智能的其他总体指标，因此可能存在类似“g因子”或多个这样的因素。对智能的研究仍然远远落后于工程实践。

REPLY (1) Seta Sojiro 2d

可能没有简单的方式来衡量智能，但肯定存在一些糟糕的衡量方式。如果衡量标准是“模型的训练数据是否涵盖了被测试的知识和技能类型”，那么这便是一种糟糕的衡量方式*。知识和技能本身并不是智能，智能是适应性地获取新知识和技能的能力，而这是当前所有方法所缺乏的。

*但此类基准测试可以作为有用性和经济价值的良好衡量方式，这些是重要的，但与智能无关。

REPLY elias 3d

如果我们默认采用林迪定律，为什么不将其应用于推动AI进步的子组件，而不是仅仅用于像任务完成时间（50%准确率）这样的高层指标？汇总这些先验概率可能比外推单一能力曲线更少出错。

REPLY Deiseach 3d 编辑后

我们以什么来评判AI的进步？是它能做越来越多人类能做的事情吗？还是它达到了某种智能水平？

我认为存在一种混淆，即“AI将能够做到任何人类能做到的事情”与“AI将达到强人工智能并超越任何人类能做到的极限”之间。

AI仍有很大空间去获得能力，使其能够做到“任何人类能做到的事情，即成为最出色的音乐家、作家、焊工、水管工、医生、律师、厨师等”。目前我们正处于这个阶段，专门化的AI可以解决只有顶尖数学家才能处理的数学问题，但它却无法煮鸡蛋。一旦AI控制了工业机器人，或者进入机器人身体，或者为我们创造机器人仆人，那么它就能在人类成就的领域内赶上甚至超越人类。

但如果我们的希望寄托在AI变得超级智能，从而解决我们历史上一直未能解决的所有问题（疾病、死亡、战争、贫困、仇恨等），那么我认为我们真的需要思考“什么是智能，它是否有一个上限？”

对于人类来说，似乎（至少到目前为止），上限大约在智商200左右。在极端边缘，测量变得不稳定，几乎没有实际意义。无论你从多远的历史回溯——无论是灵长类动物、人科动物还是现代人类，在数万到数百万年的时间里，我们一直在变得更聪明，直到达到这个上限。

现在，这个上限让我们取得了相当高的成就，从30万年前的智人开始，到今天，我们正在争论是否已经创造出了一种独立的智能。如果AI也达到一个上限，无法再提升，它仍可能实现超出我们今天想象的巨大成就。

但是否存在这个上限呢？论点的一个方面似乎是“没有，或者如果有，那高到我们无法计算”。这就是“AI可以自我改进，达到1400甚至更高的智商！”这一观点，也就是《文化》（Culture）系列中所说的“神级思维”。这也是“奇点即将到来！”的观点。

我更倾向于“我们很快就会遇到一个上限”的观点，也就是S型曲线的观点。也许AI会常规地达到200分的智商，甚至进一步提升到250-300分。

这将意味着巨大的变化。但这并不意味着奇点。它可能意味着所有关于上传意识、殖民银河系、无限免费能源以及地球上每一个人都能享受保障的基本收入（UBI），包括那些生活在最恶劣、最贫困、最被忽视地区中最悲惨、最贫穷和最痛苦的人们，他们不再需要工作，而是可以过上闲暇、创造力和利他的生活，这些梦想都不会实现。或者，这一切可能需要10万年的时间，就像我们从使用燧石工具发展到创造我们自己的继任物种一样。

REPLY (6) walruss 3d

没错。所有这些论点似乎都假设递归自我改进是一个转折点，使AI能够无限增长。但问题是，让一个愚蠢的我提高1%的智能，或者让爱因斯坦提高1%的智能，哪一种更容易？我认为让一个愚蠢的我变得聪明更容易——因为我有很多我没有的数据，还有许多人类整体已知但尚未在我身上训练过的思维框架等等。与此同时，如果爱因斯坦想要提高1%的智能，他只能靠自己。

我是在编造这些内容，但我假设扩展也会呈指数增长。也就是说，从160到161的智商提升所需的能量，将比从100到101的提升所需能量多得多。

另一方面，今天比爱因斯坦更愚蠢的人显然比爱因斯坦知道更多物理学，因为他们只需阅读爱因斯坦的著作即可。

REPLY (1) vectro 2d

实际上，我认为由于具备自我反思能力、干预的乘积效应、限制因素/瓶颈等因素，让爱因斯坦变得更聪明更容易。

REPLY Bugmaster 3d

“什么是智能，它是否有一个上限？”

这甚至不是关键的问题。真正关键的问题是：“一个智能体实际上能实现哪些能力？”

一个坐在你桌子下面，拼命思考的超级智能盒子毫无用处，除非有某种方式可以与它进行交流。即使如此，它也只是略微有用一点，直到它能够感知感官信息。即便如此，如果你给这个盒子输入人类全部的知识，然后让它发明一种超光速旅行的方法，它很可能还是会说“不行，不会发生”。它会比普通智能的盒子快1000倍，但答案还是一样的。如果你让它煮鸡蛋，它仍然会说“不行”，除非你给它一些手（或者至少一条触手）来操作。智能不是魔法！

REPLY (1) Performative Bafflement 2d

那甚至不是最重要的问题。最重要的问题是，“一个智能体实际上能实现什么样的能力？”

一只拥有稍微更好合作能力的灵长类动物（并不需要更大的大脑，早在直立人时期我们就拥有超过1200立方厘米的大脑）就足以实现足够的能力，从而支配整个生态系统的能量流动，并有意或无意地导致其他所有生命形式灭绝。

现实是极其复杂的。我们有一个存在证明，那就是我们自己，而我们甚至并不那么令人印象深刻。

现在，让我们把那些支配世界的灵长类动物与机器结合起来，这些机器在个体和集体上都比每个灵长类动物更令人印象深刻。你没看到任何重大的变化即将来临吗？

REPLY (1) Bugmaster 8h

但一只拥有稍微更好合作能力的灵长类动物……就能实现足够的能力，从而支配整个生态系统……

没错，正是如此。一只灵长类动物可以做到这一点。但是运行100万个微软Excel实例的集群却做不到，即使你把这个数量提升到1000万个实例也做不到。同样，运行1000万个Claude Code实例的集群在有人花大量时间迭代地设计提示之前，也不会有任何支配能力；之后它也许能支配软件行业（尽管我真心怀疑这一点）。

现在，让我们把那些支配世界的灵长类动物与机器结合起来，这些机器在个体和集体上都比每个灵长类动物更令人印象深刻。

没错，这确实会带来一些重大变化。当然，为了成为“比灵长类动物更令人印象深刻”的机器，它们必须至少能够完成灵长类动物能做到的一切——并且希望还能更多。它们必须能够执行灵长类动物擅长得看似毫不费力的真正困难任务，比如开车去商店买牛奶、选择一个有趣的问题并独立解决它、在遇到完全超出经验范围的挑战时优雅地失败等。在未来某一天，机器学习系统绝对能够完成这些任务，但今天还不是那一天……

REPLY Sam 3d

在原始帖子以及大多数S型曲线拟合讨论的背景下，我们正在根据METR的任务完成时间范围研究来评估AI的进步。我喜欢这个指标，并且理解为什么它主导了这些讨论（作者清楚他们所做的事情，而且这是一个有趣且易于理解的图表，能够支持我们对AI进步的直觉，很少有其他衡量标准具备这些特点）。但我认为它不应该如此随意地与你提出的存在性问题混为一谈。衡量模型在完成软件任务方面的表现是一个与判断它是否超越人类智能截然不同的问题。

在我看来，模型智能与代理任务完成之间的相关性并不明显，至少在大型语言模型已经超越某个临界点之后。我无法确定前沿模型是否在智能方面停滞不前，只是变得更擅长使用代理工具（我认为智能趋势是上升的，只是没有找到任何合理量化它的研究）。即使假设目前智能与任务完成之间存在相关性，我们也有可能进入一个这种相关性失效的情况：前沿模型可能继续迅速变得更聪明，能够解决以前让人类研究人员束手无策的理论问题，而任务完成基准上的改进却大幅放缓，因为我们无法想到任何新的任务不会超出上下文限制。或者反过来，智能和研究突破可能会比我们期望的更快耗尽，而任务完成则通过改进的代理设计和专门训练持续改善。

REPLY Jeffrey Soreff 2d

那就是“AI可以自我改进以达到1400的IQ水平——甚至更高！”这一观点。

也有可能AI可以自我改进到极高的水平——其后果可能是发现某些材料进步的绝对限制，例如卡诺效率极限、光速极限，或是海森堡不确定性原理。我不认为这会发生，但这无疑是一种可能的结果。

REPLY Jeffrey Soreff 2d

那就是“AI可以自我改进以达到1400的IQ水平——甚至更高！”这一观点。

也有可能AI可以自我改进到极高的水平——其后果可能是发现某些材料进步的绝对限制，例如卡诺效率极限、光速极限，或是海森堡不确定性原理。我不认为这会发生，但这无疑是一种可能的结果。

REPLY Viliam 16h

如果AI能够常规地达到200的IQ水平，那就意味着我们可以拥有经济所能负担得起的那么多天才（而不是等待随机出生），我们可以在当下就拥有它们（而不必等待他们的教育），它们可以全天候工作（不需要睡觉或其他人类活动），并且可以几乎永远工作下去（不会因为衰老、疾病或倦怠而失去它们）。

是的，还有许多原因可能导致乌托邦不会实现。首先，也许事实证明，即使成千上万的天才合作，他们所能做到的事情也是有限的，因为它们仍然受到物理定律和地球资源的限制（是的，宇宙中确实有其他地方，但首先我们需要到达那里，并利用地球资源开始开采资源）。

但更重要的是，也许智商不足并不是真正的瓶颈；也许真正的问题在于“人类彼此不友善”（这是一个简短而幼稚的描述，因为我并不想深入细节），而人工智能最终也会落入同样“不友善的人类”之手。比如，想象一下当前的乌克兰战争，只不过双方有更多的AI参与；这对生活在那里的普通人来说，情况会变得更好吗？此外，人工天才们将研究如何创造更具吸引力的应用程序、更可信的骗局以及更易被洗脑的选民。毕竟，帮助人们并没有什么好处。

REPLY (1) Deiseach 12h

我认为我们所有的希望都寄托在“更多的智能 = 更好的结果”上，虽然这一点是正确的，但我认为它并非永远成立。如果我们能够获得IQ 200级别的AI，并且可以稳定地复制和再现它，那么这对我们来说将是一件大事。

毕竟，我们在当前的智能水平下已经取得了诸多成就。但同样真实的是，“更多的智能”可能并不是限制因素，而是“我们终究无法突破物理定律”。也许没有一种“独门绝技”可以解决超光速旅行。也许我们无法仅仅开始开采太阳系内的物质并拥有无限的能量和无限的生产能力和在木星的卫星上生活的人们。

我完全同意，问题仍将在于“人类就是人类，因此有能力成为绝对的混蛋”（参见这个美丽的故事 https://www.ibtimes.co.uk/tragic-adoption-case-teacher-accused-murdering-baby-boy-1796753），而不是“哦天哪，AI想要用纸夹我们”（说实话，在看过这样的故事后，纸夹我们才是我们该得的）。

REPLY walruss 3d

作为一个不信任AI研究人员的sigmoid理论支持者，我原本认为自己非常错误。但这种解释暗示我在自己的先验假设下比我想像的更接近“正确做法”。2022年时我曾认为这是个毫无意义的噱头，2024年时我说“好吧，它表现得不错，但几年后我们可能会看到进展放缓”，而现在我认为我们很可能将迎来真正的颠覆性成果，也许我应该稍微信任AI研究人员一些。

非常坦率地说，我之所以认为sigmoid方法是好的，是因为这一领域（以及在这个博客上）的作者们不断使用诸如“此时它已经超越了所有物理极限，变得如同神一般”或“它将能够欺骗全世界的人类去做任何它想要他们做的事”之类的论点。这些论点，至少如果你还没读过600页的Eliezer Yudkowsky的作品，似乎暗示着永远不会出现sigmoid下降的趋势，甚至永恒不变。

REPLY (1) Nathan Metzger 2d

“天花板远在头顶之上”的论点经常被误解为“天花板高得无限”。我怀疑这仅仅是一种视角的缺失，可能是由或导致缺乏谦逊所引起的。

被认为的绝对物理极限大约是人类智能的六倍。与人类智能相差一万倍并不会影响最终结果，因此智能存在上限的事实其实并不重要。

REPLY Ichnobates 3d

显然，指数级的AI进步终将有一个终点。问题是“何时”，而事实上，将数据拟合成sigmoid曲线是非常困难的，很容易得出错误的结论。

真正的问题是是否还有改进的潜力，以及哪些障碍会导致能力增长的减缓。然后才是曲线拟合的问题。

REPLY (1) Phil Getts 3d

你为什么认为这是“显然正确的”？这才是这里真正的问题。

REPLY (2) Nathan Metzger 2d

存在物理定律。被认为的上限大约是人类智能的六倍。从我们的角度来看，这与两倍的差距并无区别，因此在那个层面，这一切都是学术性的，但我们确实知道存在物理限制。

REPLY Ichnobates 2d

如果宇宙中的所有物质都被精确地安排以最大化其计算能力，那么真的就没有其他地方可去了。

REPLY Charlie Sanders 3d

上限渐近线的确切位置在事先是不可知的，但它的存在是确定的。即使不知道它的确切位置，它的存在足以排除某些流行AI风险论点的必然性：能够劫持人类行为的超级说服力、从第一原理设计纳米机器、新型流行病毒等。

通常的反驳是，这些能力可以通过递归自我改进来假定存在。然后，这些能力的存在被用来为现在采取激进行动提供正当理由，例如单方面暂停AI开发或对在AI实验室工作的人员进行污名化。

林迪原则指出，AI能力很可能还会继续增长一段时间。它排除了某些假设未来AI可能拥有的超能力。

等等，为什么它会排除这种情况？存在速度上限（光速）的事实并不排除某些东西可以以非常快的速度运动，比如每小时一百万英里。

回复（2） Bugmaster 2天前

我认为这些能力中的大多数——“能够劫持人类行为的超级说服力、从第一性原理设计纳米机器、新型大流行病毒”——要么在原则上是不可能实现的，就像突破光速一样；要么理论上是可能的，但在实践中难以实现，比如太空电梯。大规模思想控制可能是不可能的；“灰色黏液”纳米技术肯定如此；大流行病毒当然是真实存在的，但普遍致命的超级病毒几乎不可能出现。

其他一些情景涉及 AI 控制某物并将其指数级地提升到不合理程度。例如，你可能会给 AI 一个电动自行车工厂，它会用这个工厂向地球倾泻杀戮机器人；或者你给予它访问股票交易应用程序的权限，它就会掌控全世界的经济体系等。这些情景依赖于所有人完全符合 AI 的目标，包括建造该工厂以销售电动自行车的工厂主；想要用钱购买面包的人类消费者；以及为工厂提供原材料的钢铁和塑料供应商；还有为数据中心供电的发电站操作员等。这在现实中似乎不太可能发生；通常，当某种失控过程接管了任何设施的正常运作时，该设施都会被关闭进行维修。

回复（4） Nathan Metzger 2天前

我认为我们还没有到达技术历史的终点。制造超级病毒的能力可能是本十年内就能实现的技术，即使没有通用人工智能（AGI）。字面意义上的大规模思想控制值得思考，但并不需要去成功操控人类的一小部分（我们知道这是可能的，因为有日常案例）。我不确定“灰色黏液”是否真的如此，但我认为从原则上讲，制造一种能生产朊病毒的入侵霉菌是完全可能的，这已经足够糟糕了。

更重要的是，你似乎低估了人类将控制权交给机器的意愿程度。迄今为止，每一次承诺带来显著的生产力和投资回报率的提升，都会导致自我放权。成千上万的人实际上对没有长期计划操纵他们的 AI 系统产生了爱慕之情。当前的 AI 聊天机器人已经给出听起来比大多数人更明智的建议，数百万人都依赖它。人类显然不会与之对抗。

回复（1） Bugmaster 2天前

我没有说人类的技术发展已经结束；我说的是某些科幻技术的特定成就很可能不可能实现。更具体地说：

• 大规模思想控制：很可能不可能。当然，某种程度上的大规模说服是可能的……假设你是在说服人们去做他们本来就很愿意做的事情。要让所有人都同时做某件完全随意（甚至明显有害）的事情，历史上只有在极端暴力威胁下（如朝鲜）才有可能实现，而且往往也不一定奏效。

• “灰色黏液”纳米技术：确实存在入侵性霉菌，但它永远无法一夜之间吃掉岩石并将它们组装成机器人。

• 超级病毒：由于基因多样性和生物学的基本运作方式，这可能很难实现。普通病毒当然是可能的，但你不需要 AI 来制造它们，因为它们已经存在。

更重要的是，你似乎低估了人类将控制权交给机器的意愿程度。

并非如此——当然，人类会渴望尽可能多地自动化工作。事实上，我认为 LLMs 的真正危险在于它们看起来像真正的 AI，因此人们自然希望将所有工作交给它们；不幸的是，LLMs 并不是 AI，最终会通过幻觉的方式跌下隐喻的悬崖，造成灾难性后果。正如你所说，聊天机器人提供的建议听起来很明智，但实际上只是空洞无物的废话……这也是人们喜欢它的原因。这就像占星术：每个人都能在其中看到自己想看到的内容；但这也是为什么无法利用占星术让所有人自愿贡献自己的空闲时间来建造你的机器人工厂。不过，我怀疑的是将控制权交给机器的可能性有多大。一切都很有趣，直到电动自行车工厂停止生产电动自行车，然后一切又回到起点。

在科学语境中，大语言模型（LLMs）是变换器（transformers）的一个子集，而变换器又是深度学习（deep learning）的一个子集，深度学习又是机器学习（machine learning）的一个子集，机器学习又是人工智能（artificial intelligence）的一个子集。人工智能是大语言模型诞生的科学领域，许多人所说的听起来像科幻小说的“人工智能”其实都源于科学家们在各自专业领域发表的普通科学研究。

REPLY (2) Bugmaster 2d

“人工智能”这一术语是由约翰·麦卡锡（John MacArthur）于1956年提出的，当时它与现在科学家所理解的含义是一样的……后来，科幻作家们使用这一术语来指代你可能所指的“人工智能”。

不只是我，包括今天大多数的人，包括那些为大语言模型公司负责市场推广的人。此时，我认为使用1956年的定义是不诚实的。当然，当斯科特谈到人工智能时，他并不是在思考感知机（perceptrons）或支持向量机（Support Vector Machines）——这些都属于原始定义下的“人工智能”的分支。

REPLY Slowday 1d

咳咳。约翰·麦卡锡（John McCarthy）。此外，

"麦卡锡、明斯基（Minsky）、纳撒尼尔·罗切斯特（Nathaniel Rochester）和克劳德·E·香农（Claude E. Shannon）在1956年夏天著名的达特茅斯会议上撰写了一份提案，首次提出了‘人工智能’这一术语。"

https://en.wikipedia.org/wiki/John_McCarthy_(computer_scientist)

REPLY vectro 2d

一个真正智能的实体会在它积累足够的力量足以杀死你之前，一直提供良好的服务或建议。

在我看来，我们似乎非常急于让人工智能掌控一切，这出于正常的资本主义原因。

REPLY (1) Bugmaster 2d

目前，没有任何大语言模型具备如此长期的规划能力，或者说实际上任何规划能力——除非每一步都由人类引导。恶意的人类确实是一个大问题，这一点毋庸置疑。

REPLY Noah Fect 2d

“或者你让它访问股票交易应用，然后它就会控制整个世界经济等等。”

让我们聚焦这个例子：鉴于并非更聪明的投资者能够持续超越市场，因此也不清楚一个智商为1400或其他数值的超级智能体是否能超越市场。

在许多引发对超级智能恐惧的领域中，这种情况都是真实的。事实上，智力并不是唯一需要的东西。某处一定有最聪明、最有说服力、最善良或最邪恶的人，但我们甚至听说过他们吗？

REPLY The Ancient Geek 2d

这些场景假设所有人完全符合人工智能的目标，包括建造电动自行车工厂的工厂主；想要用钱购买面包的人类消费者；以及提供工厂原材料的钢铁和塑料供应商；还有为数据中心供电的发电站操作员，

这个反对意见似乎假定人工智能没有使用任何欺骗手段……它没有假装成政治家或首席执行官。

REPLY Charlie Sanders 2d

这排除了它们被达到的必然性。在谈论未来人工智能时，将那些奇幻特性作为给定前提是一种逻辑上不成立的假设——智力进步的极限最终可能低于这些能力水平。

REPLY Michael Frank Martin 3d

这个问题是以指数增长与S型曲线之间的对比来阐述的，但通常这种表述方式是基于幂律（power laws）。我最喜欢的关于曲线拟合危险性的论文是马克·纽曼（Mark Newman）写的 https://arxiv.org/abs/cond-mat/0412004 ——这是一篇非常棒的文章，即使是非专业人士也能轻松阅读！

REPLY Jeffrey Heninger 3d

在我曾在AI Impacts工作时，我曾研究过类似的问题。 https://web.archive.org/web/20260215101114/https://wiki.aiimpacts.org/ai_timelines/examples_of_progress_for_a_particular_technology_stopping

通常，如果你观察某个技术指标显示的技术进步，它会以指数形式增长数十年，然后在数十年内趋于平稳，之后又以不同的增长率开始增长。因此，我天真地预期像METR图这样的图表可能会以指数形式增长10到30年，然后停止。

不过，话说回来，所有技术都是不同的，违背这一规则的情况也非常多。有些趋势只持续较短的时间，有些则持续更长的时间，还有一些根本不呈现指数或S型增长。我曾经看到过超指数增长，也就是AI 2027模型预测的那样，在一个数据集中（在我加入AI Impacts之前就已分析过）：英国海军最大船只的尺寸，从1650年至1867年，几乎在1869年达到了预测的奇点。 https://web.archive.org/web/20251114181110/https://wiki.aiimpacts.org/doku.php?id=takeoff_speed:continuity_of_progress:historic_trends_in_ship_size

如果我们从纯粹的外部视角来看技术发展的历史，那么（1）如果你认为当前速度下不到5年的进展就能实现变革性人工智能，那么趋势很可能持续到那时；但（2）如果你认为需要超过20年的当前速度进展才能实现变革性人工智能，那么趋势很可能在那之前就趋于平稳。这两种情况都不应被视为特别有信心的预测。

REPLY Richard Kennaway 3d

你无法将数据拟合成S型曲线，除非数据已经远远超过了拐点，并且在两侧都进入了平稳阶段。曲线拟合永远无法预测平稳期的到来。

实际的空速图上的数据点看起来一点也不像S型曲线。它们并没有显示出任何趋于平稳的迹象。

为了不显得只是随意评论，我从维基百科页面上抓取了数据，并尝试在Matlab中拟合S型曲线。结果毫无成效。Matlab甚至无法为参数提供置信区间。它能够处理由S型曲线加上噪声构成的合成数据，但如上所述，只有当数据在拐点两侧都延伸得很远时才能做到这一点。只有当你能看到斜率和两侧的平稳状态时，才值得尝试拟合S型曲线。

我拟合的方程是 f1(x) = a/(1+exp(-b*(x-c))) + d，这是一个具有四个参数的逻辑方程，用于定义两个轴上的位置和尺度。还有其他 S 型曲线可以尝试，但这个方法一开始就已经失败了。

比冲压发动机更快的技术是火箭，我们已经拥有这项技术，但由于空速记录的规则限制，它们未被包含在维基百科的数据中。然而，这些规则并未限制你在大气层内能以多快的速度移动。前往轨道的火箭在仍处于大气层高度时速度会更快。其中一些火箭是载人飞行的（这也是空速记录的另一条规则）。

我不会去寻找“第一名”METR 图表的原始数据，但仅凭肉眼观察，我认为它也不会表现得更好。我注意到他们没有给出参数的误差估计，而没有误差估计，任何曲线拟合都是没有意义的。

REPLY beowulf888 3d 编辑

如果我们看一下数据，能源供应尚未能够迅速满足新的 AI 数据中心需求。数据中心的能源需求每年增长 15%，但新的能源来源每年仅增长 4%。尽管有很多关于部署核能来满足饥饿的 AI 数据中心的讨论，但似乎还没有实现。这让我觉得能源生产最终将成为 AI 发展的限制因素。当然，目前有新型芯片正在研发中，它们使用显著更少的能源，并且看起来比 GPU 更具计算效率（但我并不了解具体细节）。也许 AI 可以在更少的能源下变得更聪明，但目前我认为可以安全地假设增长将有一个上限（除非有人能提供一个令人信服的反驳）。

https://www.iea.org/reports/energy-and-ai/energy-demand-from-ai

REPLY Bugmaster 3d

问题在于（在我看来），所讨论的“特别可怕的水平”，即 AI 获得几乎无限的神一般能力（即变得“超级智能”），远远超出了任何合理的估计和任何可实现的机制（考虑到我们对物理定律的现有理解）。*只有*无限指数增长才有可能达到那个点。如果我们假设这种增长会在地球被转化为计算物质之前转变为 S 型曲线，那么 ChatGPT 将永远不会成为机器神（实际上它很可能永远不会成为机器神，但这又是另一个故事）。

因此，反驳并不是“我已经精确计算出 sigmoid 曲线的拐点，精确到某一天，恰好阻止了神级 AGI 的出现”，而是“假设我们对物理定律的理解大致正确，指数增长无法持续足够长的时间以产生神级 AGI”。

REPLY (2) Nathan Metzger 2d

从我们的角度来看，像人类一样通用但有效 IQ 高出 10 倍的 AI 不会是一种神级超级智能吗？物理上的上限大约是人类智力的 6 个数量级，我认为 1 个数量级就足以致命。

REPLY (2) Bugmaster 2d

从我们的角度来看，像人类一样通用但有效 IQ 高出 10 倍的 AI 不会是一种神级超级智能吗？物理上的上限大约是人类智力的 6 个数量级，我认为 1 个数量级就足以致命。

我不知道你从哪里得到这些数字，但一般来说答案是“不”。想象一下，如果明天我服用了一颗神奇药丸，使我的智力变成现在的 10 倍。这听起来很吓人，但它意味着什么？它是否意味着我可以比现在快 10 倍地进行数学运算？可能是的。它是否意味着我可以悬浮在空中用激光眼睛射击别人？可能不是。我是否能够在一夜之间上传我的意识到机器人身体中，创建一支邪恶的机器人 Bugmaster 军队（或者甚至克隆的 Bugmaster）？很可能不是，而且肯定不是一夜之间。现实地说，凭借我的 10 倍超级智能，我最多可能开始进行一些雄心勃勃的终身科学项目，竞选公职，或在股票市场上赚些钱。这些都是对我有利的好事，但远非世界末日的威胁。

REPLY (2) Nathan Metzger 2d

你似乎把“高于平均水平的人类”和“物理不可能性”分成了两个桶，中间没有任何东西。我担心的就是中间的那个区间。

确实存在比最擅长说服的人类更具说服力、更具战略思维和科学思维的可能性。它不需要多得多！不一定需要只有一个 AI；可以有数百万个独立的副本。能够同时大规模协调地部署这些能力，就足以轻易且快速地取代人类作为地球上主导物种的地位，而无需使用任何额外的未知技术。

REPLY (1) Bugmaster 2d

确实存在比最擅长说服的人类更具说服力、更具战略思维和科学思维的可能性。

我不确定这是否属实。你期望一个超人类的说服者/战略思考者/科学思考者除了完成物理上不可能的任务之外还能做到什么呢？

不一定需要只有一个 AI；可以有数百万个独立的副本。

啊，但有多少个副本呢？多到需要将整个地球转化为计算物质才能运行它们（在这种情况下是不可能的）？还是仅仅比今天 ChatGPT 的实例数量多几个（在这种情况下不太可能造成重大影响）？或者介于两者之间，如果是的话，正确的数量是多少，你是怎么知道这个数量的？

能够同时大规模协调地部署这些能力，就足以轻易且快速地取代人类作为地球上主导物种的地位

此外，你所说的“能力”具体指的是什么？我可以向你保证，即使你给我一个令牌预算，让我同时运行 1,000 个持续运行的 ChatGPT 实例，我也无法用它们“取代人类”。

回复（1） 古董极客 2天前

超人类的说服者/战略思考者/科学思考者除了完成不可能的物理任务之外，还能期望它完成什么？

这取决于它的目标是什么。

回复（1） 虫大师 2天前

如果我们是在法庭上，我可能会大喊“反对！不相关！”无论它的目标是什么，你期望它能做什么——除了不可能的物理任务之外？

回复（1） 古董极客 2天前 编辑后

如果它从根本上比我们更聪明，那么它的限制将从根本上超越我们的。它只需要是超人类，而不需要神一般的能力。

回复 古董极客 2天前 编辑后

这是否意味着我可以悬浮在空中，用激光眼射杀人们？

这是现有技术的结合。你可以发明这项技术，或者接管它。

回复（1） 虫大师 2天前

只要我足够聪明，我就可以悬浮在空中并用激光眼射杀人们，中间没有任何步骤？智能直接等于悬浮射击？

回复（1） 古董极客 2天前 编辑后

是的，喷气背包和激光武器都存在。

我不知道你是认为谁在断言智能本身就是一种风险，而不经过技术作为中间阶段。

回复（1） 虫大师 8小时前

是的，喷气背包和激光武器都存在。

实际上并非如此。给我展示一个可携带的人类喷气背包，能够实现持续可控飞行，并且搭配一个便携式激光武器，其破坏力可以与步枪相当，那么我会给你展示一座我可以以低价卖给你的人行桥。

我不知道你是认为谁在断言智能本身就是一种风险，而不经过技术作为中间阶段。

很好，但现在我们已经同意，智能本身并不重要——真正带来风险的是技术能力。而技术有许多比单纯计算能力更严重的物理限制。

回复 Melvin 2天前

我不认为“十倍聪明”是有意义的，因为我们没有合理的数值尺度来衡量这些事物。

回复（2） Nathan Metzger 2天前

我认为这是一个思维阻滞，而不是论点。缺乏数值尺度并不意味着你不能在抽象层面上进行数值比较。

显然存在“十倍擅长篮球”的概念，即使没有人能就最重要的指标达成一致。比我十倍擅长篮球的人会在篮球比赛中击败我。同样地，显然也存在“十倍聪明”的概念，这种人会在大多数甚至所有智力任务中击败我。

回复（1） Melvin 2天前 编辑后

好吧，这没问题，但这意味着数字并没有提供任何有用的信息，只是给人一种严谨的假象，你完全可以直接说“远比我在篮球方面强”。

尼古拉·约基奇比我十倍擅长篮球吗？还是百万倍？这两个数字同样站得住脚，这意味着这个数字毫无用处。

回复 Slowday 1天前

时候拿出g因子了？

回复 古董极客 2天前

AI 不需要拥有神一般的超能力就能对人类构成威胁，只需具备超人类的能力即可。另外请注意，许多情景涉及 AI 接管人类技术——我们通过同样的手段变得弱小。

回复（1） 虫大师 2天前

为了呈现一种新的存在性威胁，你的 AI 不仅需要访问人类技术，还需要大幅超越它们。人类已经拥有访问人类技术的能力，尽管人类无疑是人类存在的威胁，但到目前为止，我们已经基本学会了缓解这一威胁。因此，我认为你无法设想出一个现实的实体——无论是 AI 还是人类——会对人类构成完全不同的存在性威胁，除非你赋予该实体神一般的超能力。仅仅能够比任何人快 100 倍地解决微分方程是不够的。

回复（1） 古董极客 2天前

为了呈现一种新的存在性威胁，你的 AI 不仅需要访问人类技术，还需要大幅超越它们

有两种情况。AI 创建它自己的全新技术；AI 接管现有技术。在第二种情况下，AI 不需要更好的技术。在第一种情况下，AI 也不需要神一般的超能力——再次强调。

有明显的原因可以预测，随着我们制造出越来越准确的先验知识，AI所带来的益处的扩展规律将是数学上精确的，并且会受到指数级计算能力增长的限制，而这种增长速度较慢，而且在过去47年里我们一直在努力破坏它。这已经发生了。但还有许多其他方法可以改进AI（并且有许多方法可以将它的能耗降低几个数量级，尽管这与我的论点关系不大）。说AI会在某种能量限制下趋于平缓，就像说更复杂生物体的进化会在某种能量限制下趋于平缓一样，这是没有非意识形态理由支持的。

说了这么多之后，我确实预计在短期内AI的进步会趋于饱和，因为目前它受限于人类的组织能力和操作时间尺度。这些可能比能源生产更难以突破。

REPLY Naremus 3d

说实话，这场辩论有点偏离主题了。我知道这是试图通过证明那些认为AI不会构成威胁的人只是依靠“直觉”来让反对者屈服，但这忽略了AI即使在没有AGI的情况下也已经是威胁了。也许不是以“魔法无限递归通往神明”的方式，但以普通的方式——即我们站在人类社会重大变革的边缘，就像农业或工业革命之前那样。即使未来没有任何AI模型比当前最聪明的模型更聪明（这在目前看来几乎是个输定的赌注），我们也会继续将运行该网络的规模和成本缩小到更小、更实惠的形式，而这将深刻地改变社会运作方式。

目前的技术水平尚未完全渗透到军事规划和硬件领域。乌克兰这个人口不到4000万的小国，目前在部署先进战斗机器人方面已远远领先于世界其他国家，俄罗斯士兵甚至被拍到向乌克兰机器人投降。你认为这种情况会持续多久？美国和中国将会追赶并超越乌克兰的做法，随着人类逐渐将整个工业制造的力量转向由AI驱动的机器人。这将逐步影响到警察部队，这意味着政府将迅速获得真正的大规模监控能力。1984年的核心问题在于，每个灌木丛下都隐藏着麦克风意味着你需要有人监听每一个麦克风。现在则不同：今天的AI可以从大众的噪音中解析并识别出你想要的任何内容，而大多数人随身携带的手机就是麦克风。我们已经看到了AI生成的照片和视频带来的影响，以及它们对政治讨论的影响。当公众无法分辨什么是真实的、什么是虚假的时，我们如何达成共识？如何防止一个恶意政府利用这一点来制造针对政治对手的假证据，或者真正实施“死网理论”作为宣传机器？当法院系统无法信任照片或视频证据时，这对我们的社会意味着什么？AI已经颠覆了教育体系，学生依赖当前模型输出成果而无需自己学习。那么5到10年后，这对劳动力市场意味着什么？当工业产出不再取决于愿意从事肮脏危险工作的劳动力数量，因为具备足够通用能力的工人机器人（拥有Claude级别的智能）可以源源不断地从装配线上生产出来时，会发生什么？我认为没人知道答案，但各种警示灯已经全部亮起。这些问题并非不可能克服，但它们增加了人类社会通常混乱中的额外波动性，而这总是伴随着核、生物或化学毁灭性的末日战争的风险，再加上一系列更不理想的未来，这些未来深陷于极权主义的压制之中。我们并不需要AGI来应对这些问题，也不需要AI变得失控，这些问题已经存在，正在通过我们现有的技术渗透到系统中。这些都是普通的人类问题，只不过由于智能不再受生物大脑可用性的瓶颈限制而被放大了。

问题不再是AI是否会威胁社会，而是结果会是什么。

REPLY (1) Bugmaster 3d

哦，我同意当前的生成式机器学习系统是一个威胁！这是一个威胁，因为它又是一种强大工具，粗心或恶意的人很容易加以利用；而且由于廉价地提供了低于平均水平的艺术、文学、代码和其他内容，使我们失去了下一代真正有创造力的艺术家、作家等，从而将我们的社会锁定在不断重复陈旧内容的循环中。这些都是非常现实的问题，我非常希望解决它们；但每次有人提到这些问题时，对话都会被某人喊叫着“这一切都不重要，机器之神要来杀我们所有人，摧毁所有数据中心！！！111!!”所打断。

REPLY Andannius 3d

>预测这一趋势的最佳方式是充分理解产生这一趋势的过程。

这是本文中唯一重要的评论。如果你不了解在极端（接近无限）深度下实际发生的事情，你就无法预测他妈的未来！请注意，这条批评同样适用于AI悲观主义者和狂热支持者；对于像AI这样新且尚不为人所知的技术，*实际上没有人*拥有足够的信息来准确预测未来。

REPLY (1) Scott Alexander 3d 作者

没有人拥有足够的信息来准确预测未来，唯一有趣的问题是如何量化我们的不确定性，以及在面对这种不确定性时该如何行动。例如，请参见 https://www.astralcodexten.com/p/mr-tries-the-safe-uncertainty-fallacy 。这就是本文要讨论的内容。

REPLY (1) Bugmaster 2d

我认为，你想要预测的时间和范围越远，对初始条件的理解越少，预测的不确定性就越大。在某个时候，你的预测误差范围将与“明天将会和今天差不多”这一常见情景重叠。

这是（在我看来）为什么帕斯卡赌局失败的主要原因。如果你想预测你所在城镇明天的天气，你有大量的数据可用，有许多已知（尽管是混沌的）机制，并且时间跨度相对较短。你仍然可能犯错，但大多数情况下，你的预测会非常接近现实。如果你想预测瑞典每个城镇一年后的天气，除非你坚持使用历史平均值，否则很可能失败。如果你想预测1万年后银河系中每个宜居星球上每个平方公里的天气，那么你所能做的最好的就是猜测，也许以今天的地球作为参考。如果你还想假设在此期间会有太空巫师与星龙作战，那么一切都不确定了。

REPLY Inside The Black Box 3d

METR的例子将成为一个很好的警示故事。一个来自可信机构的正式建模努力，发表后仅数月就被一个模型发布所证伪。如果这还不足以让人们意识到“它即将趋于平稳”的推理方式不可靠，那就没有什么能做到了。

REPLY (1) Nathan Metzger 2d

在什么时候被证伪的？原始论文一年多以前就已经发表了，而且至今表现得非常好。如果它还能再维持一年，那他们尝试预测的极限也将达到顶点。

REPLY Mark Roulo 3d

不清楚汉斯·莫拉维克1988年绘制的这张图是否相关，但或许有关系。

https://www.zyvex.com/nanotech/images/Moravec.jpg

这是一条延伸到2030年的指数曲线。

他画出的指数曲线仍然看起来合理。请注意，“硬件等效人类”并不意味着我们知道如何编程这些硬件。

REPLY Tenobrus 2d

哇哦，看我上了大屏幕！

REPLY Luke 2d Edited

我不再喜欢“任务长度”作为衡量指标。它在评估任务难度方面对于几小时甚至几周的时间段来说效果不错。但任务长度有一个上限，即人类的能力极限：对于特别困难的问题（例如解决著名的数学开放猜想），整个人类寿命可能都不足以完成。一个非常聪明的人工智能在这个尺度上会表现出“超越无限”的能力。这会破坏通常使指数或S型曲线成为良好拟合的假设。特别是，当人工智能接近人类能力上限时，即使智力上的微小提升也可能在“任务长度”尺度上表现为指数级增长。

我认为METR本身也清楚地认识到他们的局限性，并指出随着任务长度的增长，测量变得越来越困难和嘈杂。我想象这使得设置预期需要数周的任务变得非常困难，同时也难以招募足够的人类来建立基准。

总的来说，我同意这篇文章的观点，即现在还太早去假设我们会看到一个平台期。我们可能会看到一些放缓，也可能达不到预期或投资的水平，但我认为很明显，通过进一步的扩展和算法创新，仍然可以获得进展。国际象棋AI达到平台期花了几十年，围棋AI达到平台期（如果确实达到了的话，我不确定）也花了几十年，我不明白为什么通用智能不应该也需要几十年才能达到平台期。

REPLY (1) Philosophy bear 2d

METR非常清楚他们的任务长度标准意味着不能将任务拆分成更小的部分。鉴于此，以及需要明确的输出结果（正确或错误），我认为这个概念可能在40小时左右就失效了，甚至更早。此时，我的兴趣更多集中在80%的水平线上。

REPLY Jeffrey Soreff 2d Edited

a) 总体上同意

b) <mildSnark> 当我第一次看到标题时，我的第一反应是关于AI的一个_远远_更小规模的S型曲线，那些ReLU支持者一定变得异常激烈 :-) </mildSnark>

c) 拉远视角尚未达到林迪定律的层面，另一个论点是：大型语言模型是一种人工神经网络。_我们_也是神经网络。假设人工神经网络的表现必须低于人类水平，就忽略了我们自身作为一个神经网络表现达到该水平的存在证明。尽管LLMs只是人工神经网络架构的一种类型，但AI实验室也在不断探索其他架构。

d) <mildSnark> 如果暗能量是恒定的（可能是，也可能是不是），那么宇宙体积的指数增长将是一个真正的、永久性的指数增长。不过，随着时间推移，普通物质会逐渐稀释。而这个指数的增长时间常数则相当缓慢，大约是160亿年。</mildSnark>

REPLY Ekakytsat 2d Edited

我有兴趣看到更多明确涉及科学或技术进步的S型曲线示例/反例，比如飞行速度和太阳能部署的图表。由思想驱动的进步，以及在一定程度上资本投入驱动的进步，与生育率或流行病增长有着截然不同的特性。

我的研究经验告诉我，真正能推动一个领域向前发展的新想法非常罕见。通常，这些突破来自于早期阶段（低垂的果实）以及少数关键人物；投入更多研究人员和资金到一个问题上，大多只会带来渐进式的进步。因此，我对 AI 2027 的递归自我改进情景持怀疑态度——AI 研究人员真的能找到那些稀有的新想法，以持续提升自身的智能吗？换句话说，除非超级智能可以通过渐进式进步实现。

此外，<插入技术>的指数增长并不等于下游产品或人类效用的指数增长。例如：

• 飞行速度：使用超音速喷气式飞机将 6 小时的飞行时间减半，对门到门的旅行时间只是一种适度的改进。

• 太阳能板成本：在美国，太阳能的成本仍然很高，这主要是由于安装人工等非面板成本。

• 摩尔定律：计算机芯片的指数级改进并未带来我生活的指数级改善——主观上，它更像是线性趋势。

REPLY Stephen Pimentel 2d

S 型曲线绝对有可能拯救我们，而且有很强的论据表明它们很可能做到这一点。

我在本文中没有给出这些论据，但我会大致描述它们的形态。

我同意 Scott 的观点，即“所有指数最终都会变成 S 型曲线”这一事实，尽管是正确的，但本身并不能 *单凭此* 拯救我们。这一点很明显：如果一个由 S 型曲线描述的过程是有害的，那么该曲线可能在达到有害水平之上，而不是之下。

因此，任何相关的论点都必须基于特定的估计。

但更重要的是，这里并不仅仅涉及一个过程（“AI 进展”），而是许多过程，并且它们经常相互作用，从而增强抑制效应。过程呈现 S 型这一事实最终是相关的，即使不是以一种简单化、 strawman 的方式。

相互作用的 S 型过程可以产生比任何单一 S 型过程更强的抑制效应，因为它们的非线性敏感性在系统层面结合在一起。在级联过程中，每个阶段的有限响应性可能会累积，因此任何组件中的低增益区域都会抑制下游的变化。在乘法或门控交互中，一个较弱或饱和的低过程可能会成为整个输出的瓶颈。在负反馈下，耦合的 S 型曲线可以创建强大的稳定或稳态，更有效地拒绝扰动，效果优于任何单一过程。根据结构的不同，这种现象可以被描述为复合衰减、增益压缩、饱和诱导阻尼、非线性门控、反馈阻尼、通道化或稳健调节。

REPLY Seta Sojiro 2d

我对“指数增长”的问题是，你所测量的东西并不清晰地对应于智能。

模型仅在涉及输入字符串并生成字符串的任务上实现了指数级提升，但其实更加具体，它是指输入一个字符串并输出一个能够解决可量化问题的字符串，而这些问题与模型训练时遇到的问题有些相似。因此，它们在数学方面取得了指数级的进步，但在诗歌方面只略有提升（以最近的话题为例）。

这是一个令人印象深刻的成就，但它并不是全部的智能。对于分布外任务，进展几乎为零。你可以自己进行这个实验，让模型玩一种相对冷门的策略游戏，该游戏不在训练数据中。纯文本为基础。它们表现不佳，可能会做出非法移动（这是第一次尝试时可以理解的），但不像人类玩家每次游戏后会有所提高，它们即使玩了十几局也不会显著进步。它们无法在上下文中形成新的概念和抽象。

对于多模态任务，静态任务的进展也非常有限。它们在一些极其基础的事情上失败，比如从不同角度识别物体或追踪一条线的走向（https://spicylemonade.github.io/spatialbench/）。此外，学习和改进新视觉任务的能力恰好为零，这是由于架构限制——视觉 Transformer 使用固定的分词方式。图像被转换为分词（本质上是激进的压缩），模型只能处理通过该过程获得的分词。它无法像人类那样重新审视图像，也无法根据反馈以新的方式思考图像。

我的观点并不是说进展不能继续，但我们确实需要非常谨慎地衡量进展。如果你衡量错了东西，就会得到错误的结果。为了激发直觉，假设有人发明了一个新模型，基本上是上传了一位尚未学会编程的 MIT 大一新生的完整意识。按照定义，这个模型就是 AGI，但它会在 METR 和其他知名基准测试中失败。然而，它的长期潜力却远高于当前任何模型。

*原因在于，这就是它们接受训练的内容。可验证奖励的强化学习是使模型从 GPT 4 发展到 o1 再到 GPT 5.5 的唯一技术。

**如果你需要想法，请查看 https://www.boardspace.net/english/index.shtml

REPLY Lauren S 2d

对于每一个那种误判 S 型曲线的图表，我都可以向你展示一个相反的例子，来自能源和水资源规划领域，其中几十年的规划文件预测，例如城市用水需求将继续呈陡峭上升趋势，但每次实际需求的增长都比预测的要平缓。这种情况非常普遍，甚至有一个专门的名称：豪猪图。有一段 MIT 的 YouTube 视频展示了特别严重的例子。

但我认为这又回到了 Scott 的文章《反对泛化的反谨慎论》：“教训是：‘某件事最终会发生’并不算作一次失败的预测。”

REPLY fox 2d

在真正的无知条件下，默认假设应遵循林迪定律：平均而言，一个过程将持续的时间与其已经持续的时间相当。

这不是一个真正合理的推论。林迪定律并不是一个中性先验，也不是最大熵先验，而后者在“真正的无知”条件下会是一个更好的理论选择。林迪假设了一个与经过时间成比例递减的危险率，这意味着帕累托生存分布。这可能最终是人工智能趋势的正确模型，但无法从无知中得到正当化。

你也可以同样地假设一个无记忆过程，这会导致指数生存分布。在这种情况下，经过的时间对预期剩余持续时间提供非常有限的信息，生存主要更新的是危险率本身的后验概率。

而且由于人工智能扩展趋势是短暂的、一次性的且描述模糊的，因此从观察到的持续时间中实际可以进行的贝叶斯更新量相当有限。

REPLY netstack 2d

林迪定律的另一种表述方式：

“暂且假设我们处于一个S型曲线而不是指数曲线，那么你凭什么认为我们正处于右半段？”

沃顿模型是合理的；它至少有一个数据点将曲线拉低了。我看不到来自普通*argumentum ad bulla*（诉诸大众）的这种程度的证据。

REPLY Melvin 2d Edited

如果我们是在提出机制的话，那么我建议LLM范式尤其会在达到训练集所能提供的聪明程度极限时逐渐失去动力。

想象一个被训练在全世界所有四岁以下儿童每一句话上的LLM。它能够就恐龙说出很多内容，但它无论如何都无法讨论张量代数，不管投入多少计算资源或训练数据。LLM无法变得比输入给它的更聪明。

REPLY (1) Bob Bobberson 2d

我认为这可能是导致AI放缓的一个因素，但它不足以平缓进展。我预计我们会达到一个点，届时AI能够开始自主发展新理论并运行一些自己的实验。

REPLY Linch 2d

我之前做过一个更狭窄的论点，我非常喜欢：

对于一个实际上为S型曲线的指数曲线，“短期图表主义者立场”（这些趋势一直持续到时间t，所以我应该预期它持续到时间t+1）的一个优势在于，如果你一直坚持这个观点，最终你会恰好一次犯错。

而对于一个“短期图表主义者反对者”（这些趋势总是会打破，所以我预测它会在时间t+1打破）来说，如果一直坚持这个观点，最终你会恰好一次正确。

人们常常忽略了这里的简单计数论证。他们看到指数曲线最终必须变成S型曲线，因此他们会把后者视为至少有时正确的论点，而前者可能不正确。但现实情况是，统计上前者在大多数时候更有可能正确，尽管它有*某些*概率永远都不正确。

详见：

https://www.lesswrong.com/posts/s58hDHX2GkFDbpGKD/linch-s-shortform?commentId=ypMxgJqcA4j6XyvSh

了解更多。

REPLY K. Nikolas Renik 2d

也许人工智能就像电力：在某个时候我们觉得已经足够，于是大幅减少了新增容量。当然，更多的电力总是有用的，但其他考虑因素占了上风。现在又流行起更多电力了，但在一段相当长的时间里并不是这样。

我所说的限制可能是可满足市场需求。这也类似于疫情的发展方式。

REPLY Erick 2d

我之前读到过（抱歉现在没有链接）太阳能板曲线出现的原因是因为它们预测了“当前政策”下的情况，其中技术上许多现有补贴即将到期。它们无法考虑到补贴很可能会被续期的高概率，因为这是一个条件预测。推测的意图可能是向政策制定者展示如果不采取任何行动会发生什么。

REPLY Matt Reardon 2d

看起来AI S型曲线误判是最轻微的错误之一，而不是最严重的。它只是一个预测，只错过一个数据点！

REPLY Arthur Rock 2d

预计的数据中心增长几乎肯定不会按计划发生，原因包括美国建筑行业的典型缓慢（这将比平常更糟糕，因为霍尔木兹海峡关闭），可用能源的缺乏，以及可能还有公众的大规模反对。

对于能力方面，虽然我还没有看到OpenAI出现S型曲线（对我来说5.4和5.5的表现远好于5.1和5.2），但我对METR深感怀疑，因为我完全没有在Opus 4.6/4.7与4.5之间看到任何改进。鉴于他们的EA联系，我不相信他们能真正摆脱Anthropic的思想影响。

REPLY Kevin 2d Edited

值得一提的是，这比飞机曲线更能说明你的观点：利文斯顿图，它展示了粒子加速器的性能表现。一个很好的版本在这里：https://beamjockey.livejournal.com/137535.html。它显示了每种技术都会饱和并趋于稳定，然后新的技术出现。整体的指数增长是由持续的研发投资维持的。

（令人遗憾的是，这条曲线现在已经不再是指数增长了，因为科学资助机构大幅削减了对粒子加速器研发的投资。科学家们仍然渴望探索新技术，如等离子体尾场或缪子冷却，但在21世纪，我们最多只能获得象征性的支持。最可能的结果是我们一生中不会再见到粒子碰撞能量的进一步提升。）

REPLY Michael Goff 2d

那些是 sigmoid 基础预测失败的好例子（出生率、太阳能板部署、AI 模型能力），但最糟糕的 sigmoid 预测灾难莫过于 Hubbert 线性化。这一理论认为，一个油田、一个国家或全球范围内的累计石油产量遵循 sigmoid 曲线，因此可以通过当前累计产量曲线进行外推，以估算最终可回收资源。这一理念在 2000 年代中期至晚期尤为流行，当时正值“石油峰值”恐慌时期。我认为熟悉该运动的人不需要我来解释这种预测方法为何失败得如此严重。

摩尔定律是另一个好例子。半导体行业不断推出新成果，让悲观者措手不及，这些悲观者曾声称半导体的处理能力已接近实用极限。

简而言之，没有对系统底层动态的理解，仅靠曲线外推不过是数字玄学。

REPLY Petter 2d

从沃顿大学论文的摘要中：“我们的目标不是建立自己的严格预测，而是突出现有指数增长预测的脆弱性。”

https://arxiv.org/abs/2602.04836

REPLY (1) Taleuntum 2d

读完整个摘要后，我觉得这句话只是在回避问题。

REPLY XP 2d

AI 领域中的“sigmoid 将至”假设其实并不涉及数学、统计学或认识论。它基于 2023 年左右对 AI 当前状态和未来发展方向的感知，是一个完全合理的猜测：

“训练数据即将耗尽，合成数据不可行，指数级扩展意味着指数级增加的能耗和计算资源，这些资源要么不存在，要么无法负担；AI 显得聪明只是因为预训练阶段学到的模式；‘随机’预测本质上不如‘神秘’或‘扎根于现实’的人类智能。”

实际上，合成数据正在蓬勃发展，研究重点已大幅转向强化学习和微调。链式推理（CoT）意味着进一步扩大预训练规模主要在于增加事实知识和推理可以使用的认知基本单元的多样性。AI 效率提升非常显著——早期推理模型在显著成本下就能击败 ARC-AGI 1，但一年后 GPT-5.2 却能在 390 倍更低的成本下完成相同任务。

我们可能会在某个时候或很快耗尽低垂的果实，但目前，仅仅跟上文献的发展就显示出持续不断的技巧、窍门和巧妙优化，这些优化仍等待着被实现，比例在个位数到十位数之间。

REPLY MetaCortex Dynamics 2d

y 轴上的轨迹是具体的输出质量指标：METR 任务完成度、MMLU、GPQA、每 FLOP 的部署成本、参数数量。每个指标都有其自身的动态变化。林迪效应适用于特定轨迹层面。

将“AI 能力达到标记为‘高’的水平”归结为一个标量抽象概念是没有意义的。如果“高”意味着在基准测试 X 上达到人类表现，那么一些阈值已经跨越了。如果“高”意味着通用智能，那么这个阈值就没有实际意义，因为智能并不是机器可以积累的标量物质。

sigmoid 与指数增长的争论正是由此衍生而来。轨迹在具体数量层面是真实的；而整体则是解释性的叠加。林迪效应适用于轨迹，而不是整体。

REPLY ryop 2d

期待看到乔纳斯·索尔克及其子的相关引用，略感失望。

REPLY Alec Pritzos 2d

沃顿大学的 METR 拟合是最有帮助的部分，因为它给失败模式赋予了一个日期和一个名称。sigmoid 论点每次出现时都具有相同的形状，无论领域如何：匹配最近的放缓趋势，错过范式转变，然后三月后就被打脸。过程知识才是真正的约束条件；如果你能建模数据墙的解决办法和数据中心建设周期，你就有了真正的预测；如果你不能，林迪的七年就是诚实的默认值。对于 AI 怀疑论者的风险是对称的：在没有过程模型的情况下押注趋势，就像能源预测者每年都在太阳能部署上输掉的赌注一样。

REPLY Jesse 2d

跳过关于我们是否已经过了拐点的更广泛讨论（比如 AI 等）。

任何*正在增长*的事物都没有无限指数增长，所以它们都必须有一个更广泛的 sigmoid 曲线。

没有任何东西阻止指数增长在*收缩*时继续下去。

参考经典的放射性衰变。同样，也没有什么根本性的因素会阻止出生率降到零。

REPLY (1) Taleuntum 1d Edited

出生率降至零的可能性非常小。如果没有 AI，高生育率的子群体将在人口中占比越来越高，直到人口稳定（之后又开始增长）。人口崩溃的问题在于社会中老年人比例失衡带来的不良后果，但这并不是灭绝风险。

REPLY (1) Jesse 1d

可能性确实很小，但没有什么机制会因为与增长函数有关的原因而阻止这种情况发生。

但在指数增长的背景下，仅仅保持低于替代水平的持续出生率*就是*指数衰减。

REPLY stickfigure 1d

我认为我们已经在 AI 领域达到了 sigmoid 曲线。至少，在编程方面是这样。

我在一家大型软件组织工作，该组织正拼命试图成为 AI 优先的公司，资金方面官方上没有限制。我们获得所有最新的工具和无限的 token 预算。结果的质量大约一年前就趋于平稳了。它在逐步改进，但远不如过去那样有巨大飞跃。而且它仍然写出*糟糕*的代码。

我有一些理论来解释这个问题。大语言模型（LLMs）的问题在于上下文窗口相对较小。无论它们如何宣传（而且它们的宣传并不太多），在达到最大值之前，结果就会开始变差。大型代码库（在我的情况下大约是200万行）是毒药。不幸的是，在现实业务中，大型混乱的代码库才是常态。

人类由于神经可塑性，实际上拥有无限大的上下文窗口。也许未来的技术会赋予LLMs神经可塑性，但这不仅仅是对现有技术进行扩展的问题。突破性技术可能会出现，也可能不会。

我们人类喜欢将事物拟人化。地狱，如果你给一块石头加上一些闪亮的眼睛，我们也会把它拟人化。一个像我们一样说话的东西？我们无法避免认为它是人类智能。但事实并非如此。是的，它确实有智能，但它是一种不同的智能，具有不同的能力和限制。两者之间并没有一对一的重叠，而根据当前的发展趋势，我不认为这一点会改变。

REPLY BeyondInfinity 1d

S型曲线只是用对数刻度显示的线性图。

REPLY Audrius Berzanskis 1d

读起来很有趣。

现实中所有的指数增长最终都会变成S型曲线。真正的问题是何时发生。如果转折点发生在我的有生之年之外，那么对我而言仍然是指数增长。

很好的文章。谢谢。

REPLY Freddie deBoer 1d

实际效果在哪里？

REPLY MM 18h 编辑后

那太阳能部署图依赖于政府资金，所以当然会一直上升，直到资金耗尽。这需要一段时间，因为资金流动并不取决于现实世界中的任何因素。

它还严重依赖于中国准确报告已部署的数量，而这并不是一个非常安全的假设。

REPLY Donald 17h

这里有一个“任务长度”图。

问题是，这些任务长度现在已经达到了16小时。

然而，我可以在几分钟内完成ARC-AGI3测试，而AI还远未达到这个水平。https://arcprize.org/arc-agi/3

REPLY Tris Simondsen 11h

Scott，你坚持使用显式动态建模而不是懒惰的黑箱趋势线是有必要的，但这场辩论的整体框架——进步是指数、S型还是林迪定律的函数——被困在了一个反向的Track ID重置之中。

在安全关键型自动驾驶工程中，当传感器检测到物体状态或分类发生变化（例如从“未知”变为“车辆”）时，会发生系统性故障。而不是跟踪相变过程中的连续物理轨迹，分类模型会恐慌，清除过去的数据，并将Track ID重置为t_0。它在变化点破坏了历史记录。

你正在分析的预测模型则犯了完全相反的错误——当复杂系统经历根本性的结构相变时，建模者完全无法测量变化的离散点。相反，他们会在整个时间线上投影一条平滑的、完整的曲线（如S型曲线或林迪定律外推轨迹）。在自动驾驶汽车重置计时器为零的地方，预测模型却幻想着连续性。

这两种错误都源于相同的结构性缺陷——它们忽略了严格的运动=时间分析。

它们将时间视为图上的一个空独立坐标，而不是通过底层过程的物理操作状态转换严格测量的不变属性。无论建模者使用指数还是S型曲线，他们都是用优雅的数学抽象替代了有限信息的真实世界。当我们把不可观测、潜在的完成机制当作操作上已知的工具，只是为了使曲线闭合得更整洁时，我们不是在建模现实，而是在生成一种虚假的随机过程（SSP）。

S型曲线不会拯救我们，林迪定律也不会，因为数学被应用于一个信息状态不足的情况。

关于这种分类记忆丧失的正式工程取证以及惯性不一致背后的数学原理，请参见以下链接：

https://trissimondsen.wordpress.com/2026/04/28/inertial-inconsistency-and-the-spurious-logic-of-track-id-resets-the-amnesia-loop/

你怎么看？

REPLY Christopher 11h

嗯，这里林迪定律是如何起作用的？

S型曲线并不是一个“结束”的指数，而是一条起初接近指数曲线，然后缓慢偏离它的曲线（但不是在特定时刻，比如喷泉那样）。

REPLY (1) Guy 3h

自然的答案是拐点，即增长曲线从凸形转变为凹形的点。

REPLY Dan 知音 4h

你没有承认的一个测量问题是：空速是一个明确的离散物理测量值。而智能就不是。用于衡量LLM模型性能的基准测试是非常脆弱的构造。