What Deontological Bars?

Astral Codex 十 什么是义务论障碍？

... 2026年4月30日

约束结果主义者认为，你应该尝试做一些改善世界的好事，除非这些好事违反了严格的规则（“义务论障碍”）。

例如，你不应该暗杀民选领导人，即使是那些非常糟糕的领导人。为什么呢？因为糟糕的领导人会制定糟糕的政策，而糟糕的政策可能会导致成千上万的人死亡，这难道不是为了更大的利益吗？因为总有一个持枪者认为任何给定领导人的政策都是糟糕的，所以如果没有这条规则，每个领导人都会面临不断的暗杀企图，其中一些可能会成功，国家要么崩溃，要么退化成一个安全国家。

这个解释结合了两个子解释。首先，你对暗杀领导人是否会产生好的后果的看法是错误的——你认为它会产生好的后果，但实际上它会导致不稳定、暴政等。其次，你是正确的——也许你是一个出色的预测者，可以看到这次暗杀最终会以一位更优秀的统治者有序继位结束。但你知道，认为自己是这样出色的预测者的人远多于实际是这样的人，你或者使用外部视角怀疑自己也在欺骗自己，或者至少意识到唯一稳定的明确界限均衡是让所有人——真正的出色预测者和自以为是的预测者——都拒绝根据他们的显性知识采取行动。

“不要杀人”是一个不言自明的原则。还有哪些义务论障碍限制了我们的行为？

我最近一直在思考这个问题，因为人工智能安全运动内部存在一场辩论。有些人希望与最不负责任的人工智能实验室合作，帮助他们“赢得”这场“竞赛”，并希望比竞争对手更好地创造超级智能。另一些人则希望暂停或禁止人工智能研究——具体细节因计划而异，但假设他们已经考虑并写了一百页的论文来回应你明显的反对意见。不同的人对哪种策略更有可能有所帮助有不同的看法，而且有可能共存并同时追求这两种策略。但实际上，双方都有点担心对方正在打破义务论障碍。

一些致力于暂停人工智能法规的人认为，支持人工智能公司可能存在义务论障碍。这些公司竞相开发一种可能终结世界的潜在技术。如果一家公司的产品有90%的可能性终结世界，而另一家公司的产品有80%的可能性接管世界，给予资金/支持/鼓励给80%的公司似乎有点像是在支持邪恶。我不知道这个问题是否正是激发了某人在推特上发起的一项投票，询问如果你预测自己可以只比平均同事残忍90%，是否会成为集中营看守。这份工作会有好的后果，但是否有义务论障碍阻碍了你？

一些与公司合作的人认为，某些形式的大规模活动可能存在义务论障碍。在LessWrong.com上表现良好的论点不会给我们带来全国选举的压倒性胜利。这需要与史蒂夫·班农合作，与伯尼·桑德斯合作，与那些因为数据中心可能会建在他们后院（或由非工会工人建造）而讨厌数据中心的邻居合作，训练TikTok影响者制作关于人工智能危险的短视频，并在人工智能公司总部外举行抗议活动，喊着空洞的口号。所有这些事情都有更好的和更坏的方式去做，但一旦你铺设了欢迎垫，你就无法控制谁会来参加——每次有人试图创建一个基于和平非暴力的和平非暴力暂停人工智能运动时，它都会花费大量的资源来阻止那些想要加入的暴力疯子。

如果我知道义务论障碍是什么或它们来自哪里，我会更好地处理这场辩论。

一个常见的表述是“像你的准则将成为普遍法律一样行事”。这正确地重新推导出了暗杀的障碍，但在一些简单的情况下却失败了。例如，乌克兰应该废除其军队吗？如果这成为一条普遍法律，那将是伟大的——它将结束所有的战争，国家可以将其军事预算用于国内优先事项（或降低税收）。但单方面这样做将是灾难性的。但大多数道德决策都是单方面的，那么“像你的准则将成为普遍法律一样行事”的概念还剩下什么？

试图解决这个特定漏洞会让我们得到类似“不要成为第一个偏离普遍运作规范的人”。如果没有任何其他国家拥有军队或计划建立军队，那么单方面建立军队（并迫使其他人跟上）确实是不道德的。这也涵盖了我们的暗杀示例：在一个暗杀很少发生且发生时会被有效惩罚的世界里，你自己尝试暗杀是在偏离现有的规范。在另一个替代世界中，如果一方不断暗杀另一方的领导人，也许另一方有权加入而不是一直被背叛？

（这种表述的一个问题是很难操作化“通常运作的规范”。总会有人急切地想要找到一些迹象表明规范已经变得“非运作”，以便他们可以随意违反它。例如，特朗普总统最近遭遇了几次暗杀企图。我认为这并不会使反对暗杀的规范变得“非运作”，也不会授权共和党人进行报复性暗杀——即使特朗普被成功暗杀，我也不认为这会改变什么——但我确信某个偏执的人会有这样的想法。我不知道如何解决这个问题，可能需要常识。）

但这仍然不能让我满意。考虑一下：如果我认为传播错误信息会有好的后果，我是否应该在我的博客上这样做？也许如果我发现了一个非常有效的慈善机构，我希望你能捐款，我可以夸大其好处并最小化其缺点，使其看起来更有吸引力？没有人能一本正经地说存在一个普遍运作的规范来反对这种轻微的在线错误信息。但仍然似乎一个好的理论应该说我不应该这样做。

我所能想到的最好的是：“除非规范已经如此非运作，以至于你在合作而你的敌人在背叛，否则不要做那些如果普遍化会很糟糕的事情。”这允许乌克兰避免解散军队——他们会“合作”在一个如此非运作的“规范”下，以至于他们的敌人肯定会“背叛”并保持军队完整。但这并不允许我在我的博客上散布错误信息：其他博主可能也在散布错误信息，但这并不是针对我特别的背叛行为，而且如果我不跟进，这并不会注定我自动失败。

（尽管同样，这需要一些解释工作。假设我了解到，如果我传播更多信息，我会获得10%更多的订阅量，或者我的政治优先事项会获得10%更多的选票/捐款，并且这直接是因为其他传播更多错误信息的博主正在与我竞争并获胜。那么现在怎么办？我认为我必须得出结论，这还不足以证明打破规范是合理的。但如果不是10%，我怎么知道提供合理性的数字是多少呢？并且我真的相信，在达到某个数字后，它会从禁止变为允许吗？）

这条规则在这两个我真正感兴趣的案例中表现如何？

“不支持一家AI公司”的规范似乎已经被彻底打破，因为现在有许多拥有数万名员工和数百亿美元投资的AI公司。似乎也没有其他团体在限制支持那些我们将在支持最负责任的AI公司时背叛的不负责任的AI公司。因此，我不确定在这种情况下“不打破未破裂的规范”的假设下还剩下什么——尽管我也注意到这也会证明接受稍微不那么残酷的集中营看守工作的合理性。

（为了拒绝集中营看守的工作，我认为你必须强烈承诺按照每个人都遵循你的规则行事，即使你知道这并不真实——但这样一来，我们如何处理军事裁军的例子？）

政治行动运动稍微复杂一些。一方面，“不要使用大众政治手段来实现你的目标”是一个令人印象深刻的非运作规范！很难想象比这更不运作的规范了！另一方面，如果暂停AI运动最终变得像最肮脏的现有政治运动一样肮脏（不过我确实认为他们远没有接近这一点），那么根据定义，他们并没有打破规范——我们假设某些现有的运动已经如此肮脏！但仍然感觉不对劲。也许相关的门槛是“不要比平均水平更糟”？或者“不要比你的具体政治对手更糟，这些对手在这个案例中是Leading The Future、Chris Lehane和Marc Andreessen，所以你可能没问题？”

我认为这都是站得住脚的，目前我认为任何一方都没有违反其特定的义务论门槛。

当然，早期基督教策略是忽略这一切并在每种情况下都做正确的事，包括单方面裁军。但他们不能一直这样下去，对吧？

订阅《天狼星编码十》 斯科特·亚历山大 P(A|B) = [P(A)*P(B|A)]/P(B)，其余都是注释。 通过订阅，您同意Substack的服务条款，并确认其信息收集通知和隐私政策。 234 赞 ∙ 11 重排 前一篇 下一篇 447 条评论 约瑟夫 4月30日

当然，早期基督教策略是忽略这一切并在每种情况下都做正确的事，包括单方面裁军。但他们不能一直这样下去，对吧？

我的意思是，也许不会。时间会证明一切。现在还没有结束。

这个想法很有趣，但基于迄今为止的成功来批判策略的问题在于我们不知道结局是什么时候。我认为比较策略并尝试理解它们的优势并不无意义，但现在还不是结局。

回复 (3) 安东尼CV 4月30日

经验上，基督徒并没有坚持单方面裁军。特别是：十字军东征和宗教裁判所。他们最终回到了和平的方式。

回复 (6) 狄俄尼索斯 5月1日

你甚至不需要走得那么远。第一个基督教罗马皇帝谋杀了他的妻子和儿子。即使按异教徒的标准来看，这也相当糟糕！

回复 (1) 托尼扎 5月1日

技术上讲，君士坦丁当时还不是基督徒。他是在临终床上正式皈依的。

回复 (1) 拉格纳拉赫 5月1日 已编辑

他在临终前受了洗。当时的标准做法是尽可能推迟洗礼，以最大化其效果（减少洗礼后犯下的罪孽）。新约圣经对此观念有些冲突，但康斯坦丁在世时，新约正典甚至还没有最终确定。

几乎所有的历史学家都承认他在25年前就已皈依。虽然可能存在一些残留的兼融主义元素，但你不会声称看到天空中有一个燃烧的十字架写着“以此符号你将征服”而不立即皈依那个拥有十字架的宗教，这不符合任何事物的工作方式。

回复 (1) TonyZa 7天前

即使在米尔维安大桥之后，康斯坦丁仍然作为大祭司向众神献祭，使用占卜，并铸造描绘异教神灵的硬币。

我们可以说康斯坦丁首先在他的多神崇拜中加入了基督教的上帝，然后在他生命的最后阶段完全且唯一地成为了基督徒。

有趣的是，我关注的一个YouTube频道刚刚发布了一段关于“伟大的君士坦丁异教硬币”的视频。

回复 Austin Fournier 5月1日

那并不算早。十字军东征大约发生在基督教开始后的1000年。而宗教裁判所则是在此之后又过了半个世纪。斯科特提到的是第一世纪，或者可能是前几个世纪，那时基督教正受到罗马帝国的迫害。

回复 (2) AnthonyCV 5月1日

是的，*斯科特*提到的是一个更早的时代。我回复的那个评论说：“也许不是，时间会证明一切。现在还为时过早。”显然他们不再谈论早期的基督徒了。

回复 (1) Austin Fournier 5月1日

我明白了，这说得通。

回复 Little Librarian 5月1日

早在那之前，基督教国家就已经组建了军队。

当你是一个小派系并且对军事政策没有任何影响时，宣扬单边裁军很容易。但当你是国家时，情况就完全不同了。

从康斯坦丁皈依到奥古斯丁的正义战争理论之间的间隔非常短。在这段时间内，罗马并没有解散它的军队。

回复 thewowzer 5月1日

因为基督徒属于基督，而不是基督属于基督徒，只有那些遵循基督命令的人才是真正的基督徒。其他人只是亵渎神灵。这个问题在有基督徒之前很久就已经存在了。正如新约中的《罗马书》中所说：

那么，既然你在教导别人，为什么不在自己身上教导呢？你告诉别人不要偷窃，但你自己却偷窃吗？你说奸淫是错误的，但你自己却奸淫吗？你谴责偶像崇拜，但你是否使用从异教寺庙偷来的物品？你自夸了解法律，但你通过违法来侮辱神。难怪经文说：“外邦人因你们而亵渎神的名。”

回复 (1) AnthonyCV 5月1日

我对质疑谁是“真正的”基督徒不感兴趣。圣经也明确指出，我们都犯了罪，达不到我们的理想和神的命令。

回复 (1) thewowzer 5月1日

确实如此，这也是罗马书中的一部分。不过，鉴于你对基督徒及其行为发表了评论，你对实际基督徒的行为与冒牌货之间的区别不感兴趣似乎不合逻辑。如果真是这样，你最初发表评论就没有意义了。更不用说你的评论是以“实证”这个词开头的。

回复 (1) AnthonyCV 8天前

我认为，如果将“基督徒”作为一个历史群体的术语使用有意义的话，那么只有在将其应用于一个可识别的群体而非该群体内的散乱个体时才有意义。在这种情况下，我不能不将它应用于从康斯坦丁皈依到宗教改革期间的天主教徒。如果你认为我所称的“基督徒”群体中的许多人深陷迷途，我对此没有异议！如果你想要像切斯特顿那样说基督教一直被认为难以实践，我也无异议！但是，特别排除自称基督徒的最大群体，在考虑的时间段内，这一群体的比例更大，我认为这是一种明确的非苏格兰人定义。

回复 Ch Hi 5月1日

即使在罗马帝国时期，他们也没有坚持下去。康斯坦丁有很多基督教支持者。

回复 The Ancient Geek 5月2日

那么，早期的基督徒是和平无力的，然后基督教变得强大而不和平，之后又失去了权力而再次变得和平……？

回复 (3) AnthonyCV 8天前

是的。

回复 Viliam 6天前

这可能是许多宗教进化的模式。

回复 Charles Krug 6天前

有权势的人似乎有一种惊人的能力，能够获得当地神灵对他们所选择的政策的支持。

一个愤世嫉俗的人可能会怀疑这更多地与有权势的人的愿望有关，而不是与任何特定宗教的教义有关。

回复 Nancy Lebovitz 5月2日

十字军东征并不是早期的基督教。我不知道划分界限在哪里，也许是第一个世纪或两个世纪。

回复 (1) AnthonyCV 8天前

当然同意。

回复 TGGp 5月1日

莱曼·斯通正确地指出，早期的基督徒比斯科特给予他们的评价更为暴力。https://lymanstone.substack.com/p/the-rise-of-christians-mobs-moms

回复 (2) WSCFriedman 5月1日 编辑

阅读莱曼·斯通的文章触发了我的历史胡言乱语感应。特别是他链接的来源对于他声称菲利普阿拉伯是基督徒的说法真的非常不支持他的加粗声明：

在康斯坦丁近一个世纪之前，基督教的思想领袖已经认为政治中的基督徒应该公开宣战反对异教崇拜。

我不确定这是错的，对我来说似乎相当合理，我只是认为他声称引用的任何来源都无法证明这一点。他在做那种脆弱的逻辑推理链，每个单独看起来都有道理的事情，他对日本和中国的大多数说法似乎同样没有根据。没有独立研究，我不会也不信任他说的任何话。

回复 (1) SMK 5月1日

在文本中他讲述的故事中，这当然也是没有根据的。认为一位基督教皇帝不应该“参与异教仪式”（所有基督徒都被禁止这样做）和认为从政治角度来看，他应该取缔这些仪式之间存在重大区别。

两者都可能是正确的——我绝对不知道——但他需要区分并提供证据支持他所需要的那一个，而他并没有做到。

回复 Deiseach 5月1日 编辑

啊，读了那段话并查找了他的资料后，我的即时反应是：

(1) 他是一名路德宗信徒？意料之中！反天主教的残留思想，因为一旦提到“君士坦丁”这个名字，“他通过将早期纯正的基督教与国家捆绑在一起而使之变质”的宗教改革话题和“这就是罗马天主教发明的时候，那不是基督教！”的观点就出现了。

(2) 好吧，现在他跳上了他的兴趣爱好，并且疯狂地跑开了。“不，基督教的成功不是因为X、Y或Z，而是因为我的理论！”

基督徒高生育率是他们的获胜策略，这是为亲生育运动工作的人说的。哇，你竟然这么说？所以他们成为基督徒与之无关，只是因为他们（咳咳，让我在这里嘲讽一下）对女性实施性别歧视父权压迫，强迫妻子们光着脚怀孕，并通过婚内强奸让她们每年生一个孩子？这就是你的观点吗，Lyman？🤣

“异教徒低生育率，基督徒高生育率

……我有大量前所未有的证据，表明基督徒确实比例较高，拉丁语使用者（尤其是低社会地位的拉丁语使用者！）在2世纪/3世纪确实生育率较低，而基督徒很可能生育率较高，这不仅是因为他们吸收了埃及高度生育的文化规范。”

老兄。老兄。关于女性和低社会地位基督徒的“前所未有的证据”？天啊，我以为我生活在岩石下！不过话说回来，他作为社会学家合格，我不应该太苛责他不了解基本的历史内容。

编辑：另外，Lyman，不是要贬低你，但不是埃及的高度生育文化规范，而是反堕胎观念。他们不杀害女儿，不遗弃新生儿，甚至四处捡拾垃圾堆上的弃婴，想象一下！

https://www.reddit.com/r/AskHistorians/comments/99o3oy/romans_usually_left_the_unwanted_babies_in_trash/

顺便说一句，我以前从未听说过阿拉伯的菲利普是皇帝，但令我羞愧的是，我对六帝之年及其各种技术上只当了九天皇帝的继任者并不熟悉。我从未见过任何声称他是第一位基督教皇帝的说法，所以对不起，Lyman，我认为你在追逐这个兴趣爱好。

回复 FractalCycle 5月1日

破产：我们不能轻易判断策略在其结局之外的效果。

觉醒：我们正以许多指标（由你或其他人使用）进入或明显走向许多潜在文明的“结局”，从气候变化到人工智能，再到民族政治和（取决于你的宗教）中东预言。

定制：你可以大致根据人们和群体的战略思维是否处于“结局模式”来建模，有点像Burja的活演员与死演员。例如，死演员加上非结局思维可能是“像2010年那样进行政治竞选活动”，结局与非结局可以导致分歧，比如谁是超人类主义者与非超人类主义者等等等等政治和社会群体。

回复 亚当·史密斯 4月30日

@丹尼尔·穆尼奥斯 你有责任去阅读并评论这个 😎

回复 (1) 塞尔吉奥·迪亚兹 4月30日

哦，是的，请！ 😂😂🙌🙌

回复 丹尼尔·穆尼奥斯 5月1日 编辑

@亚当·史密斯 - 预计明年会有一篇完整的论文和一篇帖子。我正在着手做一些事情……

回复 (1) 亚当·史密斯 5月1日

这不是我预期的回答！你行的。

回复 奥利弗·索伯特 4月30日

有一些区别需要区分“行为”和“政策”（政策描述了在给定上下文/情况下如何行动，它是决策规则）。在这两者之间有不同程度灵活性的部分政策。我认为军备问题可以通过将你希望普遍化的规则视为（在很大程度上）一种“政策”（可能类似于“在多边可能的情况下解除武装，不要首先升级，寻求缓和立场和行动，…”）来解决。

这种区别也可能解决一般情况，不确定。

回复 (1) 史蒂文·波斯特雷尔 5月1日

这对结果主义者来说是一个重要的区别。例如，已知分布下的基本顺序搜索理论建议了一个最优停止规则——继续搜索直到找到比阈值更好的东西。这看起来像是一个“满意”的行为，但如果停止值选择得当，该政策就是最优的。

然后你可以思考如果计算最优停止值的成本很高，那么最优元政策是什么。如此等等，在一个潜在的无限层次结构中。

回复 (1) 萨克拉什·巴贝洛 5月2日

是的，但如果你把一切都写出来，它又回到了义务论。尽管这是一种比圣经准确的犹太法律更复杂的义务论。

回复 纳森·梅茨格 4月30日

每次有人试图创建基于和平非暴力的和平非暴力暂停AI运动时，它都会花费不成比例的资源来阻止那些想要加入的暴力疯子。

这并不正确，而且自信地声称这一点显得很奇怪。实际上，阻止疯狂的人进入所需资源非常少，无论是绝对数量还是相对数量上都是如此。超过零，但真的没那么糟糕。

回复 (3) Scott Alexander 5月1日 作者

StopAI的创始人疯了并且失踪了，攻击Sam Altman的人试图加入PauseAI的一些活动，但不得不被踢出去，PauseAI的人似乎花了很多时间大声谴责暴力，并且在他们的网站上有许多部分强调暴力有多坏。

回复 (4) TGGP 5月1日

StopAI的创始人疯了并且失踪了

是谁？我之前没有听说过这样的事情。

回复 (1) Cjw 5月1日

Guido仍然活跃并发布推文，去年夏天还参加了一些抗议活动，属于老派的非暴力行为。在Altman事件之后，他重新承诺继续这种行为。就像Emile Torres一样，他有时会因为各种后人类主义言论而转移目标攻击LW/理性主义者类型和Yud，尤其是Yud说过的一些条件性陈述，这些陈述发生的概率极低，如果AI发展不好，这些情况永远不会发生。因此，他似乎为了看似毫无意义的事情疏远了许多可能的盟友。但我仍然喜欢这个家伙，他很好。

Sam必须是那个失踪的人，我不知道具体情况，但他去年年底表示“不再与StopAI有关联”，从那以后我就再也没有见过他的消息。

回复 (1) TGGP 5月1日

我不认识Guido或Sam。

回复 (1) Cjw 5月1日

你问的那个组织的联合创始人。

回复 (2) TGGP 5月1日

他们的姓氏是什么？

回复 (1) Zyansheep 5月1日

Guido Reichstadter 和 Sam Kirchner

回复 (1) TGGP 5月1日

谢谢。

回复 Level 50 Lapras 5月1日

在AI背景下说“Sam”确实很令人困惑。我以为你是指Sam Altman。

回复 Nathan Metzger 5月1日

关于Stop AI我无法多说什么；他们有自己的特殊问题。至于大声谴责，我认为最近的推文比例高是因为需要回应那些攻击，即使这样，这也只占到运行倡导组织总努力的一小部分。我不知道多少才算过分。也许5%的总资源？那太荒谬了。

这是一个非常重要要解决的问题，但一旦建立了规范，它也不是一个消耗大量资源的问题。对于PauseAI美国来说，我们结构上已经显著降低了这一风险。我们就是不让暴力狂人跟进来。如果他们尝试，我们就让他们走开。如果志愿者表现不佳，我们就把他们踢出去。这不是一个特别难解决的问题。

当然，如果你在寻找不做倡导的理由，想象这是一个令人衰弱的问题是很吸引人的！

回复 (1) Deiseach 5月1日

如果他们尝试，我们就让他们走开。

如果他们拒绝这样做呢？这是公共街道，他们有和你一样的权利行走，他们不是你的抗议者，他们在进行自己的抗议，等等？

回复 (1) GrimMoar 5月1日 编辑

在BLM期间，在我的城市里，有人捡起街上的标志砸向警车。一群妇女包围了那个人，并说：“你敢这样做，那是我们的警车！”你可以物理封锁并大声阻止某人做令人反感的事情（好吧，除非是Tim Walz的妻子在镜头前谈论燃烧的建筑物时近乎高潮地自我兴奋……对此，解决方案似乎很简单——下线，永远不要再让这位疯狂女士上电视）。

如果没有成功，那就证明你能比愚蠢的人走得更快更久（这通常对城市安全是有好处的）。

回复 (1) Randall Randall 5月1日

如果相关视频是https://x.com/GrageDustin/status/1820847003271639392，我认为我们对她的态度有不同的看法。但她提到了燃烧轮胎，所以可能有另一段视频？

回复 Desertopa 5月1日

我认为最后一个问题，即不断大声谴责暴力，与其说是防止疯狂的人进入的努力，不如说是防止自己被敌对外部人士解读为支持暴力的努力。考虑一下Eliezer尤其受到指责，尽管他公开否认支持暴力措施来防止AI灾难。无论他在公开场合多么强烈地否认支持暴力措施，显然这还不足以防止人们认为他在支持暴力。

回复 (1) Shankar Sivarajan 5月1日 编辑

尽管他公开否认支持暴力措施。

这个人说话前后矛盾。他说他从未说过“轰炸数据中心”，但确实说过“通过空袭摧毁一个流氓数据中心”。他从未主张使用武力对抗敌人。但他确实主张可信地威胁使用武力，以使对方遵守你的要求，从而不需要实际执行。此外，只要暴力是可以预测的，这就不算作“暴力”。

你可以理解为什么一个原本对他没有好感的人可能不会欣赏这些微妙的区别。

回复 (3) Desertopa 5月1日 编辑

公平地说，可以将其解释为一种“暴力”来使用武力强制执行条约规定的AI研究控制措施，但我认为这几乎需要已经对他的立场持负面态度，或者信任那些对他的立场持负面态度的人来报告他的意思，才能这样解释。同样地，我们可以说一个人支持核不扩散条约就是在“提倡暴力”。毕竟，实际执行这些条约需要暴力威胁。

回复 (2) Shankar Sivarajan 5月1日

当然，如果我的朋友托尼用棒球棍打断了你的膝盖骨，并且认为这是反意大利歧视，那就不是暴力。

REPLY (2) Desertopa 5月1日

我认为暗示有一个法律条约禁止某些行为，而这些行为理论上可以通过暴力来执行，就等同于“鼓吹暴力”，这未免太过狡猾。同样地，提倡任何法律都等同于提倡暴力，因为所有法律最终都是通过政府力量来实施的。

REPLY (2) GrimMoar 5月1日

卡莫拉在某种程度上作为影子政府运作，支持它就是“鼓吹暴力”。

（插入亚速或哈马斯或真主党，如果名字让你反感的话。）

REPLY (1) Ch Hi 5月1日

称其为政府并不能改变它的本质。称其不是政府也不能改变它的本质。

如果某个实体（不一定物理上）通过武力或武力威胁控制一个地区，那么它就是在行使政府职能。（即它通过促进某些行动和阻止其他行动来进行治理。就像涡轮机上的调速器。这个词是一样的。）

REPLY ragnarrahl 5月1日

*同样地，提倡任何法律都等同于提倡暴力，*

是的，确实是这样。

REPLY Deiseach 5月1日 已编辑

嗯，我认为埃利泽喜欢他那些虚构的小情景，在这些情景中，他扮演着神秘的权威和智慧的大师形象，有时他会大声说出这些情景，但他并不真的意味着“呼叫空袭”，这只是他在序列中关于领导的秘密诺斯替训练的一部分，古时的智者可以通过神秘的诺斯替技巧拥有政治权力，从而实现这一点。古时的智者不是国王，而是像黎塞留或塔列朗那样操纵国王和皇帝的人。

REPLY (3) Bugmaster 5月1日

“难道没有人能帮我摆脱这个动荡的数据中心吗？”

REPLY Randall Randall 5月1日

<<他并不真的意味着“呼叫空袭”>>

当然他指的是这个。即使你个人认为呼吁条约执行和呼吁恐怖袭击之间没有区别，你也应该承认大多数人认为这两者是非常不同的暴力形式。

REPLY UlyssesB 5月1日

不，在[https://www.lesswrong.com/posts/5CfBDiQNg9upfipWk/only-law-can-prevent-extinction]中，他明确表示如果朝鲜建立了一个不受监控的数据中心并拒绝停止，他希望政府呼叫空袭。

REPLY Gary Mindlin Miguel 5月2日

实际上，国际条约是一个有趣的案例。根据Opus 4.7，“《不扩散核武器条约》本身没有任何内置惩罚措施。没有条款规定‘如果你违反了这个条约，X会发生。’’执行是间接的、政治性的，而且普遍被认为是该条约最弱的特征。”而朝鲜违反了它却没有受到任何暴力对待。

REPLY Cjw 5月1日

这就是我们如何通过条约和国际规范来执行对大规模杀伤性武器开发的限制。我们通过空袭摧毁一个流氓国家的核研究设施。人们认为我们也会以同样的方式摧毁数据中心。

“轰炸数据中心”与“通过空袭摧毁”的问题在于，前者可能在无上下文的情况下被解读为破坏是由流氓行为者造成的，而“通过空袭摧毁”则非常清楚地表明这是某个国家在某种可识别的国际法和规范体系内采取的行动。“尤德说我们应该轰炸数据中心”可能会（并且已经被）解释为他认为像我这样的普通人反对AI应该去轰炸它们，尽管他明确表示这样做不会有效或正确。

如果你甚至反对对一个流氓国家使用空袭来执行条约条件，通过摧毁他们正在研究危险技术的地点，那么你真正的问题是人工智能被类比为核武器/大规模杀伤性武器控制，而不是用词。

REPLY (2) Shankar Sivarajan 5月1日 已编辑

鉴于他的信念，他主张暴力是完全可以理解的。我也希望对很多人施加极大的暴力，纯粹出于个人怨恨，甚至没有假装是为了防止世界末日/人类文明的终结等等。

我唯一的反对意见只是在他声称自己没有呼吁暴力时的虚伪，尽管他非常明确地呼吁了暴力，只是对看起来的样子有些审美偏好。

REPLY (1) Cjw 6天前

我在检察官办公室工作了15年，在我要求逮捕令的数千次中，我没有将其描述为“呼吁暴力”。但所有的国家行动要么是暴力，要么是暴力威胁，当然，*我要求逮捕的某些人并没有乖乖投降。尤德的观点是，在我要求的逮捕令和非扩散制度的执行中，这种暴力是“可预测的、可以避免的”。标准是明确提出的，使用武力的行为提前可见，实际上不得不实施暴力是不希望发生但完全可以避免的后果。

你们一直坚持认为，任何相信人工智能会毁灭物种的人都应该支持“广泛的暴力”，因为你知道公众不喜欢这个观点，这会损害反人工智能运动。尤德和其他人反复指出，即使从严格的功利主义分析来看，暴力行为也不会导致避免没有国家权力（或其他类似的东西）支持的事情，而他们并不支持这一点，但你们非常坚持将这一立场简化为过于宽泛的“正当化暴力”，作为一种修辞手法，试图让人们对反对人工智能的看法更容易忽视。

这可以出于自私的自利心来证明是合理的，但除非可能是“弱肉强食”的自然法则，否则它无法通过道德或伦理论点来证明是合理的。

回复 (1) 布伦丹·理查森 7天前

不，“流氓国家”有红*脸颊*。

回复 杰弗里·索雷夫 5天前 已编辑

尽管我咬紧牙关说出这句话，但一个国家在其战争能力范围内倡导暴力与非国家行为者倡导暴力是有区别的。“通过空袭摧毁一个流氓数据中心。”听起来更像是前者而不是后者。

（作为一名希望看到AGI的人，我不支持这种使用战争能力的方式，或者，老实说，任何形式的‘暂停’，尽管我认为像纽约的RAISE法案那样的测试透明度提案是合理的。）

回复 慢日子 7天前

有人提到Zizians吗？

回复 (1) Viliam 6天前 已编辑

Zizians似乎很好地说明了你不能让足够坚定的疯子远离你的运动。

Zizians与理性主义社区之间的联系在于（1）Ziz参加了CFAR研讨会，或者可能是多次研讨会，以及（2）Ziz在理性主义社区成员中招募人员。

如何防止这种情况？理论上，CFAR可以对每个潜在的研讨会参与者进行心理筛查——但这似乎太过分了，而且据我所知，其他类似的组织也不这样做。之后，你无法阻止一个疯子住在旧金山湾区，或者接触社区中的其他人。

2019年，Zizians抗议反对CFAR，并且有人报警。

然而，当2022年Zizians开始杀人时，维基百科以其无限智慧决定称他们为“理性主义者”。

换句话说，一旦一个疯子参加你的研讨会，即使他们公开声明他们恨你，当几年后他们做了一些坏事时，维基百科仍然会描述他们是你们的一员。

（作为类比，想象一下如果唐纳德·特朗普的维基百科页面一开始称他为民主党人。考虑到他在2001年至2009年的会员身份，这实际上更有道理。Ziz只参加了一个CFAR研讨会，这显然使他们永远成为理性主义者。）

回复 约翰 5月1日

我从未参加过任何形式的政治抗议活动——如果你去的话，你会肯定发现有几个完全不合拍的疯子，他们从未被邀请，却不知何故出现了。

回复 (3) Out Of Distribution - antb 5月1日

当然。

这并不意味着处理起来非常困难。

这是参与行动的必要成本，但正如内森报告的那样，这并不是特别耗费时间和金钱。有时你会受到声誉损害。你需要投入一些资源到背景文化和个人应对措施中以减少这种损害。

背景：我全职为Pause AI志愿服务，但巧合的是，我也是一位老朋友，他后来创立了Rising Up和Extinction Rebellion。

回复 内森·梅茨格 5月1日

我参加过几次不同规模的抗议活动（包括我自己组织的一个很小的），并没有直接遇到任何有问题的疯子。我相信他们经常出现，需要有一个应对计划，但显然不是每次都会出现，而且这仍然是一个可管理的问题。

如果你认为抗议活动很糟糕或什么的，你应该直接说出来，而不是编造理由不想参与。

回复 (1) 约翰 5月1日

我不认为抗议活动很糟糕，也没有编造理由不去参与。我只是指出，一旦抗议活动达到一定规模，完全避免疯子出现是绝对不可能的。没有国王、妇女游行、科学大游行、为了生命而游行、BLM等所有这些活动100%都有完全疯狂的人（希望他们在旁边）出现，你需要找到一种方法来应对这个问题，而不是简单地说这很容易，不是问题。

回复 (1) 内森·梅茨格 5月2日

斯科特混淆了在一家试图建造可能杀死所有人的东西的公司工作的明显邪恶，与形成包含令人反感的人的广泛联盟以保护人类的共同利益。他无谓地附加了一部分关于保持疯子远离是多么困难的内容，以此传达他对行动主义的厌恶。

小丑管理是一件实际需要关注的事情。但这并不意味着这是一个巨大的不可管理的问题，应该阻止人们参与。购买汽车意味着要花时间保养汽车。但这并不意味着要花费“不成比例”的时间在汽车保养上。这种语言（以及称简短而有用的口号为“空洞”）是用来吓退人，而不是清楚地传达你要面对的是什么。

大多数说这些话的人（内森当然也包括在内）只是认为行动主义是一种低地位的活动，他们害怕想到与普通人交往并赋予他们改善世界状态的权力所带来的个人社交后果。

这就是我在这里争论的。傲慢和怯懦，以及夸大实际上是可以管理的问题，以此掩盖这种怯懦。

回复 (1) Straphanger 6天前

有一种社交媒体公式，你去任何大型政治集会，找到那些疯子，然后让他们对着镜头做或说些疯子般的事情供所有人围观。这之所以有效是有原因的。在任何足够大的开放公众集会中，都有很多怪人——尤其是在涉及某种情绪化话题时。大规模运动是必要的，但精英主义也是合理的。喜欢在复杂主题上进行智力辩论的人通常会觉得站在人群中反复喊“加油！”有点尴尬。社会需要有人去养老院换尿布，但这并不意味着这工作有趣或光彩。

回复 Ch Hi 5月1日

如果他们没出现，可能会有一些反对派的秘密成员。

回复 约翰 5月1日

或者政府！

回复 Deiseach 5月1日

“实际上，从绝对和相对的角度来看，只需要很少的资源就能把那些疯狂的人拒之门外。”

我刚刚听了本地电台的早间脱口秀，在那里，一些新芬党的成员正在接受关于他们参与最近的燃油抗议活动的问题，并被问及是否愿意与来自新的极右翼政党以及有虐待动物前科的人站在同一个平台上。

这比你想象的更难，要把这些不合适的人排除在外。

回复 (2) GrimMoar 5月1日

是的，让右翼来决定“我们想要哪些极右翼政党”是一回事（他们可能会承认这一点）。但处理“来自精神病院的实际疯子”或“有前科的人”则是另一回事，这些人会积极地隐瞒他们的前科（因为这些前科是可耻的，或者仅仅是因为它们不相关，而他感到不安）。

回复 Nancy Lebovitz 5月2日

现在瞄准暴力的人和有不光彩历史的人之间可能有很大的区别。

回复 plasmarob 4月30日

基督教基于直觉的圣灵信仰与氛围密不可分。理性主义者们意识到，你不能简单地凭直觉做出正确的理性计算！

永远不清楚你是在改善新成立的社会工人工党整体的工作，还是永远不应该卷入其中。

对于AI安全实验室协会也应如此，人们应该看到这个问题的一般性。

一如既往，写得非常好！

回复 (2) Scott Alexander 5月1日 作者

你能解释一下“需要大量的智力工作”和“应该凭直觉去做，无法理性计算”之间的对比吗？

回复 (3) Oliver Sourbut 5月1日

我不知道等离子体的想法是什么，但有人可能会认为美德伦理学建议通过大量的实践、反思和智力投入来培养好的品质，从而使得一个人的直觉和行为都是好的。

回复 (1) Scott Alexander 5月1日 作者

我仍然认为“美德伦理学”作为一种某种虚伪信号，它从未扎根于任何特定的立场，而是因为它没有实践“美德伦理学”，所以可以自鸣得意地觉得自己比别人优越。我已经尝试阅读有关美德伦理学的书籍，但我仍然不明白它不是这样的。

回复 (1) JamesLeng 5月1日

我怀疑这是因为你的冷静和理性的光环导致的采样偏差。美德伦理学相当于IRS计算机中仍在使用的COBOL，或者https://thecodelesscode.com/case/234。它优化了在高压力和低工作记忆条件下快速提供答案的能力，因此每当后果主义有足够的交换空间给出答案时，它都会给出更好的答案，使基于美德的回答显得半生不熟。对你来说，这似乎是一个奇怪的边缘情况，但许多人生活在“没有思考空间”的条件下，几乎全职如此。

至于涉及的大量努力，考虑人工智能训练运行与推理的区别。培养适当的美德可能是一个漫长的过程，涉及多年的自我反省、消化标准数据集以及来自同伴或导师的个性化反馈；然后，一旦习惯固定下来，在那一刻应用它们几乎不需要任何自觉的注意力。

回复 (1) Michael Watts 5月2日

旁注：

（1）我一直对荷马史诗中隐含的神灵行动模式感兴趣。

背景神话包括一些非常明显的行动，比如把人变成石头。但大多数归因于神灵的行为都非常合理。神灵做的事情包括引发疾病、引导投射物击中或错过目标，以及以其他人听不见/注意到的方式与人交谈。

（2）《塔兰流浪者》这本书中有一个场景一直留在我的记忆中。

塔兰是个弃儿，他离开家乡去寻找自己的出身。他遇到了一个农民克雷多克，克雷多克声称自己是塔兰的父亲，多年前因为某些原因把他送走了。作为读者，我们知道克雷多克在撒谎，但塔兰加入了他的家庭并帮助经营农场。

但他感到沮丧。这个农场对他来说像是死胡同。他想冒险。

有一天，克雷多克从悬崖边摔了下来，受了重伤。塔兰面临着要么试图救他，要么不救的选择。这很危险。

书中告诉我们，塔兰考虑到如果他只是抛弃克雷多克让他在雪中死去，那将解决他所有的麻烦，而且没有人会对这个决定说三道四。没有必要为了救一个必死的人而牺牲自己。书中还写道：“他似乎听到自己的声音说出这些话，他羞愧地听着。”

最终，他决定尝试救援，因为他不想成为一个做出另一种选择的人。

关于这一点，我想到了这种史诗式的信仰，即神灵以一种只有自己能听到的方式与你交谈。我可以想象一个文化，在这种文化中，防止塔兰做出自私选择的抗体依赖的不仅仅是他承认即使这种选择有明显的利益且没有明显的缺点，他仍然应该牺牲自己……更多的是塔兰认识到那些不受欢迎的想法根本不是他的想法，而是邪恶神灵试图欺骗他的谎言。

也许拒绝反社会的想法更容易，如果你有一个方便的替罪羊来把这些想法归咎于。

REPLY Pjohn 5月1日

我认为“on a dime”是一个表达，意思是“微不足道”的事情？

（* 免责声明：我不是美国人，主要是根据上下文推断的）

如果是这样的话，Plasmarob 并没有说“应该用直觉来做”或“不能计算”，而是说“就是用直觉来做”（由遵循良心的基督徒来做），以及“不能简单地计算”（由试图凭空推导伦理原则的理性主义者）。我认为在这两件事上，Plasmarob 同意 Scott 的现有观点？

REPLY (1) JamesLeng 5月1日

https://en.wiktionary.org/wiki/on_a_dime

（美国，惯用语）在非常短的距离内；特别是，在非常有限的空间内敏捷而精确地突然完成。

REPLY plasmarob 2天前

当然！

你点头认可了基督教策略。

我说的是会有时候你会处于生死攸关的局面，这会考验你的义务论标准，而你没有时间像我们在网络长篇讨论中那样做出理性的计算。

一些硬问题，比如你描述的人工智能问题，需要大量的智力工作，但人工智能可以在任何时候出现并问你一个问题！有些事情必须依靠直觉来完成，我们只能在事后理性地计算我们的决定是否最佳。

我认为早期基督教策略应该是通过感觉，道德直觉。

三个（好吧，四个）例子——政治、人工智能和实际的家庭紧急情况：

1) 假设你是一名支持某一方的政治人士，受邀去见一位你认为会做很多恶事的世界领导人，这会导致很多人死亡。在访问期间，令人惊讶的是有人试图给你递一件武器，并说“去做”。你会怎么做？不到4秒人们就会看到。你可能会死或者永远入狱。零反应时间。真正的电车难题不会给你一天的时间来辩论。

2) 人工智能。一旦你向一家你认为不太可能创造邪恶的技术公司捐款，可能就没有回头路了。你需要等待多久才能看到那80%或80%的概率？2B) 假设你正在用你输入的每一个数据训练一个人工智能。你应该花多少时间来确定每个提示或每个数据输入的长期后果？答案不是零，但你的义务论标准需要多理性，多清晰化？（关于你不希望人工智能做的事情）

3) 家庭中常见的一个遭遇是中度受伤。每位父母最终都必须决定是否值得叫救护车送孩子去医院。我见过家庭因为频繁这样做而破产。如果你的孩子头部受伤并且开始流血，多少血才算太多？我很惊讶其实并不算太多，我曾与附近的一名护士一起处理过这个问题。你不想因为不必要的医疗费用而毁掉家庭的未来，保险也不完全覆盖这些费用，但这毕竟是你的孩子，他们的生命可能危在旦夕！多少血算是足够严重的需要叫911？

所有的义务论标准最终都会被打破。尤其是不杀人的标准，不仅在战争中如此，而且因为在某些情况下，如果有人持械闯入你孩子的卧室窗户，这种情况在美国经常发生，根本无法打电话给警察来解决我的道德困境。

这是一个时间问题，每个场景都是不同的。义务论标准只是经验法则。也许其中一些是道德原则，但“做正确的事”比我们想象的要变化更多，在那一刻，你所能依赖的只有祈祷和自己的品格和经验。

REPLY Deiseach 5月1日

“基于圣灵的直觉”

我不认为这是圣灵的神启神学，但我不是专家。

REPLY (2) Pjohn 5月1日 编辑

我认为这是一种相当公平的方式来描述天主教对良心运作的看法吗？一种天生的、神圣启发的本能？

（我也不是专家，但你可以直接从天主教教义书中读到，第三部分，第一章节，第1777至1782节。无论你如何看待天主教徒，他们肯定有迄今为止最好的API文档。https://www.vatican.va/content/catechism/zh/part_three/section_one/chapter_one/article_6/i_the_judgment_of_conscience.html）

REPLY (2) Dan 5月1日

虽然过于简化，但你所描述的良心是合理的；错误在于将其与圣灵的行为混为一谈，这在良心的审慎判断中不一定起作用。

REPLY John N-G 5月2日

教义书紧接着的段落集中在良心的适当培养上。这个首要概念与“自动的”和“内置的”截然相反。

REPLY Ch Hi 5月1日

这真的取决于你引用的是哪位神学家。记住，“手淫是对圣灵的罪”，但其他人则赋予它完全不同的意义。这就是无根比喻的结果。

REPLY Stephen Pimentel 4月30日

正确的做法是忽略所有这些，每种情况下都做正确的事情，这绝对不包括像单方面军事裁军这样愚蠢的事情。

我对约束功利主义能否合理构建没有意见，但它也是错的，就像（常规）功利主义和义务论一样，它试图将两者杂糅在一起。

REPLY (2) John M 4月30日 编辑

关键点在于很难知道什么是正确的事情。即使你是义务论者，不同的人有不同的义务论，那么谁是对的呢？如果你声称人们应该仅仅遵循他们特定的义务论，这可以证明几乎任何事情，所以我们又回到了起点。

REPLY (1) Stephen Pimentel 4月30日

我同意知道什么是正确的事情很难。我的观点是，无论是功利主义，还是义务论，还是像约束功利主义这样的混合体，都无法正确解决这个问题。

REPLY (2) John M 4月30日 编辑

你说：“正确的做法是忽略所有这些，每种情况下都做正确的事情。”我的问题是，如何知道在每种情况下该做什么？

回复 (2) Nathan Metzger 1日

选择对你来说最正确的哲学，如果它不再显得正确，那么在这种情况下忽略它并做你觉得正确的事。

许多可怕的事情都是以一致性之名做的，即使简单的直觉、基本的道德感和常识都指向相反的方向。道德不是一个可以解决的问题，所以不要只因为一个而忽视所有其他准则！

回复 (1) John M 1日

人们也因为只是做他们认为正确的事而做了许多可怕的事情。曾经大多数人都认为奴隶制是正确的。正是那些质疑这些本能的人让我们超越了那个时代。

回复 (2) Nathan Metzger 1日

承认道德创新很重要。（不过，嗯，那时候人们基本上已经知道奴隶制是不好的。奴隶们明显不喜欢它。）

当你日常生活中时，你基本上只是按照你觉得正确的方式行事。如果你被说服有更正确的事情，那很好！但是，对于那些生活严格遵循固定规则的人来说，道德创新是不可能的。

回复 (2) John M 1日

那时的人们并没有意识到奴隶不喜欢奴隶制意味着奴隶制是错误的。他们认为那些奴隶是坏的，因为他们违背了上帝、贵族、高等种姓或优越种族赋予他们的正当职责。

回复 (2) JamesLeng 1日

例如，在内战前的南方花费大量精力大声向彼此保证这些事情，这可以被视为到那时为止，这实际上相当明显。当职业生涯取决于这样做时，人们会故意忽视显而易见的事实。

回复 (1) Jeffrey Soreff 4天

例如，在内战前的南方花费大量精力大声向彼此保证这些事情，这可以被视为到那时为止，这实际上相当明显。

虽然我本来就不太喜欢伦理系统，但我不认为这是一个强有力的论点。

大致上说，Reddit上的许多人花了很多时间大声向彼此保证烧死恋童癖者和亿万富翁是正确和恰当的事情。这是否证明这两种做法都不对？或者两者都不是？或者其中一个而不是另一个？

我认为这只是表明了哪些Reddit社区标准得到了关注，仅此而已。

回复 (1) JamesLeng 4天

尽管这是一个棘手的哲学问题，我不指望在评论串中完全解决它，我想指出的是“实际现实世界中的实践相对普遍性”似乎是一个关键的区别因素。在内战前的南方有许多真正的奴隶，整体经济影响巨大，而亿万富翁私刑则主要是理论上的。

回复 (1) 继续讨论 → 慢日子 7天

让我们再退一步考虑，当奴役是比死亡更仁慈的选择时。

回复 数学 1日

“嗯，那时候人们基本上已经知道杀死动物是不好的。动物明显不喜欢它。”

回复 (1) Nathan Metzger 1日

你说得对。

回复 Xpym 1日 编辑

如何知道什么是正确的事来遵循这个？

通过使用他们所有的理性能力。当然，这可能仍然不够，但在每种情况下简单地走捷径肯定是不行的。如果有这样的捷径，千年的道德哲学努力早就找到了它。

回复 (2) Ch Hi 1日

仅仅依靠理性不能定义正确的行为。你需要一套公理作为推理的基础。问题是人们的“公理集”通常偏向于自己的利益。因此，组织试图用不同的公理集取代它们，这些公理集有利于组织的利益。

回复 (1) Xpym 2日

除了通过理性，你怎么确定正确的公理？

回复 (1) Ch Hi 8天

理性必须基于某些东西。它不能存在于真空中。欧几里得挑选了一些传统上被认为是正确的，他无法怀疑的东西作为他的公理……还有一个（平行公设）他认为必要，但他不确定。从这里他构造了一个平面几何的合理证明。（好吧，好吧，很多是他报告别人的工作。但他将其组织成一个合理的证明系统。）

同样，符号逻辑基于一组特定的公理，这些公理不能通过推理得出，但必须根据喜好选择。（即，“所有”是否暗示“有些”的存在……查尔斯·道奇森认为是这样，并以此假设写了《符号逻辑》，但我们决定那是错误的，所以我们现在的逻辑规则不同。

非欧几里得几何使用与欧几里得几何不同的公理。它们适用于各种不是平面的表面。

你需要根据你工作的条件选择公理。加两个云可能会给你一个云。

回复 (1) Xpym 8天

它不能存在于真空中。

显然？

你需要根据你工作的条件选择公理。

...显然是用理性选择的。

回复 (1) Ch Hi 8天

也许你应该定义一下你所说的“理性”。我一直把它当作逻辑的同义词，但你似乎指的是其他东西。我不知道是什么。

回复 (1) Xpym 7天

字典中对“人们用来思考和做出明智判断的能力”的定义似乎足够好了。逻辑是一部分，但绝不是全部，甚至不是大部分。

回复 (1) 继续讨论 → stewbasic 5天

你所谓的捷径，其他人可能会称之为利用从这些千年哲学努力中提炼出来的洞察力。这并不能免除较少的思考，但从头开始做每件事是次优的。

回复 (1) Xpym 4天

是的，我不同意最初评论者的说法“忽略所有这一切”。这些捷径有它们合适的位置，而且至少有一点可以肯定：千年的哲学努力未能完全解决伦理问题，这应该让我们对轻易接受大规模新突破的主张持谨慎态度。

REPLY TGGP 5月1日

那么，有什么理由相信任何替代方案会更好呢？

REPLY Scott Alexander 5月1日 作者

哦，好吧，就“做正确的事”吧。这就像是说“不需要学习微积分，只需要在每次微积分考试中写下正确的答案”。

REPLY (4) Stephen Pimentel 5月1日

Scott，我引用那句话时确实是照搬了你的话（你帖子的最后一段）。那不是我的措辞。

REPLY (1) Scott Alexander 5月1日 作者

是的，但我试图推导它！告诉我哪一个是对的，并且你怎么知道：

• 军事裁军

• 拒绝参与大众政治

• 拒绝为一家人工智能公司工作

• 刺杀一位糟糕的美国总统

• 刺杀希特勒

REPLY (2) Don Geddis 5月1日

嗯……“只做正确的事”的一种版本是：“道德”只是快速而粗糙的经验法则。希望找到一组简单的规则，这些规则易于理解，一致，可以应用于所有情况，并期望它们能迅速引导你到不会后悔的行为。但所有实际的哲学尝试构建这样的伦理规范似乎最终都会出现不一致、模糊性，或者至少反对者可以构造一个令人不安的假设情境，让你的道德规范看起来不再吸引人。

但你可以放弃寻找简单统一且易于理解的普遍规则。相反，接受每个情境都是独特的，人类的偏好可能并不完全一致。

你所做的就是简单的决策理论。在每一个决策点上，看看你可用的行动，估计每个行动的可能后果以及可能导致的结果世界中的概率质量分布，并选择最大化你预期效用或整体幸福的行动。停止寻找“做正确的事”的经验法则总结，而是对每个独特的情况从（你的）基本原则进行全面评估。

也许存在太多不确定性，无法做出自信的决定。也许你不知道自己在不同可能未来世界之间的偏好。如果是这样，不用担心！但是，当你明确更喜欢一个概率质量而不是另一个时，就在那一刻选择那个行动。

不要担心你一生中的全部决策是否可以用简单的逻辑一致规则来描述。

REPLY (1) TGGP 5月1日

所以，类似于行为功利主义？

REPLY (1) Don Geddis 5月1日

非常接近！但任何时候你试图用一句简单的话来概括所有的决策，你都会容易受到奇怪假设的影响。行为功利主义通常寻求“最大的净幸福”——但如果拒绝聚合，认为两个不同个体的幸福不可比较，或者你认为你和你的家人比陌生人的福利更重要（对你自己的行为而言），或者你追求的是“最大多数人的快乐”……但这样你就会陷入可憎的结论？

所以我实际上是在认真对待这一点：不要试图用一小段话来总结道德。甚至不要寻求全局一致性。只需独立评估每个场景，并为该特定场景进行自己的决策理论计算。

REPLY JamesLeng 5月1日

根据《天马行空》RPG中的美德伦理系统（明确地说，这绝对不是我在现实生活中使用的系统，但恰好定义得很好，方便举例）……

• 单方面军事裁军违背了勇气和可能的信念

• ……但双方协商一致的裁军，或在不存在立即生存威胁的情况下单方面降级，得到了节制的支持

• 故意使用误导性信息进行政治活动明显违背了节制

• 违背誓言违背了节制，抛弃需要帮助的盟友违背了信念，但参与（或近距离被动观察/容忍）暴行违背了同情心，因此成为集中营守卫、末日炸弹工厂工人，或其他进入不可避免地需要直接参与可怕事情或很快辞职的情况下的工作人员，会让你走上失败的道路，所以不要踏上这条路（理论上相对于其他人来做这件事，防止的伤害并不考虑）

• 刺杀自己国家的领导人是叛国，因此坚定地违背了信念和节制

• ……但如果同情心和/或勇气表明他的残忍和无能是不能忍受的，应通过适当的法律程序进行追除

• 刺杀你目前处于战争状态的国家的领导人可能得到了信念的支持，如果计划涉及大胆的英雄冒险，还可能得到勇气的支持，如果对方明显参与了暴行，还可能得到同情心的支持

虽然不完美，但似乎涵盖了基本要点。

REPLY TGGP 5月1日

我在数学课上因为没有展示解题过程而被扣分。

REPLY Xpym 5月1日 编辑

区别在于我们知道微积分在适当定义的情境下有效，而没有任何已知的伦理学方法是有效的。

REPLY (1) Ch Hi 5月1日

那么，“我们只知道微积分在适当定义的情境下有效。”如何？很容易误用。

REPLY (1) JamesLeng 5月1日

你可以给三个几乎没有任何共同点的人同一个微积分问题，如果其中两个人得出相同的答案而第三个人不同意，那么可以非常有信心地认为第三个人犯了错误，并且一旦指出就会收回自己的答案。有没有一个同样清晰和一致的伦理框架？

回复 (1) 迈克尔·沃茨 5月2日

你可以给三个几乎没有任何共同点的人同一个微积分问题，如果其中两个人得出相同的答案而第三个人不同意，那么可以非常有信心地认为第三个人犯了错误，并且一旦指出就会收回自己的答案。

这完全不对。设置一个问题来利用常见的错误并不难。在这种情况下，无论大多数人得出正确答案还是“错误”的答案，都完全取决于你选择了哪三个人。你总是可以选择那些会犯错的人。你事先就知道他们会犯错。

回复 自力更生 7天

我注意到功利主义者（以及某种程度上的其他结果主义者）似乎认为伦理是一个可以解决的问题，就像微积分一样可以被发现。因此，出现了对严格性的孤立需求：在采取或证明伦理决策之前，找到正确的决策方式。但在我看来，没有理由认为伦理可以以这种方式解决，也没有人像人们学习微积分那样“学会伦理”。在不存在微积分的情况下，“只要写下正确答案，从之前回答这个问题的人的成功或失败中吸取教训”是一个很好的方法。

回复 潘提·明 4月30日

如果能帮助防止人类灭绝，我很乐意与班农、桑德斯、邻避主义者和其他任何人合作——因为这个问题比任何其他可能的问题都更重要：无论某人关心什么问题，在没有人类和因此没有人类关怀的情况下，所有这些问题都是毫无意义的。

回复 (3) 塔普蒂兹 4月30日

肯定有必要与中国共产党合作，甚至可能进一步与弗拉基米尔·普京、金正恩和伊斯兰革命卫队合作。这也显然是值得的。在假设中，如果真的需要与波尔布特合作以避免灭绝，我会这样做（尽管实际上一场政权更迭战争可能是更好的选择）。

回复 (1) 亚历山大·图罗克 4月30日

这很有趣，因为——很少有人知道这一点——美国确实曾与波尔布特合作以对抗越南。在他去世前他说：“当我死后，我唯一的愿望是柬埔寨仍然是柬埔寨并属于西方。共产主义已经结束，我想强调这一点。”

回复 斯科特·亚历山大 4月30日 作者

你需要更复杂的东西，否则它允许暗杀等行为。

回复 (3) 潘提·明 5月1日

一切都必须根据具体情况决定，倾向于智慧和谨慎。例如，尤德考斯基说过，在极端情况下，他认为一个支持AI安全的联盟轰炸拒绝遵守的国家的数据中心是可以接受的，我也同意。

人类所珍视的事物只有在有人类存在时才被珍视。如果没有人类，宇宙中可能没有任何事物具有价值。这相当于负无穷大的效用值，因此（几乎）任何其他事情都更好。

回复 (5) 潘提·明 5月1日

详细来说，考虑是否暗杀萨姆·奥尔特曼。我反对这样做。

为什么？不是因为它本质上是不道德的。当真没有真正的道德时，怎么可能呢？（https://pontifex.substack.com/p/there-is-no-true-morality）因此，没有什么是本质上道德或不道德的。

但是，大多数人反对谋杀，所以暗杀看起来不好，这会削弱事业，因此是一种糟糕的策略。

人类有一种直觉的物理感，这对他们作为物理问题的起点是有用的，即使它不能完全解决问题。类似地，道德是直觉博弈论，对于理解（半）理性行动者之间的协调问题是有用的起点，即使它本身不能解决问题。

回复 工程创造者 5月1日

一切都必须根据具体情况决定，倾向于智慧和谨慎。例如，尤德考斯基说过，在极端情况下，他认为一个支持AI安全的联盟轰炸拒绝遵守的国家的数据中心是可以接受的，我也同意。

你觉得轰炸中国的数据中心，很可能因此引发第三次世界大战，这是“倾向于智慧和谨慎”吗？

回复 (1) 潘提·明 5月1日

是的。第三次世界大战不如人类灭绝严重。

回复 (1) 杰弗里·索夫 4天

顺便说一句，我个人不同意。我珍视人类的智力成就，我认为这些成就很可能在超级智能接管后继续存在，但我认为在第三次世界大战中失去它们的可能性很高。当然，我更希望<来自虚构的证据>文化思维将人类当作宠物</来自虚构的证据>而不是这两种情况中的任何一种。

回复 (1) 魔法九蘑菇 4天

第三次世界大战几乎肯定会杀死不到一半的人类，维基百科肯定会通过在电磁脉冲屏蔽中的硬盘存活下来。其对人类的影响既非永久也非特别持久。

回复 (1) 杰弗里·索夫 4天 编辑

谢谢！

a) 死亡人数相当不确定。如果真的发生核冬天，可能会有更大比例的人死亡，尽管声称这会使人类灭绝的人是错误的。

b) 是的，维基百科的副本可能确实会存活下来，至少是暂时的。

我的观点是，我们目前的全球经济有许多长而脆弱的供应链。从未受到过任何接近核战争这样的破坏。各种关键基础设施所需的大量类型的替换部件会突然变得无法获得，即使是在从未被针对的地区。

长期问题在于许多元素的最富矿石已经被开采殆尽。我们拥有一个运转中的全球经济，可以经济地从仅含 0.5% 铜的矿石中回收铜。（这对主要造岩元素，特别是铁和铝来说不是问题，但其他所有元素都会面临这个问题。）

我的零阶猜测是，无目标工业经济体将因非目标供应商和客户死亡而立即作为经济体失败，然后无目标区域将以缓慢的方式逐步失败，因为不可替代的组件逐渐磨损。我预计长期结果会留下幸存者作为一个自给农业经济，可能有钢铁，但由于缺乏富矿石和容易获取的化石燃料，我们将永久陷入困境，这些资源曾帮助我们启动了工业文明。

REPLY (1) magic9mushroom 3天前 编辑

“核冬天”

实际上是由反核活动家发起的一个极其成功的骗局。灾难性的计算基于假设摩天大楼是由木头建造的（它们并不是），并且这些建筑中的木头会全部变成烟灰进入高层大气（大量木头需要燃烧成二氧化碳才能使剩余部分炭化，并且大部分炭化物要么留在地面，要么从火积云中落下）。

全面核战争可能会消除人类迄今为止所造成的一半全球变暖。

然而，被毁的城市本身可以用来提取这些元素，而且比我们第一次使用时更好的来源。只有化石燃料实际上是可消耗的，工业革命始于水力发电（此外，我们离煤炭枯竭还很远；许多现有的露天矿再次比挖掘它们更容易开采）。此外，工业革命艰难是因为我们需要早期版本的技术能够运行；我们不会失去知识，因此我们可以立即使用更高效的技术。

（Toby Ord 在《险境》一书中对恢复的可能性进行了更深入的探讨，我记得。）

REPLY (1) Jeffrey Soreff 3天前

非常感谢！关于“核冬天”的观点——1991年海湾战争期间撤退的伊拉克部队点燃油田产生了某种规模的小规模测试效果，但我记得冷却效应虽然可见，但并未支持（适当规模的）“核冬天”预测。

然而，被毁的城市本身可以用来提取这些元素，而且比我们第一次使用时更好的来源。

这适用于钢铁，可能也适用于铜，也许还适用于金。对于其他任何东西都不太适用。技术倾向于将稀有元素以小量嵌入制造出来的物体中。例如，垃圾填埋场中含有各种物品，包括一些笔尖含有铱的笔。即使在有一个完全运转的经济和化学工业的情况下，我们现在也无法经济地提取这些物质。第三次世界大战后的情况会更糟，无法回收这些物质。同意原子本身不会消失，但在低浓度下分散在一个被摧毁和烧毁的城市中几乎同样糟糕。我家里的 LED 灯中有镓，但如果我家在核交换中被摧毁和烧毁，从废墟中提取镓实际上并不可行。

此外，工业革命艰难是因为我们需要早期版本的技术能够运行；我们不会失去知识，因此我们可以立即使用更高效的技术。

有些是这样，有些则不然，有些取决于事情的具体细节如何发展。我认为我们不会（至少最初）失去元素周期表或卡诺效率的知识。但很多技术依赖于操作机器的操作员的隐性知识，这些知识通常只存在于少数地方，很容易丢失。我们自己就有问题重新启动已经封存多年的生产线。

REPLY (1) magic9mushroom 2天前

这适用于钢铁，可能也适用于铜，也许还适用于金。对于其他任何东西都不太适用。

观点有一定道理，但钢铁、铜和玻璃（我们不会用完玻璃）足以支持像 1930 年代那样的技术水平。

REPLY (1) 继续讨论 → Bugmaster 5月1日

他同意对拒绝遵守规定的国家的数据中心进行轰炸，我也同意。

所以 Yudkowsky 和你选择全球热核战争而不是人工智能，因为全球热核战争会有更多幸存者？

REPLY (1) Ponti Min 5月1日

我不能代表 Yudkowsky 发言，但我可以代表我自己发言。在我看来，未对齐的 ASI 很可能会杀死所有人，因此比核战争更糟糕。

你可以限制对持不同意见国家（例如中国）的破坏程度。你可以确保在你的首次打击中只使用一小部分导弹，只打击数据中心并尽量减少对城市的损害等。你可以明确表示如果他们进行报复性打击，他们的整个国家将被彻底摧毁，但如果他们不这样做，他们会得到大量的帮助来重建受损的基础设施（当然不包括 AI 数据中心）。

在某种程度上，遗憾的是我们现在面临这个问题，而不是在比如说 1990 年代，当时自由民主制度无疑处于顶峰，那时重要国家更容易达成协议。然而，我们已经到了这个地步，“我不愿意从这里开始”并不是一个计划。

REPLY (1) Bugmaster 5月1日

所以听起来我的问题的答案是“是的”：你选择发动全球核战争，但你认为可以做到这一点而不导致相互确保摧毁。

我理解你的计划在你的世界观中是有道理的；但是你能想象一个尚未完全支持你事业的人会如何看待这个计划吗？

回复 (2) Ch 你好 5月1日

他没有说文明会幸存。只是说（人类？）生命会幸存。

如果你接受他对 ASI 结果的信念，那么这是一个合理的决定。我倾向于认为概率低于 40%。

回复 magic9mushroom 4天

事实上，我认为可能避免两者，但当然，比喻意义上的世界末日总比字面意义上的世界末日好。

但你能想象一个尚未完全支持你事业的人会如何看待这个计划吗？

对于那些接受尤德科夫斯基神经网络观点的人来说，这真的无关紧要。你不能与现实讨价还价；你做必要的事情，否则你会死。愿意为了实施禁令而发动战争是使其奏效的必要组成部分，而禁令奏效是避免我们所有人死亡的唯一方法。显然，我们需要做一些工作来创造这种意愿，但似乎没有更好的选择。

回复 (1) Bugmaster 4天

嗯，是的，如果你绝对确信你的事业是正义且至关重要的，那么很自然地，你会愿意不加限制地使用任何手段来达到目的。毕竟，相对来说，其他一切都无关紧要——所以带来火与剑吧！

问题是，从历史上看，~100% 的像你这样的人（或者说尤德科斯基）都被证明是灾难性地错误的，通常以巨大的人力代价。所以我不会很快加入你；如果我发现你在获得权力，我会试图阻止你（尽我那微不足道的能力）。但如果你连我都无法说服，你怎么能说服商人和政客呢？

回复 (1) magic9mushroom 4天

我们不需要说服商人，只需要说服政客和某种程度上的警察。如果商人们继续在政客禁止后建造 AI，他们可以被警察逮捕。

说服政客很难，不过。

回复 (1) Bugmaster 4天

警察确实倾向于看不起末日信仰运动，这是好事，我认为。

回复 Scott Alexander 5月1日 作者

“一切都要根据具体情况来决定，偏向智慧和谨慎。”

我说的是我不信任这种行为功利主义，或者至少如果没有某种非常强大的“智慧和谨慎”的操作化定义，它就会退化成这种行为功利主义。这就是我在这里试图讨论的问题。

回复 (1) Cjw 5月1日

我相信尤德最近关于这个话题的评论是这样的：“结果主义者是对的，但绝大多数人不够聪明，无法成为结果主义者，因此他们会犯很多错误，所以他们应该成为义务论者。”不是带有义务论门槛的结果主义者，而是出于谦逊和谨慎的纯粹义务论者。某位在兰德公司的人可以处理这种核情景下的多少兆人死亡的问题，决定军队是否存在的那种人可以这样做，但乔·普通人不应该尝试暗杀候选人，因为如果这种情况变得普遍会很糟糕。伦理学并不需要普遍化。

就我个人而言，我只是努力成为一个我希望成为的人，各种道德规则和分析模式只是作为快速启发式和护栏存在，但在极端情况下，它们中的任何一个都可以打破。（虽然有些规则随着时间会成为一个人身份的一部分。）面对生死威胁或尊严和自我形象的彻底毁灭，我可能会打破几乎任何规则，但几乎肯定是在我早已认为可以接受的自我一部分的方向上。

回复 Ch 你好 5月1日

说“一切都要根据具体情况来决定”显然是正确的，但这并不能提供决策的基础。每份数学问题也是如此……但决策的基础来自外部上下文。（例如，是整数乘法还是矩阵乘法？）

所以“一切都要根据具体情况来决定”是远远不够的。

回复 Nathan Metzger 5月1日

没有人需要有一致的道德哲学。你只需要有偏好和策略并采取行动。是的，可以与班农和桑德斯合作。不，不允许暗杀。大功告成！如果有更多困惑，你可以提出更多问题，直到我们集体对什么是可接受的、什么是不可接受的形成直觉。但大多数情况都涵盖在“不要愚蠢”和“不要糟糕”之中。

回复 (4) DJ 5月1日

尤其是在政治方面。虚伪几乎是根深蒂固的。

回复 TGGP 5月1日

道德哲学家乔纳森·丹西（演员休的父亲）因“道德特殊主义”的观点而闻名，他认为没有一般规则。他用幽默作类比，说没有一般规则可以判断什么是有趣的。https://www.youtube.com/watch?v=qHH9WiHNhv4

回复 Shankar Sivarajan 5月1日

为什么不呢？允许暗杀坏人。不允许暗杀好人。大功告成，更多！

回复 (1) Ponti Min 5月1日

但每个人都会用动机推理来说“我这一方是好人，对手是坏人。”

回复 (1) Shankar Sivarajan 5月1日

好吧，正如另一个人所说，这听起来像是一个你可以通过提出更多问题来解决的困惑，直到我们集体对哪一方是好人、哪一方是坏人形成直觉。

回复 (1) Ponti Min 5月1日

是的。

总的来说，我认为杀人是坏事，因此在这样做时应该非常谨慎。

回复

除非这些人碰巧在不符合条约的数据中心工作？或者……基本上在任何城市地区，如果核战争是某些升级的可预见结果。

REPLY (1) Ponti Min 5月1日

如果计划奏效，很可能不会有核战争。

REPLY (1) JamesLeng 5月1日

“只要这个庞大且备受争议的国际项目能够顺利进行，我们可能就不会悲惨地死去，”这不是一个好的计划初期阶段所发出的声音类型。[https://acoup.blog/2020/06/19/collections-the-battle-of-helms-deep-part-viii-the-mind-of-saruman/]

REPLY (1) Ponti Min 5月1日

好吧，那你的更好计划是什么？

REPLY (1) 继续讨论 → EdwardP 5月1日 已编辑

啊，但是我们如何决定哪些问题是合法的，哪些是不合法的？问题在于人们有无数的偏好。

REPLY Oliver 5月1日

我认为大多数暴力行为都被简单的功利主义阻止了，这很少是一种有效的策略。暴力行为的实施者很少会拥有对暴力的垄断权，因此即使暴力行为是经过深思熟虑的，增加暴力也会使情况变得更糟。

REPLY Bugmaster 5月1日

我认为你的评论很好地说明了为什么一个人应该将预期的结果价值限制在大陆规模，最多（理想情况下远低于此）。否则，你最终会说出这样的话：“因为我正在为全人类/太阳系/宇宙努力，没有任何原因比我的更重要，因此我的目的可以证明任何手段都是合理的”。从数学上讲，这是一个完全正确的结论。但从经验上看，它永远不会带来净正面的结果。

REPLY (1) Ponti Min 5月1日

在许多情况下我同意。然而，不受约束的人工智能是一个前所未有的人类面临的问题。正常的规则不能适用。

REPLY (2) Bugmaster 5月1日

是的，当然。这就是其他所有人也这么说的原因。每个人都有某种他们认为是人类面临的最大问题，无论是人工智能还是罪恶，甚至是特朗普。而且很容易说，“但当然所有其他问题都是假的或夸大的，只有我的才是真正的。”每个人都会这么说。这就是为什么你需要那种预期价值限制的经验法则。

REPLY (1) Ponti Min 5月1日

显而易见，人类灭绝比罪恶或特朗普更糟糕。罪恶自人类存在以来就一直存在，坏领袖也是如此，但它们都没有导致人类灭绝。现在，有了人工智能，人类有能力导致自己的灭绝，这是我们以前没有的能力。

REPLY (1) Bugmaster 5月1日

显而易见，人类灭绝比罪恶或特朗普更糟糕……

天哪，“显而易见”对谁来说？如果我是一个信奉地狱的犹太教或基督教神学家，我会说罪恶是一个更严重的问题。如果人工智能杀了你，如果你是无罪的，你会上天堂并体验永恒的幸福。事实上，人类不会灭绝，因为世俗生活只是通向永恒的序曲。但如果你是有罪的，那么你将在地狱中永远受到折磨！这比仅仅缩短你在地球上的短暂停留时间几年更糟糕；甚至比停止存在更糟糕；这是一种实际上无限负面的效用！你肯定不应该浪费时间在人工智能上，而是应该悔改！

REPLY (1) Ponti Min 5月1日

那不是基督教神学的工作方式。工作方式是所有人都有罪，但如果你真诚地向神请求宽恕，你会得到宽恕。对于人类而言，没有罪是完全不可能的。

REPLY (1) Bugmaster 5月1日

首先，基督教神学的数量几乎与基督徒一样多。肯定有许多基督教派别相信通过信仰、行为或更神秘的方式得救。他们唯一能达成一致的是其他人的信仰都是异端。其次，基督徒并不是唯一相信地狱的人。

但更重要的是，我可以想出一个实际上无限的场景集；人类在过去5000年里一直在这样做。模拟统治者、真空崩塌、恶意鬼魂、共产主义、法西斯主义、社会主义、气候变化、马尔萨斯崩溃、诸神黄昏、启示录，每个人都有一个他们认为会毁灭人类（或更糟！）的宠物问题，除非我们现在都采取行动。我知道你会说什么：“拜托，真空崩塌，真的吗？真是个笑话！”但你必须明白，每个人都会对其他人的观点这样说（±1）。你是否如此确信自己已经找到了唯一的真正原因，尽管直到这一刻之前，所有这样认为的人都完全错了？即使你确信，考虑到其他人对他们的宠物问题同样强烈的感觉，你真的想要削弱反对为了达到目的而不择手段的社会规范吗？

REPLY (3) Ponti Min 5月1日

我认为在这个阶段你只是为了争论而争论。

我认为人工智能是真实的，并且正在迅速变得越来越强大；大多数人对此表示认同。我反对人类灭绝；再次，大多数人对此表示认同。

我认为应该有一个联盟（由人和国家组成），以防止人工智能杀死所有人。我认为大多数人会同意，或者将会同意这一点。我们不需要每个人都同意我们才能获胜。

我认为这是一个具体、现实和实际的计划。如果有人想提出更好的计划，没问题。但什么都不做，寄希望于最好的结果，不是一个计划，这是失职。

你误解了我的意思。我明白你认为人工智能是真实的，并且对人类来说是一个迫在眉睫的巨大威胁。你对此深信不疑。我并不这么认为。显然，我无法说服你，我也怀疑你能否说服我——就像一个基督徒无法说服我相信地狱是真实的一样（反之亦然）。我确实非常相信其他的存在性威胁，而且像你自己一样，我希望有一个致力于阻止这些威胁的世界范围内的联盟。

我和你的分歧有两个方面。首先，你没有一个可执行的计划（公平地说，我也没有）。你有一个模糊的愿望，正如我一样，但这不足以完成任何建设性的事情。其次，你似乎认为（除非我误解了你）威胁如此紧迫，以至于几乎*任何*手段都可以用来避免它。从数学上讲，如果你能想出某种计划，以牺牲“仅”50%的人类生命为代价来阻止人工智能，你会认为这些生命是值得的。从历史上看，这种思维方式总是导致生命的损失，有时（尽管很少见）是在大规模的情况下，但几乎没有好处。

我并不那么傲慢地认为我自己的关注点不受历史趋势的影响。我对它们感到非常强烈，并且相当确信我是正确的；但这还不足以让我开始着手一些杀死数十亿人（甚至几十人！）的阴谋，即使作为备选方案。你真的比我聪明那么多吗？

回复 (1) Ponti Min 5月1日

你认为人工智能是真实的，并且对人类来说是一个迫在眉睫的巨大威胁。你对此深信不疑。

正确

我不这么认为

那我们就得同意不同意见了

我确实非常相信其他的存在性威胁

哪些威胁？

首先，你没有一个可执行的计划

这个计划是这样的：建立一个人工智能安全联盟，由人们组成，然后是国家，决心防止人工智能杀死所有人。当国家联盟足够大时，他们会创建一个全球性的条约（对所有人有约束力），禁止创造未对齐的ASI。如果有些国家不想加入联盟，那么在极端情况下摧毁他们的数据中心，但在实践中我认为不会到那种地步。

你似乎认为（除非我误解了你）威胁如此紧迫，以至于几乎任何手段都可以用来避免它

正确

如果你能想出某种计划，以牺牲“仅”50%的人类生命为代价来阻止人工智能，你会认为这些生命是值得的

杀死50%的人明显不如杀死100%的人加上未来更多永远不会出生的人。

从历史上看，这种思维方式总是导致生命的损失，有时（尽管很少见）是在大规模的情况下，但几乎没有好处

区别在于过去没有人有能力灭绝人类。成吉思汗即使想要也不可能做到。

我并不那么傲慢地认为我自己的关注点不受历史趋势的影响。

我明白你的意思，但这次不一样：创造一种比我们更聪明的新物种与人类过去创造的任何技术都完全不同。

你真的比我聪明那么多吗？

我不知道你有多聪明。但我认为在这个问题上我是对的。

回复 (4) 继续讨论 → Ch Hi 5月1日

另一方面，我不认为所有信仰对“地狱”这个词都有相同的理解。据我所知，印度教徒认为它是业力之轮上的一个阶段，每个人最终都会去那里，也会最终离开那里。古希腊人似乎并没有统一的看法关于在那里会发生什么。我不知道穆斯林是怎么认为的。（关于“天堂”也有很多争议。）

回复 Jeffrey Soreff 4天前

模拟统治者，真空崩塌，恶意鬼魂，共产主义，法西斯主义，社会主义，气候变化，马尔萨斯崩溃，诸神黄昏，启示录，...

嘿，你漏掉了核武器！在50年代和60年代，每个人都确信我们会因为核战争而灭绝！ :-)

是的，正如你所说，每个人都有他们“唯一真正的事业”。

回复 JamesLeng 5月1日

Ramez Naam 并不同意这一点，而且他成功预测了太阳能指数增长的速度，比我知道的任何人都早得多，当然也远远超过了任何官方政府支持的预测。

回复 Shaked Koplewitz 4月30日

你在这几次讨论中多次在个人决策和群体决策（政党、乌克兰）之间来回跳跃，在某些情况下这种区别非常重要。

对于军队解散，还有两个原因说明为什么这不好。一是“完全没有军队”是一种不稳定的状态——第一个拥有军队的国家将会征服世界——但我们有更好的选择，即各国可以根据需要武装起来（但不超过必要的程度），这既更稳定又能趋向和平。

另一个原因是当你普遍化一个原则时，你会对你相似的人普遍化更多。你所在文化中的人很可能得出与你相同的结论（要么因为你说服了他们，要么因为你们思考方式相似），所以你可以成功地与他们一起处理稍微不稳定的平衡状态。试图与来自不同国家或文化的人员同步更难，差异越大，你所能做的就越有限。与你的克隆人协调是微不足道的，与同胞协调是可行的，与另一个国家协调更难，与未知的外星人协调基本上是不可能的（因此AI对齐很难！）。而“没有军队”是这第三种情况。

回复 (4) Nadav Zohar 5月1日

很好的评论

回复 TGGP 5月1日 编辑

与未知的外星人协调基本上是不可能的

有趣的是，海因莱因的《星船伞兵》中有一场课堂讨论，探讨了人类在合作之后如何可能实现这一点，尽管人们从维荷芬的电影中得到的印象是这全是排外的军国主义。

REPLY GrimMoar 5月1日

及时制游戏是你为了使战争在经济上不可行而玩的游戏。不过，你仍然会有军队，因为人们仍然狭隘自私，小的变化（比如摩尔多瓦不再包括德左地区，或者乌克兰不再包括喀尔巴阡地区）不会导致经济灾难——就像目前中东战争正在造成的那样。

REPLY ProfGerm 5月1日

你在个人决策和群体决策之间来回跳跃

这也是斯科特关于EA的著作中的长期矛盾点。

REPLY LightlySearedOnRealitysGrill 4月30日

约束后果主义和规则效益主义之间有区别吗？如果没有，为什么不使用标准术语，即规则效益主义？为什么不看看规则效益主义的文献，看看它对什么样的规则是好规则有什么见解？

REPLY (2) 斯科特·亚历山大 4月30日 作者

规则效益主义意味着你应该始终遵循规则，停止担心那些会产生良好后果的行为（在规则之外）。约束后果主义则认为你应该尝试去做那些产生良好后果的事情，除非恰好有一条规则阻碍了你。

REPLY (2) LightlySearedOnRealitysGrill 4月30日

谢谢，斯科特。我认为规则效益主义并不是说停止担心那些会产生良好后果的行为。那将是义务论。规则效益主义试图选择那些能带来最大效用的规则。规则效益主义理论上不会担心侵犯权利，如果这条规则能最大化效用。约束后果主义似乎像是带有义务论包装的结果主义。我认为这实际上就是结果主义在实践中的表现。

REPLY (2) John M 4月30日 已编辑

义务论者认为某些事情在任何情况下都是内在善的，无论它们对整体人类幸福的影响如何，因为这些事情让上帝高兴。规则效益主义者则认为你应该停止担心规则是否真正有效，因为这会使规则在促进整体人类幸福方面变得不那么有效。

REPLY (2) Ghillie Dhu 5月1日

无神论的义务论是可能的。

REPLY (1) John M 5月1日

我看不出这种哲学如何能够自洽。

REPLY (2) Ghillie Dhu 5月1日

义务论（至少是范畴命令的形式）在功能上等同于规则效益主义；无需通过引入神来增加实体。

REPLY (2) John M 5月1日

它们在功能上真的等同吗？我认为规则效益主义者更愿意修改规则集，如果明显会导致不良后果的话。

REPLY (1) EdwardP 5月1日

这是德里克·帕菲特著名提出的一个论点。

REPLY LightlySearedOnRealitysGrill 5月1日

我不这么认为。你可以有一个侵犯权利的规则，但它能最大化效用，这会被规则效益主义者支持，但会被重视权利的义务论者反对。

REPLY (1) Ghillie Dhu 5月1日

据我所知，如果一条规则能最大化效用，那么范畴命令就会支持它；在这个框架下，权利是规则的下游产物。

REPLY LightlySearedOnRealitysGrill 5月1日

“我看不出这种哲学如何能够自洽。”

那你可能没有读过很多自由主义哲学。

REPLY The Ancient Geek 5月1日

义务论者认为某些事情在任何情况下都是内在善的，无论它们对整体人类幸福的影响如何，因为这些事情让上帝高兴

不一定，比如康德。

REPLY (1) LightlySearedOnRealitysGrill 5月1日

或者诺齐克、兰德、罗斯巴德等人。

REPLY The Ancient Geek 5月1日 已编辑

规则效益主义可以且确实与纯粹的结果主义有所不同。纯粹的结果主义者会推动胖子去拯救两个人。一个规则效益主义者可能会拒绝这样做，以拯救任何数量的人，或者需要一些更高的门槛来打破规则。（规则普遍主义可能暗示非绝对的义务论。）

REPLY Paulo Esteves 5月1日

让我有点困惑的一点是，为什么要在非结果主义规则中加入非结果主义规则，如果不是假设这会带来更好的结果？这难道不会使规则本身也成为结果主义的吗？这个区分是“主要容易追踪的结果”与“这里有一条规则，我们认为它是好的，但实际上我们无法真正知道”的问题吗？

REPLY LightlySearedOnRealitysGrill 4月30日

好吧，算了，我查了一下，确实有区别。抱歉，我应该在评论之前就做这件事。规则效益主义旨在选择那些能最大化效用的规则。约束后果主义是行为后果主义加上非结果主义规则的应用。

REPLY warty dog 4月30日

我觉得这不对。

我认为应该抛弃解除武装的例子。首先，我不认为所有的征服战争都是不道德的。其次，规范必须被强制执行，例如通过军队。我知道这是一个思想实验，但很难甚至无法明确写出使其可行所需的魔法假设。

REPLY (1) Connor Saxton 5月1日

你怎么决定一场征服战争是否不道德？

REPLY (2) warty dog 5月1日

当然，如果它有好的后果。

REPLY (1) Connor Saxton 5月1日

目的证明手段正当

REPLY Jeffrey Soreff 4天前 已编辑

<轻微讽刺>

这一切都取决于我们是否会赢。

Vso zavisit ot togo, pobedim li my.

</轻微讽刺>

REPLY Tiago Chamba 4月30日

我刚开始读康德，所以这个评论更多的是想开始一个对话，而不是试图给出一个完整的答案（通过坎宁安定律）。

一个常见的表述是：“行事时应假设你的准则将成为普遍法则”。这正确地重新推导出了反对暗杀的禁令，但在一些简单的情况下却失败了。例如，乌克兰是否应该废除其军队？

这是康德的“普遍法则公式”。我认为它的作用是作为一个筛选器。也就是说，它只能排除准则，但不能确认它们是否真正正确。这只是康德拥有的众多筛选器之一。我不确定这些其他筛选器中的哪一个可能会阻止乌克兰问题，尽管如此。

回复 (1) apfelvortex 8天前

要理解康德的回答，可以从他的《永久和平：一个哲学草稿》开始。(https://en.wikipedia.org/wiki/Perpetual_Peace:_A_Philosophical_Sketch)

对于a) 康德和b) 1795年来说，这令人惊讶地理智。

回复 Ali Afroz 4月30日 编辑

假设你关于行动的原则是基于作为绝对命令的理性推理，那么你在乌克兰问题上误解了它。一般规则可能是这样的：如果我被敌对的邻居包围，或者将来可能变得敌对，或者出于其他原因，可能需要军队来促进好的结果，那么我应该维持一支军队。当然，如果这是一个普遍法则，你永远不会发现自己处于那种有敌对邻居的情况，假设你自己不是那种可能成为潜在敌对邻居的人，但这并不意味着当你实际上被潜在敌对的邻居包围时，你必须像那样行事。你可以有关于普遍遵循的事情的一般规则，即使在所有人都遵循这些规则的世界中，这种情况从未出现过。

老实说，你的第二个提议甚至可能不是一个真正的道义性门槛。难道你不认为这可以被视为破坏社会规则的成本足够高，以至于完全抵消暗杀带来的任何好处吗？外部视角听起来并不像是一个道义性门槛。那只是在做决定之前对概率的基本认知评估。这并不是因为你不自觉地考虑最大化某些东西，所以它就不是一个道义性门槛。我之所以没有跳下悬崖，并不是因为我遵循了一个规则，而是因为这个规则在很大程度上是为了在遵循它的那些情况下最大化有益的结果。当然，这种规则确实无法处理边缘情况，但这就是为什么你需要一个普遍的道德理论。仅仅因为你想要最大化好的结果，并不意味着你应该一直思考这一点，这样做会浪费太多时间和精力，肯定不会是最有效的政策来最大化好的结果。你只会在答案不明显的情况下才考虑这一点。

你最后提出的规则在直觉上是有道理的，但当然问题是边缘情况不清楚，因为不清楚对方何时真正背叛了你。90% 的背叛概率算不算？50% 呢？背叛你个人的定义是什么？例如，通过他们自己的文章对你撒谎算不算背叛你？我认为这条规则忽略了你不应该在博客上推广宣传的许多原因。例如，在希特勒统治下的德国，如果你的好朋友，一名超级容易受骗的 SS 成员来找你，即使他实际上是你的一个非常好朋友，正在努力与你合作，而德国政府实际上并没有背叛你，你似乎仍然可以对他撒谎。我认为，一般反对宣传的规则不适用的原因更少是因为背叛，而更多是因为撒谎损害了社会信任，而且向好人撒谎会损害他们实现目标的能力，这些目标显然是好的。此外，实际的人们通常并不容易受骗，如果你开始推广宣传，人们会更少阅读你并减少对你的信任。这就是为什么向你的朋友撒谎是可以接受的，因为那是针对一个在思想实验中既邪恶又容易受骗的人，而且利益巨大，相比之下，破坏单一谎言的信任的社会成本很小，而不是在未来重复传播到多个人的持续模式。

现在公平地说，我自己的方法也有一定问题，例如，它似乎暗示我在面对困难的边缘情况时应该仔细考虑后果，然而当我谴责试图谋杀特朗普的人时，我似乎并没有认真思考。我认为这类情况很容易解释，因为我的内在直觉告诉我，这显然会有坏的结果，所以我不会为此深思熟虑。我不会考虑我扔出去的苹果是否会达到逃逸速度，因为它显然不会。

当然，我实际上同意这是一个完全可以接受的规则。尽管我认为这是功能而不是缺陷。在现实世界中，你不应该四处行刺他人的真正原因肯定与这样做通常不会解决问题有关，而且在某些情况下，比如刺杀斯大林，实际上会可靠地改善局势，这些情况似乎是我们希望使用刺杀手段的情形。当然，这并不像标准的义务论规则那样可以避免考虑后果的权衡，但首先，我认为这是功能而不是缺陷，其次，我认为诚实地讲，范畴命令虽然许多研究它的人都没有意识到这一点，基本上只是用自然语言表达的功能决策理论。尽管如此，它确实解决了是否合作的问题。因为大多数人事实上并不是为了合作而购买，但仍愿意与你合作以实现互惠互利，同时如果他们开始背叛，他们会采用复杂的策略来惩罚你。

当然，你可以争辩说这实际上并没有解决你所面临的问题，但老实说，一种非特定规则的战略，这种规则最好被普遍采纳。听起来像是一个相当糟糕的方式来制定义务论准则，正如你在原始帖子中注意到的那样，所以我认为这不是什么重大损失。关于它最好的一点是它鼓励合作并且自我认可，但除此之外，它只是一个糟糕的系统，缺乏具体性是一个问题。如果你去掉这个缺点，大多数道德哲学至少可以说是可以通过的，因为它们旨在普遍适用。如果你采用范畴命令版本，即基本上只是功能决策理论，你应该无论如何都这样做，那么你就不会遇到几乎所有可能的伦理立场都被认为是正确的这个问题，但你无论如何都应该这样做，因为功能决策理论显然是对你有益的理论。

明确地说，我并不是真的建议你在非常自信的情况下刺杀任何人，因为考虑到外部视角和社会规则的损害等因素。但实际上不可能构建没有任何参考到经验现实的伦理规则。否则，规则要么会变得非常愚蠢，要么会变得过于详细，显然在实践中你会在制定规则之前咨询经验现实，因此你最好尝试找出你正在结合经验数据来制定规则的一般原则。

回复 (1) GrimMoar 5月1日

关于斯大林我不太了解，但我确实知道普京。普京故意在他之下安排更多疯狂的人，这样西方的暗杀企图就会受到抑制。这似乎是一个坚实的博弈论选择，但如果他能够说“西方不会暗杀我”，那就不是“最佳选择”了。（他可能更希望有这样的人，即使他死了，也会按照他的方式行事）。

我不会惊讶如果斯大林也有尝味师，并且也做了同样的事情。

回复 (1) Ali Afroz 5月1日

不，我们确实知道，在他死后，他的继任者都比较不疯狂，尽管部分原因是他们都经历了他的恐怖统治，因此可以理解的是，他们不愿意重复那样的统治。这就是为什么我举这个例子作为我们知道在一定时期内肯定会起作用的情况。我认为在1920年代它可能不会奏效，即使那样，我也怀疑考虑到他是一个多么大的灾难，从预期来看这将是受益的。明确地说，这是一个极端的例子，大多数政治人物可能不应该被暗杀，特别是如果他们不是独裁者的话。

回复 GrimMoar 5月1日

在他死前，他的继任者也是“比较不疯狂”的吗？（是的，我是认真的，这是一个严肃的问题——普京的二号人物可能实际上不像他表现得那样疯狂）。

斯大林……是一种特别独特的宝石。杀死他，或者杀死毛泽东，似乎都会改善一般的生活。大多数独裁者？就不那么多了。（这是“伟人”与“谁接替”的讨论）。

回复 Connor Saxton 5月1日

这个规则不好是因为它可能不会解决所有问题吗？如果暗杀实际上能解决一切问题，并且只会带来净收益，那为什么不这么做呢？义务论禁止暗杀的理由是实际的，但在假设中没有实际问题的情况下，这应该是可以接受的，不是吗？

回复 Connor Saxton 5月1日

是的，我在想如何决定规则的模糊程度或具体程度，太少的具体性会使规则被误用，太多的具体性会使你期望的行为成为规则唯一允许的行为。

回复 John M 4月30日 编辑

我认为这两个情况并不完全对称。大多数支持稍微不那么鲁莽的AI公司的人都这么认为，因为他们认为无论怎样，总会有一家AI公司胜出，所以他们希望那家公司创建的可能性较小会导致所有人都死亡。在这里，缺乏有效的规范是一个重要因素，因为这是他们计算哪家AI公司会胜出的全部原因，因此最小化风险的最佳方法是支持那些不太鲁莽的公司。这类似于在选举中支持较不邪恶的主要政党候选人，即使有非邪恶的第三方候选人可以选择，或者可以选择弃权。

关于另一方面，大多数支持像Pause AI这样的运动的人这样做是因为他们认为动员政治回应反对人工智能发展的首要利益超过了打破现有反对党派主义规范的次级风险。在这种情况下，缺乏反对党派主义的规范并不是一个很大的因素，因为他们即使存在这样的规范也会做出同样的计算。这类似于大多数人即使在存在强烈反对政治暗杀的规范下，也会支持暗杀希特勒的原因。

REPLY 加布里埃尔 4月30日

如果一个约束是基于功利主义的理由来论证和证明的，那它真的不是一个道义论的限制，对吧？这只是我们在功利主义计算中的另一个复杂因素。因此，在某种意义上，理想的情况是显而易见的：进行计算并且不要忘记关于社会协调的不美观的小细节。

另一方面，一个有趣的探索领域是哪些可以成为仅基于道义论理由的道义论限制。我认为一个宗教人士可以有效地接受这个挑战。作为一个世俗人士，我不像他们那样将我的原则视为神圣不可侵犯的，所以总是有想象中的后果会使违反原则成为一个合理的选择。但如果有神圣不可侵犯的原则感觉会好得多！

REPLY 迈克尔·沙利文 4月30日

我觉得这是“斯科特意识到功利主义不起作用，试图挽救其中的一部分，但这些也不起作用，同时意识到哲学中一般没有真正的答案”的一系列长期缓慢的多年系列文章中的一篇。

REPLY （4） 亚历山大·图罗克 4月30日

功利主义有什么问题？

REPLY （2） 吉隆丁 5月1日

在功利主义框架内，“人工智能是一种种族灭绝威胁”与“公开暗杀会破坏社会稳定”这两者无法调和。

REPLY （1） 杰克 5月1日

什么？这是什么意思？我是一个功利主义者，并且相信这两者，但我真的不知道如何“调和”它们，除非你能解释你认为的问题是什么。

REPLY （1） 吉隆丁 5月1日

你没读过这篇文章吗？

REPLY （1） 杰克 5月1日

当然读过了！你对我写的内容有什么回应，还是只是想聊聊我最近读了什么？

REPLY （1） 肯·霍布斯 8天前

我对哲学的理解还不足以跟上功利主义的辩论，但那是一个很好的反击。

REPLY 迈克尔·沙利文 5月1日

功利主义的问题在于它更像是……只存在于思想实验中。电车难题是一个有趣的事情去思考。但是如果你真的尝试将电车难题变成可操作的道德准则，你会得到一群喜欢拍胸脯的年轻人谈论他们有权杀死任意数量的人，当你试图远离这一点时，你会得到类似这篇帖子的东西。

在思想实验之外，世界太复杂了，有太多第二、第三、第四乃至第n阶的复杂性，实际上无法进行功利主义所依赖的计算。你总能重新调整任何功利主义的论点，使其成为“是的，我们绝对应该暗杀唐纳德·特朗普”或“不，我们绝对不应该”。它实际上并不能提供行为指南。

这并不意味着思考它不是一件值得的事。但试图成为一个功利主义者根本行不通。

REPLY 斯科特·亚历山大 4月30日 作者

显然没有什么是完美的，但你也必须回答问题（即要么做某事，要么因为它是不道德的而不做）。那些从不考虑这些问题并根据本能和偏见行事的人不仅仅是“更先进”于那些考虑这些问题并在逐渐完善观点的人。

REPLY （2） 史蒂文·波斯特尔 5月1日

有一些证据表明，事实上遵循习俗和偏见可能比试图有意识地计算最好的事情要少风险和损害（从结果来看）。几乎整个20世纪（如果不是更早的话）的历史告诉你，当知识分子意识形态家争论推翻资产阶级道德传统等时会发生什么。真正的问题是找到区分自由实验和拒绝既定习俗和等级制度之间的界限，以及非自由和极权主义偏离传统的界限。当你的“传统”基本上是自由的，就像在美国一样，这更容易。

REPLY （2） 乔尔·哈夫嫩斯坦 5月1日

但是“资产阶级道德的传统”本身对长期存在的习俗和偏见构成了巨大的挑战。贵族道德的捍卫者也对自由资产阶级的崛起提出了相同的保守论点。

那些20世纪引发噩梦的思想意识形态家认为他们只是从宗教改革和启蒙运动之后拒绝受习俗和偏见限制的经济、科学和政治变革的下一步。

这么多人灾难性的错误并不意味着遵循习俗（即使是历史上较近的由资产阶级道德产生的习俗）总是最优的。

REPLY （1） 史蒂文·波斯特尔 6天前

我在评论中提到，美国的传统相对于它取代的贵族和等级价值体系来说是自由和某种程度上的革命。正如我所说，困难的部分是理解自由实验和破坏基本规范之间的界限在哪里。

那是在美国和英国的启蒙思想家中关于法国大革命讨论的核心内容，他们中的大多数人都有较为偏向辉格党的意识形态。一些人认为这是向前迈出的鼓舞人心的一步，而另一些人则警告说这是一条通往毁灭的道路（例如，英国的柏克和美国的联邦主义者）。从长远来看，后者在事后看来更有优势，因为演变成为危险的暴民统治，随后通过拿破仑的凯撒主义导致了大规模战争，这让像潘恩这样的人看起来有些天真。

目前，我们对哪些规范、习俗和法律能够维护社会和经济自由与活力有了更多的了解，而这些在1790年、1917年、1963年或1975年时他们并不知道。但许多人仍然决心忽视这些教训。

回复 EdwardP 5月1日

这与最初的保守派所想象的不同，因为我们发现大多数传统在人类历史上其实相当新颖。严肃的现代保守主义必须通过新的知识重新审视习俗。

回复 Michael Sullivan 5月1日

我并没有暗示任何人更先进。我认为思考哲学是有价值的。但我真的不认为思考哲学能提供一个框架来计算道德问题的答案。顶多也许它能稍微磨练一下你的道德直觉？但这是一种令人不满的方式，仍然不能得出答案。

回复 (1) thewowzer 5月1日

+1

宇宙中任何可能的选择都有成千上万年的历史背景，没有任何一种哲学能够意识到或考虑所有这些因素，从而断言什么是真正正确或错误的事情。

回复 Jack 5月1日

我真的希望不是这样，因为那意味着斯科特正在完全错误的方向上前进，并且对世界更加困惑。

上述内容不会对功利主义产生任何重大问题，而“哲学中没有真正的答案”这种说法是无稽之谈。哲学涉及许多问题，这些问题本质上有一个事实上的真相，无论我们是否已经知道这些答案。

我认为斯科特非常聪明（并且熟悉分析哲学的基本知识），不会这么想。

回复 Hafizh Afkar Makmur 4天前

是的，感觉这个话题已经被讨论过无数次了（包括在这个博客上！）

回复 Joel Long 4月30日 已编辑

我认为时间依赖性是这里被忽略的一个因素。

我可能比其他警卫残忍10%……最初。这种情况有可能持续吗？我是否合理地确信这种经历不会产生负面情绪影响，从而消除最初的益处？

或者换个军事角度来看：鉴于当前事件，欧洲重建主要军事能力显然有明显的益处。这需要权衡“这样做有多可能导致欧洲爆发第三次世界大战？”的问题。因为即使一代人可能会负责任地处理这个问题，下一代人可能不会。

回复 Daniel 5月1日

我认为不需要诉诸于义务论来证明不为Anthropic工作的正当性。在当前环境下加速种族动态是糟糕的，仅此而已。（是的，为其他大型实验室工作会更糟，但这些都是糟糕的决定。）

回复 (1) Scott Alexander 5月1日 作者

这是否意味着如果从来没有人加入Anthropic，人工智能的发展现在会大大减缓？但为什么应该如此？OpenAI已经与Anthropic并驾齐驱，去除Anthropic的影响可能并不会减缓他们的步伐，而且有理由认为这可能会加速他们的进展（例如，他们有更多的计算资源用于自己的模型）。

回复 (4) Mystik 5月1日

我唯一能提出的反对观点是，我认为Claude代码推动了最近对人工智能加速的一些努力，而Google和OpenAI都花费了大量精力构建了一些很酷的东西（如Sora、Dall-E），我不确定他们是否能很快上线一个高性能的编码平台，并因此享受由此带来的炒作热潮。虽然其他因素（如竞争减少）可能会抵消这一点，但我认为CC是Anthropic以不同于Google或OpenAI所认真考虑的方式加速人工智能发展的一个重要点。

回复 Daniel 5月1日

我认为创建Anthropic确实加速了人工智能的时间线。

1. 有竞争对手的存在正是促使OpenAI尽可能快地投入尽可能多的资金并发布尽可能多的模型的原因。巨大的商业压力迫使他们建立和维持市场份额。竞争减少意味着较少的资金投入和较少的计算资源。这也意味着更大的压力去建立和发布潜在不安全的模型（因为“如果我们不这样做，其他人就会超过我们”）。

1. 他们能够迅速赶上OpenAI的事实表明他们可能拥有某种优越的过程。这可能是完全由他们的才能驱动的，因此Anthropic不存在意味着同样的过程会在OpenAI或Google发生，但我怀疑这不是全部故事。

回复 Nathan Metzger 5月1日

这不仅仅关乎人工智能目前的发展水平。Anthropic通过假装比其他实验室更安全来抢占市场份额，同时仍在竞相达到超级智能，并以与其他所有人一样危险的方式继续前进。

他们在给世界带来更多的危险方面超过了OpenAI。直到Anthropic后来居上，OpenAI才把时间浪费在诸如Sora这样的愚蠢事情上。在这里以及一般情况下，空间中的更多参与者意味着更多的竞争，意味着更多的努力朝向最终目标。

一个没有Anthropic的世界会是一个略微更安全的世界。

回复 (1) Scott Alexander 5月1日 作者

我认为这太像11维国际象棋了，“坏事实际上是有益的”。即使马斯克、扎克伯格或其他直言不讳的加速主义者处于领先地位，我也不会对这个世界更满意，而且我认为如果没有Anthropic的存在，预测人工智能能力增长的良好直线图也不会突然趋于平稳。

回复 (2) Nathan Metzger 5月1日

不，很明显坏事确实是坏事。构建超级智能（可能会杀死所有人）是坏事。大多数人认为这是坏事并且不想发生这种情况。

也许我对Anthropic对世界实际影响的看法是错误的。我们可以来回争论考虑哪些高阶效应。但显然他们做的事情极其邪恶，必须停止。

回复 Daniel 5月1日

为了击败那些推动人工智能加速的人而加速人工智能的发展不是自相矛盾吗？这种赢得比赛的压力已经迫使Anthropic放弃了他们的单方面安全承诺。

回复 Steeven 5月1日

我认为OpenAI宣布进入红色警戒状态，并且因为Claude代码而更加专注于RSI的编码工作。

回复 Ajb 5月1日

我认为关于道德有两个相互冲突的直觉：

1) 道德在某种意义上是最大化的。根据你的道德观，可能是做最大的善事，或者避免最多的责备。

2) 无法识别道德行为是没有借口的。这意味着道德对每个人来说都是可知的，否则他们会有借口。（法律在这方面不一致。一方面，不知道法律不能免除责任。另一方面，人们需要被告知他们的行为是否会，例如，跨越财产边界；缺乏应有的通知是非法侵入的借口）。

后一种直觉使“道德策略”的想法显得不合逻辑，因为你不可能发现自己的行为不道德是因为你不够聪明而未能察觉某些极其微妙但强大的道德策略。

但是人工智能风险似乎确实需要深入分析才能找到一个好的结果（除非好的结果已不再可能，我们能做的最好只是避免受到责备）。也许有些道德直觉实际上是经验法则，它们并不适用于这种情况。

回复 (1) GrimMoar 5月1日

我认为许多行为不容易被识别为道德或不道德。

以某人为报酬，按照父母的要求谋杀自闭症儿童为例。

杀死那个人是否道德？（暂时忽略法律）

回复 (1) Ajb 5月1日

当然，认为所有道德评价都容易的观点是大胆的（尽管说大多数都不容易也似乎是一个很强的主张）。然而，第二种直觉不需要所有道德评价都容易，只需要存在一些可以评估的道德选择。在你的例子中，一个人不必决定杀死那个人是否道德就可以有道德选择；如果他们至少可以评估不杀死他们是道德的。

这就是为什么它与道德的最大化观念相冲突：最大化者必须能够识别最道德的立场，而识别最大值往往是不可行的。

回到帖子的主题：除了规范性方面，义务论规则通常也存在，以便在难以评估最大值时设定一个可评估的规则。

回复 Dweomite 5月1日

也许想象一下，与其选择一个能让所有人都神奇地遵守的规则，不如选择一个能让许多人遵守的规则，但也有一些人会违反该规则，除非第一群人能强制执行。因此，规则只适用于合作群体中的合作者。这似乎是推导警察和法院等机构的好方法。

具体来看你的军事例子，似乎很重要的一点是，如果你不做坏事，拥有军队并不会伤害任何人。它增加了你能造成的伤害量，这会产生一些不良动态，但它仍然感觉像是一个不同于监禁某人或欺骗某人钱财的不同类别，后者是内在有害的而不是潜在有害的。

此外，即使你可以神奇地保证永远不会有人类之间的战斗，拥有一些暴力能力似乎仍然对处理野生动物和某些自然灾害（例如偏转来袭的小行星）有用。此外，许多用于其他任务的工具在紧急情况下也可以作为武器使用（如斧头、汽车、采矿钻机等）。所以即使你可以真正普遍化这条规则，我也不认为你会想要完全没有“军事”力量。（虽然你可能希望比乌克兰少一些，所以这在实践中可能没有帮助。）

回复 (1) Steven Postrel 5月1日

即使是为了防止人们非暴力地占据你的客厅，或者最终让他们偿还欠你的钱，你也需要暴力或强制力。

回复 (1) GrimMoar 5月1日

排斥异己是阿米什人的做法。我想如果真的到了那一步，他们可能会把人赶出社区，但他们是非暴力的。

回复 (1) Viliam 6天前

你只能排斥那些对排斥做出反应的人。如果一群无家可归的人决定占据阿米什人的建筑，这个策略可能行不通。

回复 (1) vectro 5天前

在这种情况下，无家可归的人会饿死吗？

回复 (1) Viliam 4天前

我想象他们会偶尔乞讨或偷窃，然后回到阿米什人的建筑里睡觉。

每当阅读伦理学家的文章或试图严格定义伦理学时，我都会发现它们大多只是在寻找能给出我们想要答案的问题。强烈怀疑伦理理论更像是策略而不是规则，并且你应该选择最有可能让你去做那些你预先决定是正确的事情的策略。

回复 (2) Scott Alexander 5月1日 编辑 作者

这是一个功能，不是错误——这就是哲学（以及推理！）的工作方式。如果你正在提出一个关于重力的理论，基本要求是它应该能够解释物体以我们已知的速度下落。一旦它完美地预测了显而易见的情况，那么我们就可以研究它对黑洞/早期宇宙等问题的看法，并用它来解决那些非显而易见的情况。

回复 (2) Nathan Metzger 5月1日

没有这样的解决方案可以适用于道德。人类太复杂了。这将会是一系列特殊情况。

回复 (2) Alban 5月1日

那是一个你自己的假设。考虑我们对自然的理解所经历的变化和改进以及量化。尽管程度不同，但规范性的伦理理论比“跟着直觉走”要精细得多，就像“东西会掉下来”与对重力的良好理解有很大的不同。

回复 Scott Alexander 5月1日 编辑 作者

我不认为这是真的。如果我打了你的脸，我认为你有权问为什么。如果我说“新规则，我有权打你的脸”，你可以合理地援引某种共享的非暴力规范。如果我说“不，我已经决定一切都要个案处理”，那么我就退回到了基本上随机的行为。

回复 (4) thewowzer 5月1日

那真是令人惊讶的升级 😬

回复 Nathan Metzger 5月1日

个案处理并不是随机的。我们也内化了模糊的启发式方法来压缩这些情况。我们倾向于将这些启发式方法传达为义务论规则，但由于现实生活中并不存在纯粹的义务论规则，我们必须记住这些模糊的边缘总是存在，并相应地行动。

回复 Bugmaster 5月1日

我认为（大多数人）人类最终只能关心自己和他们的远亲。整个道德哲学史基本上是在尝试绕过这个生物学事实，但最终这个问题是无法解决的。

回复 (1) Jeffrey Soreff 4天前

基本上同意。我们进化来处理大约邓巴数大小的群体，包括许多近亲。我怀疑真正的同理心仅限于我们至少像我们在进化适应环境中认识部落成员一样了解的人。

当有人进行道德哲学思考时，他们确实是在做些什么，但我认为他们所做的与对亲属或密友的同理心没有多少共同之处。也许是智力上的竞争？也许是纯洁的螺旋上升？这通常看起来相当病态（特别是过去20年里所有的觉醒运动——例如人们说服自己支持恐怖分子……）。

回复 Saklas of Barbelo 5月2日

这种诉求似乎意味着规范是道德权威，这似乎与你说的其他内容相矛盾。

此外，规范通常是由于强制执行，无论是社会的还是其他的。所以除非你已经改变了规范以适应你的案例判断，否则你可能会预期自己也会受到一些暴力对待。至少，我会预期你的案例会被判定为导致那样的结果。

回复 EngineOfCreation 5月1日

你曾经写过一篇文章，我现在找不到，其中你写道，“在这种情况下，你离成为一个土著农民只差一件白大褂”，关于科学家们如何试图理解种植和准备一种特定可食用植物的过程，不得不深入到土壤组成和微气候的细节中。

人类也是如此。人类价值观随时间和地点变化，常常是相互排斥的方式，不像一个从塔上掉下的球，如果你知道几个参数，它的行为是可以预测的。这与定义“普遍的人类价值观”用于AI对齐的不可能性很好地联系在一起，不是吗？

回复 Steeven 5月1日

如果你改变了对什么是先验正确的看法呢？过去你是邪恶的吗？

回复 Mark Foskey 5月1日

从功利主义的角度评估义务论标准是否有意义？我觉得，如果你真的这样操作，那么它们就是公理。我认为你展示的是，这实际上是一个纯粹的功利主义讨论。

回复 (2) MKnight 5月1日 编辑

这真的是我对更长评论的一个很好的三句话总结。

回复 The Ancient Geek 5月1日

是的，但这并不意味着它等同于纯粹的功利主义。它很容易对电车难题给出不同的答案。

回复 (1) Mark Foskey 7天前

无论是否纯粹，它仍然是功利主义思维。在我看来，这是一种直接的规则功利主义。但也许我在淡化这个词的意义，因为我不知道有任何分析伦理学的方法而不涉及遵循一种伦理程序或其他伦理程序的结果。

回复 (1) The Ancient Geek 7天前

它仍然是基于规则的思维以及功利主义。它仍然不是纯粹的功利主义。

回复 Erica Rall 5月1日

除了这篇文章的缩略图之外，这与Adobe Firefly给我的提示“义务论标准”有关：

https://imgur.com/a/20OyIkJ

错误在我自己身上，而不是工具，因为我错过了“义务论”中的第一个O，而是要求了一个Firefly似乎合理地解释为与牙科有关的虚构词汇。

回复 (1) Steeven 5月1日

相当不错的标准，我认为它需要更多的悲伤的哲学家。

回复 smopecakes 5月1日

我继续被说服了几件事：

• 如果人工智能的起飞对人类来说是不可能控制的，那么唯一能够控制它的就是其他人工智能，尤其是如果存在自然瓶颈，允许做出回应，即使这种回应只能由其他人工智能来完成。

• 在没有全球性严重退化的情况下，硬件限制总是最大的问题出现在当下，因此人工智能软件的进步现在比将来更安全。

• 对待人工智能的理想方法应该是非常谨慎的，但目前这艘船已经驶出。当ChatGPT首次成为一个明显了不起的东西时，我想“太棒了，我相信他们永远不会把这个东西连接到互联网上”，结果它立即变成了一个搜索引擎。

所以，我们应该以一种想法推进人工智能的发展，即在能力最弱的硬件上，事情可能会出大错。这并不排除警告可能会发生重大错误，因为如果真的发生了，你们将是制定应对措施最可信的群体。10%更安全的人工智能公司在这个情况下更有可能成为盟友，因此它们不仅有理由生产好的人工智能，而且在需要强大盟友的时候也有理由这样做。

本·乔尔达诺 5月1日

我的观点是，如果没有道德底线，规范保护注定会失败。规范不会自我维持。它们需要那些仍然觉得某些事情不能做的人，即使其他人正在做这些事情，即使背叛可以被重新解释为现实主义。

以集中营守卫为例。问题不仅仅是加剧后果或侵蚀规范。更重要的是，一个人成为了某件事的一部分。这似乎是不同的类别。

同样的道理也适用于虚假信息。如果一名作家故意操纵他的读者，问题不仅仅在于其他博主是否背叛，或者他是否失去了足够的订阅者来证明自己这样做是对的。更重要的是，他已经违反了一种特定的信任关系。

GrimMoar 5月1日

我认为在集中营守卫案例中，你不必“成为某件事的一部分”。老实说，你可能只需指出“这些人也是人，即使他们是坏人”——“Kappa弹奏的好曼陀林，也许别打断他的腿，我想听他下一首歌。”

军队做了很多工作来“异化”敌人。在集中营守卫的例子中，“异化”的对象就在眼前——这是一个你可以用话语挑战某人先入为主观念的时刻。

本·乔尔达诺 5月1日

是的，我认为这是从内部做事的最强有力的理由。但是守卫仍然是守卫。他仍然在帮助机构运作，即使他在减轻一些影响。

所以即使从内部可以做好事，这个“内部”部分本身也有其道德意义。它不仅仅是一个中立的地方，从中可以产生更好的或更差的结果。

Doctor Mist 5月1日

如果某件事是正确的事情，仅仅因为史蒂夫·班农或伯尼·桑德斯也支持它，并不会使这件事变得不正确。

我想你真正想说的是，班农的支持或桑德斯的支持足以让某人怀疑自己的判断，认为这件事是正确的。如果是这样的话，我怀疑这样的人是否应该从事哲学研究。

MKnight 5月1日

我不明白，在功利主义中，‘义务性门槛’如何能在社会契约之外有意义（基本上，就是创建协调的纳什均衡政策）。

如果这不是自明的，更长的解释如下：

让我们想象我是约束功利主义的一个特殊版本。我认为谋杀独裁者对我来说是道德的。类似地（尽管不道德），为了我的孩子，我会给许多人带来极大的伤害。

如果我有能力采取这些冲动行为，我可能会应用这篇帖子中的子解释来抑制自己的冲动：也许我没有我想象的那么出色的预测能力。

但即使我确信自己像我想象的那样具有出色的预测能力，我仍然可能认识到其他人不是。这令人担忧，因为那些笨蛋可能会觉得自己有权去暗杀好领导人或伤害我的[珍贵]孩子，为了他们的[无关紧要]孩子。

因此，我得出结论，对我而言，压制这些愚蠢的人并剥夺他们暗杀和伤害的能力是道德的。

当我试图这样做时，遇到了两个问题。首先，我无法单方面做到这一点。其次，人们愿意帮助我，但他们似乎希望*我也*同意不暗杀或伤害任何人！

我权衡选择。一个世界是我可以不受惩罚地暗杀，而他们也可以；另一个世界是我把自己绑起来，也把别人绑起来。同时，其他70亿人也在权衡同样的选择。

我们都得出了相同的功利主义结论，并互相绑定政策。我们大声宣称我们的‘义务性门槛’：不做任何伤害。在内心深处，我们保留着秘密的道德：“规则对你，而不是对我”。但这不会带来任何好处。它只会混淆使命，赋予敌人许可。所以我们把它藏在心里，说“不，我认为任何人都不应该暗杀独裁者”，这句话在同时变得真实和不真实。

我认为这只是规则功利主义。但如果一个约束功利主义者开始告诉我关于‘义务性门槛’，这些门槛没有社会契约的依据（或者他们对一个Oracle执行完美的秘密暗杀感到不满），我不会说“如果我知道什么是义务性门槛以及它们来自哪里，我将更好地处理这场辩论。”我会简单地把他们和其他义务论者归为一类，因为他们广泛功利主义哲学中有奇怪且任意的依据/例外情况。

社会契约论的合理性解释涵盖了文章中的所有例子。

关于乌克兰：你应该与你的敌人签订可执行的和平政策合同（除非你不需要这样做，因为你能够碾压你的敌人并且你知道你是对的），但如果他们不愿意或者这是不可能的，那就加强你的军队。

这将格言“不要成为第一个偏离一般运作规范的人”转化为等价的“如果人们还没有意识到他们可以背叛，不要通过成为第一个背叛者来指出这一点”（这本身就是一个纳什均衡！）！

集中营/“最不负责任的AI公司”这个例子很棘手，因为它违背了我们的直觉，即不应该有集中营或公司存在。有些人可能觉得，通过参与集中营，你是在为未来集中营的建造或参与提供合法性。例如，大规模参与暴行可能会削弱人们反对下一次暴行的道德力量。那些正在制造下一次暴行的人可能会感到鼓舞，因为他们知道，如果他们只有90%是坏的，他们会找到支持他们使命的支持者，而不是担心邪恶会让他们没有任何支持。那些不介意参与一定程度的坏事的人会因为如果你试图谴责他们，你就没有立场而感到更加大胆地支持未来的90%坏事。如果你不在乎下一个坏事的形态（例如，如果你认为AI公司是最糟糕的坏事或最终的坏事），并且你觉得“不支持AI公司”的任何规范都被彻底打破了，那么作为一个结果主义者，你可以去为最不负责任的一个工作。

如果规范只被破坏了一半，而你在决定是否跟随大众，那么你必须应用上述逻辑的更复杂版本来确定你的决定。

回复 (1) thefance 5月1日

无讽刺地说，这是最理智的评论。

回复 Steeven 5月1日

拼写错误

我传播更多的信息时会有的问题

应该是错误信息

看来你遇到了两种伦理理论的问题！你应该通过美德伦理来选择你的义务论标准。这样，你实际上不会成为一个大恶棍，并且会努力在义务论中表现出荣誉和正直，以导致好的结果。实际上，这通过说“不要因为撒谎不是美德而开始撒谎来赢得胜利”来决定pauseAI的例子，你可以在AI实验室工作，但由于你对根据原则行事的承诺，当你对不喜欢的做法发表意见时可能会被解雇，你也不会报名成为监狱看守，因为毒害无辜者是错误的。

回复 Chris Phoenix 5月1日

这篇文章将问题框定为“我应该做这件事还是不做？”——孤立的问题，与我们可能正在做的其他事情无关。

几乎很少会有你唯一的选择是，例如，成为集中营看守或党卫军成员的情况。（这种情况确实会发生。被俄罗斯征召的乌克兰人面临着这样的可怕选择。）更常见的是，这看起来像是唯一的选项，也许是因为一个坏人使用了各种操纵手段。

因此，对义务论标准的一个有用视角可能是，“我真的相信世界如此糟糕以至于我最好的选择是______？我为什么这么认为？我犯错的可能性有多大？”

跳出思维定势可能需要一种信仰，这看起来像是一种道德行为。“不，不管我现在看起来如何，我都不会成为集中营看守。世界根本没有那么糟糕，我不会这么做。”

这不是个人的道德立场。这是一种部分基于外部现实的信念，这种信念比更悲观的约束你采取不希望的行为的替代信念更符合个人偏好。

“我真的相信世界如此糟糕以至于我最好的选择是成为杀人凶手并永远扭曲我国的政治吗？”……不，可能不是。作为进一步的过滤器，“如果我相信这一点，我是否会有可能发疯而不应行动？”这里没有义务论标准，但结果是相似的。

我不是斯科特，无法详细思考这一观点的含义，但这似乎值得去做——它似乎至少解决了一些斯科特的文章中未解决的困境。

回复 Jacob Komm 5月1日

似乎短期内道德计算注定会失败，因为我们缺乏相关数据的访问权限，也没有足够的能力快速进行相关计算使其变得有意义。不幸的是，从长远来看我们也注定失败，因为我们的计算能力线性增加，而相关变量和关系则呈指数级增长。

似乎我们需要一个全知全能的存在或一个能够带来指数级计算能力以进行道德计算的存在，如果我们希望道德计算不仅仅是直觉泵。

一个宗教后果主义者可以尽自己最大的努力，并依靠上帝使一切朝着好的方向发展。另一方面，似乎严格的世俗后果主义的最佳希望在于某种形式的技术奇点。

回复 covector 5月1日

在公司工作和pause-AI法规立场之间有一个重要的区别。首先，前者给你带来更多的个人利益，即时的或潜在的。由于我知道个人利益会显著降低人们的个人义务论标准，所以我不能信任他们的常识记述，并且对他们比如“邻避主义者”更有同情心。

回复 Zubon 5月1日

令人惊讶的是，有很多人提倡道德直觉主义。他们假设我们已经知道正确的事情是什么，而且我必须说，如果我们可以从假设我们直观地知道并根本上同意什么是正确的事情开始，那么伦理学和所有规范推理都会变得更加容易。

这可能适用于大多数日常道德问题。但这对于影响大规模人群的问题或接近边缘情况的问题毫无帮助。

我们从电车难题中应该吸取的教训是，道德直觉是没有意义的。大多数人认为电车难题有明显的答案，但他们只是对哪个答案明显正确存在分歧。所有关于电车难题的变化都是为了表明，我们的直觉在稍加压力下就会崩溃。在哲学课堂上解决电车难题的方法有（1）找两个认为相反答案显然正确的人让他们争论；（2）找到最自信的人并不断微调问题，直到他们的直觉失效。

对于任何理性的人来说，道德直觉总是会失败，因为我们的道德直觉无法扩展到现在的社会规模。它可能适用于一个150人的村庄中的公平感。你无法直观地知道实施最低工资的影响。在这个帖子中，我们有不同道德直觉的人，对于某些情况下是否可以暗杀存在争议，“不杀人”是我们最基本的道德规则之一。但我们的道德直觉也暗示了一系列例外，这些例外因人而异，因为归根结底还是感觉的问题。

在道德直觉主义中增加免责声明说有些人是坏的，所以我们可以忽略他们的直觉，并不能拯救道德直觉主义。至少三分之一的国家，甚至可能是世界上更多的地方，在重要道德问题上会与你意见相左。你，是的，你个人，在多个道德问题上处于少数。如果你的道德理论认为许多人或大多数人都有道德缺陷，那么它就无法成立。而且，如果大多数世界都把你视为道德缺陷者，那对你也不利。

回复 (2) 古希腊人 5月1日

你想用什么来代替直觉？

回复 EdwardP 5月1日 已编辑

这就是为什么不可能有一个完全基于主体私人考虑的道德体系。直觉主义基本上是这种可疑方法的顶峰。你必须至少留一些规则来考虑客观因素（他人的想法和感受、习俗、机构等）。没有个体可以通过孤立设计知道最佳的规范行为，或者至少很少见且非常罕见。

回复 (1) 古希腊人 5月2日

他人的直觉也是直觉。试图基于事实建立伦理学会遇到“是”与“应当”的鸿沟。

回复 (1) EdwardP 8天

关于直觉的起源、如何容纳直觉、谁拥有哪些直觉等问题，都有事实可循。

回复 (1) 古希腊人 6天

它们能否转化为规范？

回复 (1) EdwardP 6天

这取决于你如何定义规范

回复 Timothy Byrd 5月1日

如果早期基督徒玩的是不同于囚徒困境的游戏呢？

我最近读了《智力简史》，其中提到关于利他主义发展的部分大致如下：

• 社会中的其他成员注意到你表现出利他行为或背叛行为。

• 他们记住这些行为，你的声誉和地位也会相应受到影响。

• 这为更多的利他行为提供了安全保障。

（然后互联网出现了，这不再起作用。）

回复 (2) GrimMoar 5月1日

互联网上仍然有效，因为有社区的存在。社区对人类福祉很重要。

回复 (1) Timothy Byrd 5月2日 已编辑

更准确地说，Bennett 描述了语言技能提高的循环导致更多的八卦和惩罚背叛者，从而促进更多的非亲属之间的利他行为：

如果在一个喜欢八卦的群体中有人撒谎或搭便车，每个人很快就会知道：“你听说Billy从Jill那里偷东西了吗？”如果群体通过惩罚作弊者（例如拒绝给予利他行为或直接伤害他们）来施加成本，那么八卦就能使大量个体之间形成一个稳定的互惠利他系统。

八卦还能更有效地奖励利他行为：“你听说Smita跳到狮子前面救Ben了吗？”如果这些英雄事迹被传颂并成为爬上社会阶梯的方式，这将进一步加速选择利他行为。

（插一句：我大部分时间都很享受《智力简史》，尽管我认为当Bennett讨论AI时，书的结尾部分变得较弱。“令人惊讶地”，他写道，Chat Gpt-4能正确回答Chat Gpt-3答错的问题……因为Chat Gpt-4是在那些问题上训练过的。:facepalm: 而且这只是一个小问题，但在一些地方，他的语法检查器选择的措辞让我感到不适，以至于我记住了。

冲到狮子面前是一个很高的门槛，而我的互联网社区经验可能被描述为“在交谈中保持礼貌”。在我一生中有两次，我确实觉得我是在为一个既不是家人也不是密友的人冒险。这两种情况都需要深思熟虑和勇气，而且我怀疑自己是否有足够的力量再次这样做。对我来说，这些情况与一个互联网熟人的熟人在困境中，所以我给他们的GoFundMe捐点钱，是截然不同的事情。

因此，我认为互联网社区通常相当于拥有一位AI女友。我所在的唯一超越这一水平的在线社区是因为我们在现实中见面，不同的人群组织聚会，有些人甚至飞越整个美国参加。

《不同的鼓：社区建设与和平》是我在读的另一本书。作者 M. Scott Peck 认为建立真正的社区非常困难，因此它们极其罕见。这包括那些本应以社区为中心的地方，比如教堂。（正如 Josh Hickman 在《早期基督徒》一文中所评论的那样。）

另一个插曲：M. Scott Peck 的著名作品是《少有人走的路》，这本书讲述了他作为一名精神病医生从事心理治疗的经历。现在，ACX Scott 表达了他更喜欢开处方而不是担任治疗师。同样地，Peck 写道：“在我的前10个月培训中，我与高度困扰的住院患者一起工作，他们似乎从药物、电击治疗或良好的护理中受益更多，而不是从我这里受益，但我学到了传统的互动魔法词和技巧。”我找不到任何迹象表明 ACX Scott 读过《少有人走的路》，但也许这根本不是他的菜。

在书中，Peck 将抚养孩子比作长期的心理治疗关系。“因此，在良好的育儿以及良好的心理治疗中也是如此。” 这让我开始思考 ACX Scott 是否也在对自己的孩子进行心理治疗。

回复 B Civil 8天前

基督教的重大突破在于向人们承诺永恒的生命，并且如果你遵守规则，这种生活将会非常美好。不仅仅是统治阶级，而是所有人。

回复（1） Timothy Byrd 8天前

是的，这改变了游戏规则。有点像囚徒困境中的胡萝卜版本，其中有一部分几率黑帮老大会干掉告密者。

回复 dqnoryl 5月1日

简而言之：除非这些例子已经在功利主义的基础上被认为是不可接受的，否则不太可能被义务论的道德标准排除——但我不确定当代义务论是否就是你所指的。

值得注意的是，你所建议的接近决策理论的义务论概念，即“义务论作为一种假设协调机制”，并不一定就是义务论。例如，这种推理是规则功利主义反对行为功利主义的主要动机之一。

当代义务论通常相当多样化（但哲学上的每一种倾向都是如此）。其支持者经常使用“非后果主义”这一术语来描述这种倾向，因为看到他们团结反对什么比他们团结支持什么更容易。

那么，如果当代非后果主义不是一种假设的协调机制，那它是什么呢？非后果主义倾向于制定具体的道德工具，这些工具紧密贴合我们对特定案例的直觉——它比大多数后果主义更依赖直觉和“自下而上”的方法。例如：

• 手段原则——如果伤害不是利益的不幸副产品，而是实现利益的因果机制的一部分，那么利益能够证明造成伤害的能力就会大大降低。这就是为什么即使是大多数当代义务论者也会在最初的电车难题中拉动杠杆，但很少有人会支持为了拯救五个人而杀死并摘取一个人器官的做法。

• 责任调整——一个人的权利，例如不受惩罚的权利，可能会因其善行或恶行的历史记录而改变，即使没有预期未来后果的变化。

• 可排除的主张——当有更重要的利益在考虑时，我们可能希望排除某些较轻的利益——例如，如果一条生命处于危险之中，那么半宇宙的人得到纸割伤根本不重要；这根本不应该纳入我们的考虑范围。

非后果主义者确实提供了一些理论解释，试图将特定的工具整合到更广泛的哲学体系中，从而提高其理论的简洁性。一些常见的理论操作包括建议那种工具的缺失无法向相关团体证明其合理性——这是古老社会契约传统的现代继承者——或者论证需要尊重道德患者的特殊地位。

为什么我认为非后果主义者在这两个案例中不会有什么贡献呢？有四个原因：

1. 非后果主义者非常关注造成和防止伤害。即使基于非后果主义的理由，双方的大部分争议都在于每一方是否能防止更多的伤害而不是威胁造成的伤害——这是更大的、已经存在的争议。

1. 大多数非后果主义者认为，当赌注足够高时，侧约束可以被推翻——而双方都认为赌注是巨大的。

1. 对于在人工智能公司工作的人员来说，共谋是一个真正的问题——但大多数非后果主义者的注意力会被引向“如果我故意伤害某人，使其受到的伤害比原本要轻，这样做是否可接受？”与“在试图防止伤害的同时，是否会增加该伤害发生得更早且通过不同机制发生的可能性，同时为一家严重不公正的公司谋利？”后者的情况虽然令人不安，但比前者更容易被证明合理。

1. 这种大规模政治在民主制度中是不可避免的，而非后果主义者往往喜欢民主。也许如果存在重大风险，大规模政治会越界并对无辜第三方造成重大不公？或许担心的是必须通过故意误导人们关于你立场的原因来欺骗他们？这些情况看起来都非常假设性。

回复（1） The Ancient Geek 5月1日 编辑

后果主义者偏爱什么样的政治体制？

回复（1） dqnoryl 5月1日

b) 我们应该从不同的政治体系中预期到哪些后果是有很大争议的。

话虽如此，大多数后果主义者哲学家——像大多数学者一样——都是某种形式的左翼自由民主派。

回复 (1) The Ancient Geek 5月2日

他们注意到并反对基于规则的法律体系吗？

回复 (1) dqnoryl 5月2日

并不特别如此——像大多数考虑这个问题的人一样，他们通常认为法治有好的后果。

回复 (1) The Ancient Geek 7天前

他们不认为这使他们成为规则后果主义者吗？

回复 (1) dqnoryl 7天前

不是这样的。后果主义是一种关于什么使得行为正确或错误的理论——即我们应该或不应该选择什么。在这种意义上，对与错≠法律应允许或禁止什么。例如，想象一下，如果有10,000个后果主义者突然支持改变法律，使其将最大化效用作为唯一合法选项，将会产生什么样的后果。

回复 (1) The Ancient Geek 6天前 已编辑

那么有没有任何后果主义不是规则后果主义？安斯科姆为什么反对后果主义？

回复 (1) dqnoryl 6天前

有的——最著名的是行为后果主义。规则后果主义并不意味着任何支持规则存在的后果主义。关于不同种类的后果主义有一个很好的概述：

https://plato.stanford.edu/entries/consequentialism/#ConsWhatRighRelaRule

我不熟悉安斯科姆反对后果主义的论点——由于你提到这一点，我假设你知道得比我多。

回复 Nicholas Rook 5月1日

我认为正确的做法是义务论后果主义，在这种情况下存在一套职责，我们必须最大限度地遵守它们。

我们有责任以尊严对待他人。我们也负有减少痛苦的责任。成为一名集中营看守显然会违反第一个责任，并且可能只是模糊地符合第二个责任。在追求最大化的职责时，我们因此不会成为集中营看守。

假设我们可以单方面解散乌克兰的军队，我们需要权衡不杀人的责任、减少痛苦的责任、保护他国独立/自由/主权的责任以及不剥夺他人履行自己职责的能力的责任。大量的历史知识让我们相信，我们可能不应该解散他们的军队，因为这样做可能会导致更多的痛苦，更大的自由损失，甚至可能造成更多的死亡。然而……我们不能确定。我们确信的是，这将剥夺人们履行保卫国家职责的能力，因此解散乌克兰军队几乎肯定是错误的。

如果你接受这个视角，下一个问题是尝试理解哪些职责是无效的。好消息是大多数人在这方面已经有了相当不错的直觉。

回复 (1) GrimMoar 5月1日 已编辑

“我们有责任以尊严对待他人。我们也负有减少痛苦的责任。成为一名集中营看守显然会违反第一个责任，并且可能只是模糊地符合第二个责任。在追求最大化的职责时，我们因此不会成为集中营看守。”

你会怎么回应澳大利亚的一名拘留营看守，他的职责是追捕逃跑的土著儿童？

你认为你能说服所有人辞职吗？如果不是，那又是为什么？

（请注意，这是一个“在过去六年”中的例子。）

回复 (1) Nicholas Rook 5月1日

显然没有人有责任追捕和用狗攻击儿童；事实上，我认为我们有责任保护儿童。

回复 (1) GrimMoar 5月1日

猎犬。这份工作的目的不是攻击儿童，而是找到儿童（尽管这些动物可能会被孩子们视为危险，或者确实可能是危险的）。这不是问题所在，问题在于，你认为你能说服所有人辞职吗？（即使假定这是“攻击儿童”，你认为你能说服所有人辞职吗？）

回复 (1) Nicholas Rook 5月1日

我对这种情况不够了解，无法给出一个如何解决/优先处理冲突职责的良好分析。

我的简短谷歌搜索表明，大部分冲突都围绕着狗攻击儿童，而你所指的是那些事件。

我在简述中提出的框架是为了理解人类道德。我并不声称我能说服任何人做任何事。

回复 (1) GrimMoar 5月1日

你不认为，既然你已经提出了一个良好的人类道德框架，就能说服任何人？这似乎令人惊讶。为什么要提出一个没有说服力的框架？

回复 (1) B Civil 5月1日

它们都是没有说服力的，因为它们实际上都是废话。在一个依赖于物质需求和现实的世界里，不存在完美的道德框架。我认为这个整个探究最终归结于最基本的经济学。我们之所以愤怒是因为我们不喜欢它，但也因为它不可改变。如果我们想吃东西，我们就必须杀死其他生物。4万年前在法国洞穴里作画的人也理解这一点，并且这让他们感到困扰。

回复 Joyace 5月1日 用户因该评论被无限期封禁。显示 回复 Jack 5月1日

关于如何调和“行为上将其准则普遍化”与“乌克兰可以拥有军队”的方式，我认为正确的思考方式是，遵循你的准则是否会使你更接近通过普遍法则得到的世界。

对于乌克兰的例子，解散他们的军队不会使我们更接近世界和平，只会让那些保留军队的人更有力量，甚至可能让他们更有可能这样做。但我确实认为，不传播虚假信息会使我们更接近无误信息的世界。

IMO 这里相关的游戏不是囚徒困境，而是猎鹿博弈（特别是有超过两个人参与的情况）。在这种游戏中，正确的行动取决于你期望其他人怎么做，即取决于存在的规范是什么。

此外——我认为这个准则并不是解释暗杀事件所必需的。我的想法是，在考虑行为后果时，优先考虑即时且明显的事情，并对自己的预测或权衡更遥远的影响保持谦逊。

也就是说，如果我提出一个社会模型并预测说我去杀了一个随机的人会导致20年后世界和平，我不会那么做，因为我并不真正相信我的模型。如果有人问我“好吧，但如果你*知道*杀了那个人……”我的回答是“去你的，我才不会因为忠诚于不争论假设就去杀人”。

这同样是我对“你应该为了拯救无数人免受轻微不适而杀死一个人”的回答。

回复 (1) GrimMoar 5月1日

乌克兰解散军队让我们离泽连斯基被亚速营暗杀又近了一步。就是这样，整个问题简化成了一个更整洁的问题！暗杀世界领导人是坏事，因此要有军队！

回复 Robin Nash 5月1日

“不首先违背一个运作良好的规范”在我看来也不起作用，因为它可能会给社会带来过多的惯性。

决策的范围有多广？因为大多数规范并不适用于全球或贯穿时间。在纳粹德国集中营工作的士兵应该杀害和折磨犹太人吗？他们中的大多数人确实这么做了，所以从时间和空间上局部化到纳粹德国，这是一种规范。当然，我们会称之为非正常运作的规范，并且它违反了我们全球性的“不杀人”规范。但是不清楚如何设计一个系统来自动选择正确的规范，或者谁有权决定什么是运作良好的规范。

也许我们应该总是选择最全球化的？但即使这样在我看来也会带来过多的惯性。工厂化养殖很普遍，而且绝大多数人支持它（至少在经济上）。毫无疑问，这是一种全球范围内被接受的做法。如果你问普通人是否喜欢食品生产方式，只要你不具体说明太多，他们可能都会说喜欢。这是一种被接受的做法，因此是一种规范，并且得到了大多数人的认可，所以运作良好（？）。但是当然，很少有关注伦理的人会真正支持工厂化养殖。

你可以反驳说，大多数人实际上并不支持工厂化养殖中特定的实践（参见OWID最近关于该主题的文章）。但他们的行为并不能反映他们所说的话。所以再次，谁有权决定哪些标准更重要？如果大多数人认为它是运作良好的规范，那么这个规范就是“运作良好的”吗？

回复 (1) GrimMoar 5月1日

我认为你会发现很多自由主义者会支持工厂化养殖。那些不喜欢“工厂化养殖”的人也是那些认为绿色革命是世界祸害的人。

……是不是有太多的菠萝了？

回复 (1) Robin Nash 5月1日

抱歉没有明确指出是“动物工厂化养殖”。这里讨论的是伦理问题。如果你研究一下动物待遇的伦理文献，一旦你承认它们的痛苦很重要，就会发现动物工厂化养殖在道德上是站不住脚的。这也是理性主义者和EA圈子长期以来感兴趣的话题（例如Scott在2015年的一篇文章，讨论肉食者如何减少极端动物痛苦 https://slatestarcodex.com/2015/09/23/vegetarianism-for-meat-eaters/ ）。几乎唯一能够为工厂化养殖辩护的道德理由恰恰是因为它们普遍存在。而这正是我的批评所在：如果我们的道德体系允许某些事情仅仅因为它们普遍存在就被视为道德的，那么这就是一个相当薄弱的体系。

回复 (1) GrimMoar 5月1日

那不是真的。为工厂化养殖辩护的一个理由是它们为穷人提供了更有营养（或更好吃）的食物。一个孩子的痛苦比一条蜥蜴的痛苦更重要吗？如果是这样，你是否认为鸡的骨折也算作痛苦？因为这些来自无笼鸡蛋！而如果你不抵制无笼鸡蛋（而是购买当地农民生产的让鸡像蜥蜴一样奔跑捕虫并只在累的时候栖息的鸡蛋）……那你并没有遵循自己的原则。

现在，也许这是一个奇怪的例子（抱歉跑题了）。我们都知道喂牛玉米而不是小麦对它们不好（消化问题）。但这真的比喂孩子豆类导致的消化问题更糟吗？[这个问题留开放，我真的不知道。]

奶牛想要被挤奶，如果不挤奶它们会感到不安。如果你用机器而不是手工挤奶，效率更高。我不确定人们是否认为大多数乳品场是工厂化农场？你觉得呢？

回复 (2) B Civil 5月1日

它们产生了大量的小牛肉和小牛肝。

回复 Robin Nash 5天前

抱歉回复延迟，我最近非常忙。我完全理解你的意思，我必须说我以前也这么认为。但正如我说的，一旦你深入研究，就很难为工厂化养殖辩护。看看牛津大学的这篇文章（ https://www.ox.ac.uk/news/2021-11-11-sustainable-eating-cheaper-and-healthier-oxford-study ）。许多类似的文章和研究表明这一发现：纯素食通常比含有肉类或动物产品的饮食更便宜。虽然大多数研究基于西方国家，但我认为可以合理地假设，工厂化养殖不太可能帮助穷人，因为即使减少肉类供应也可能更具成本效益。

你可能会合理地抱怨健康问题，关于这一点的文献并没有那么明确的结论。但大多数独立研究人员的研究结果似乎表明，素食饮食的积极影响多于负面影响（参见这篇元分析：https://scholar.google.com/scholar?hl=en&as_sdt=0%2C5&q=vegan+health+meta+analysis&oq=vegan+health+metaan#d=gs_qabs&t=1777961896288&u=%23p%3DDyzIiZ2FnksJ）。但这并不意味着我们应该强迫任何人遵循素食饮食，而是说如果我们真的想帮助穷人，工厂化养殖动物并不是一个好方法。生产植物性产品会更经济有效，并且几乎不会带来任何健康方面的弊端。

至于散养鸡蛋，我认为“散养”这个词不过是一个糟糕的营销术语，所以我当然同意你的看法。你可以查一下工厂化农场中的“开放式”或“散养”实际上是什么样子，你会发现它仍然与传统农场相去甚远。是的，在工厂化农场中被困的鸡的骨折确实存在，这再次反映了我们当前食品系统中存在的许多无法解释的残忍行为。正如你所说，让鸡能够出去并像鸡一样活动的农场会好得多。

最后说到奶牛，我找不到任何权威来源声称奶牛是否喜欢挤奶。但考虑到奶牛和其他哺乳动物一样，除非它们生育了，否则不会产奶。所以他们所做的就是通过束缚奶牛来强行人工授精，然后技术人员用阴道内注射的方式注入。通常没有使用麻醉剂。然后奶牛们一生都在工厂化农场里度过，几乎不能移动。再次强调，这种难以想象的残酷行为几乎没有带来任何好处，而且与大多数人想象的传统农场相差甚远。

回复 Out Of Distribution - antb 5月1日 编辑

我同意Scott的观点，这些特定的道义标准，都或多或少涉及勾结问题，正在影响人们的行为。

我认为在这些特定情况下，人工智能安全整体上对这两点过于谨慎。

我是Pause AI的志愿者，并支持与关心不同人工智能风险的人们一起抗议，即使他们的某些立场我不赞同。我们在地面上甚至可以进行开诚布公的讨论。 activism 可以是有益的。

我自己也不会把在前沿实验室工作的任何人视为对手。其中一些人是可以交谈和合作的对象。不同的人基于不同的价值观和评估做出不同的权衡。我会站在Anthropic公司外抗议，但也欢迎在咖啡馆里聊天。

我们为了减少超级智能导致灭绝的可能性而采取的最佳行动组合几乎肯定是一个混合体。这是可以接受的。

回复 Yug Gnirob 5月1日

旁注：成为集中营看守以使囚犯生活更轻松的想法是，那个想要这份工作但没有得到的人仍然会在某个地方，他很可能会像真正的看守一样对周围的人造成同样恶劣的影响。因此，不仅仅是“是否会改善营地”，而是“是否会比其他人造成的环境恶化更有效地改善营地”。这几乎肯定是不行的。

关于主要观点：功利主义不能有违背后果的道德。要么需要外部因素，比如“上帝说这样做”，要么需要内部因素，比如“我能因为这个决定而安心入睡”。

回复（1） The Ancient Geek 5月1日 编辑

他会像真正的看守一样对周围的人造成同样恶劣的影响

即使他在德行上同样缺乏，也不意味着他的行为后果会相同。

回复（1） Yug Gnirob 5月1日

我对构建这一事件的整体画面没有兴趣，所以我只会简单回应“确实如此”。

回复 Torches Together 5月1日 编辑

我不太理解这里的论点。

道义标准的概念似乎是不必要的。普通的功利主义加上不确定性足以应对所有我能想到的例子。至于较粗略的社会规范，“坏事应该有相应的代价”就足够了。定义和量化坏事的问题仍然存在，但设定道义标准似乎意味着“我们应该在某些无限坏的事情上划线，比如暗杀”，但这显然是愚蠢的。

关于暗杀的问题——功利主义是有效的，暗杀已经带来了巨大的代价。我之所以不参与政治暗杀，部分是因为我认为这对我的运动不利，而且会有普遍的负面效用。但我也因为不想进监狱而不参与。

我还需要一个道义标准吗？不需要，而且我们不需要它真是太好了！三天前有一起公开的暗杀未遂事件，我没有听到任何谴责的声音，因为大多数人认为在某些情况下暗杀是可以接受的。

对于“不要与人工智能公司合作”、“不要与Steven Bannon合作”、“不要加入与可怕人物一起的抗议活动”，如果我们说“做坏事应该有相应的代价”，并且承认这些事情是坏事，那么做这些事就应该有代价。而且确实有代价（尽管不一定成比例）！如果PauseAI团队与Steve Bannon、CCP或Antifa密切合作，这将对团队产生个人和政治上的代价，他们必须权衡这些代价与利益。

当EAs与创造超级智能的人密切合作，比如Anthropic，应该会有声誉上的代价，他们必须权衡这些代价与利益。这当然更困难，但我看不出道义标准会让任何事情变得更清晰或更容易。

回复 Long disc 5月1日

关于总统暗杀行为规范的变化：一直都有疯狂的人写威胁信甚至计划暗杀总统。浏览维基百科，似乎在奥巴马时期这类威胁升级了。许多人被捕并入狱几年或在逮捕过程中被击毙。然而，如果我们看看由国内行为者发起的严重暗杀企图——其中袭击者确实有意图和手段杀死总统，并且正在执行一个现实的计划——从里根在1981年的暗杀未遂事件到特朗普在2024-2026年间的暗杀企图，这期间几乎没有其他尝试。或许克林顿在1994年的事件应该算作一次，以及2013年给奥巴马的蓖麻毒信和2020年给特朗普的毒信，可能还有2016年对特朗普的枪支管制也是。在特朗普的最后两年中有三次这样的暗杀企图，加上他第一任期中的两次。

因此，如果我们用泊松模型来模拟这些暗杀企图，我们会发现在1976-2023年间有5次事件，其中两次针对特朗普。而在2024-2026年间有3次事件。年均频率从0.1次上升到1.2次。这一变化在约0.2%的显著性水平下具有统计学意义。特朗普与非特朗普时期的对比为每年0.09次与0.72次，这也同样在约0.1%的显著性水平下具有统计学意义。所以，可以说规范确实发生了变化。

詹姆斯·伦格 5月1日

另一种假设可能是规范本身保持相对一致，即“不要暗杀相对正直的总统，只暗杀那些率领军队对抗合法美国政府的疯子独裁者。”这涵盖了广泛的社会共识，即回到过去暗杀希特勒或约翰·威尔克斯·布斯（因为他的抱怨是联邦的失败），或者特朗普在他政变尝试之后，甚至与一些开国元勋的一些声明也是一致的。

这种假设不太适用于查尔斯·J·吉托或约翰·欣克利·JR，但普遍认为他们脱离了现实，因此偏离社会规范是可以预期的。至于肯尼迪的事情，情况太混乱，我甚至不想尝试讨论。

长期讨论 5月2日

1960年代至1970年代与前后时期相比，在统计数据上也有显著不同，当时对肯尼迪（其中一次成功），罗伯特·肯尼迪（在竞选期间遇刺）和杰拉尔德·福特进行了两次暗杀企图。考虑到肯尼迪和福特的任期较短，这些事件的发生频率高于特朗普。因此，如果您的假设是合理的，那么也需要将肯尼迪和福特视为疯子独裁者。

詹姆斯·伦格 8天

关于整个天主教问题肯定存在一些争议。

至于相对于特朗普的频率……这种差异如何与整体谋杀率的历史趋势相比较？我相信它已经大幅下降，而愿意犯下谋杀罪的人数减少自然意味着任何特定的专门类型的犯罪也会相应减少。

兰多夫·卡特 5月1日

如果几年后出现十个道德条文，涉及诸如谋杀、贪婪、尊敬父母和偶像崇拜之类的东西，我会永远觉得有趣。

虫大师 5月1日

人们总是忘记第一条戒律的内容，可能是因为这条戒律多年来引发的问题最多……

迈克尔·沃茨 5月2日

“我是你的上帝”？

就像大多数古代编号清单一样，没有固定的编号方式。

虫大师 6天 编辑

主要是第二部分：“除了我之外，你不可有别的神。”

迈克尔·沃茨 6天

啊，你是说第二条戒律。

虫大师 6天

不，那一条是关于偶像崇拜的，我认为。不过，编号确实因版本而异。

迈克尔·沃茨 6天

https://en.wikipedia.org/wiki/Ten_Commandments#Commandments_text_and_numbering

矢量 5天

根据该资料，“除了我之外，你不可有别的神”是所有比较来源中除《塔木德》外的第一条戒律的一部分？

迈克尔·沃茨 5天

是的？

藤村 5月1日

我认为关注当前规范运行得如何稍微偏离了很多人在这种情况下考虑问题的核心动机。

我认为人们想象的是，也许现在，成为集中营看守或在AI公司工作并不会立即改变任何人的行为，但抵制会略微增加未来他人抵制的可能性，并推动一般规范向抵制方向转变，而投降则会略微推动规范向错误的方向发展。

可能每个人抵制的概率非常低（<1%），并且由于你的抵制而增加的概率更低，所以这可能看起来几乎不值得考虑。但是，人们也常常认为——我们唯一能改变现状的方法是慢慢说服所有人集中营或AI公司是坏的，因此即使成功的概率很低，效果微乎其微，我们也必须抵制。

莱帕奥 5月1日

喜欢这个缩略图哈哈

帐篷 5月1日

我自认为是一个元功利主义义务论者。一级功利主义在实践中是不可能的，正如这些愚蠢的思想实验所证明的那样，功利主义者经常出错。道德选择的效用可能是泊松分布的。义务论可以防止那些会抵消任何聪明的功利主义思想所带来的净收益的错误。

詹娜·萨里亚 5月1日

对于那些条文，义务论是唯一的正确框架吗？

后果主义——对于暂停活动的倡导者来说，是否有一种观点认为，由于安全洗白、双重用途安全研究或动机推理影响风险感知，边际资金给予实验室不会带来自信的风险降低？

对于实验室合作者来说，我认为主要的担忧是反效果风险——激进主义可能会增加 p(doom)，要么是因为它使问题成为政治周期的主题，要么是因为人们担心一个正确地被 AGI 支配的政府和民众会采取适得其反的行动？此外，我认为还有一个担忧是，为了减少 p(doom) 所必需的具体要求最终会被稀释成不起作用的东西。

你也可以从身份（美德？）的角度来看待这个问题。暂停活动的支持者通常是那些因为实验室撒谎、违反与安全相关承诺或在他们呼吁暂停时被拒之门外而感到沮丧的人，或者他们是一些从未有机会和意愿去做“内部游戏”工作的人。因此，他们的身份变成了“不喜欢实验室的人”。

实验室合作者通常来自精英渠道；他们的整个成年生活都是“内部游戏”，并且不认为自己是民粹主义者。他们习惯于从工程师或研究人员的视角看待世界——STEM 不应该是政治性的！——或者从在 501(c)(3) 组织工作的视角来看，法律和文化禁止你过于政治化。对他们来说，政治意味着他们在社交媒体上看到的令人不快的事情。因此，他们认为活动家和激进主义有些可疑。

回复 肯·卡恩 5月1日

关于暗杀，我想起了罗伯特·谢克利在1955年写的一篇讽刺故事，其中暗杀是合法的。https://chatgpt.com/share/69f47ac2-fcc4-83eb-ad19-106a0db6fbbe

回复 幸运木 5月1日

关于乌克兰的例子，我认为“拥有军队”和“使用军队去侵略其他国家”之间有显著的区别。在个人层面上，人类有能力犯下各种可怕的罪行，比如强奸和谋杀。但撇开原罪不谈，我们确实区分了有能力做坏事和实际去做坏事之间的区别。理论上，你可以有一个庞大的常备军，只是坐在那里等待可能需要的时候，虽然你可能会说这仍然是道德上的错误，但我认为这是一种不同于发动邻国入侵的错误类别。我们还可以将自卫中的暴力视为与无端暴力不同的道德类别。这也区分了乌克兰军队案例和集中营看守的例子：如果有可能接受集中营看守的工作，领取工资，实际上只是待在家里，不去上班，因此在工作中不会做任何道德上错误的事情，也许那实际上是合理的，特别是如果这能阻止纳粹雇佣一个更勤奋的集中营看守。但在实践中，当然纳粹不会让你有这种轻松的工作，即使是90%不那么残忍的集中营看守也必须在工作中做一些可怕的事情。

所以也许多边原则在积极行动的情况下有效，但在是否可以拥有执行某些积极行动的能力的问题上无效。

这似乎也适用于AI的情况，因为辩论的一部分是关于谁是真正重要的道德主体。如果AI只是一个强大的武器，那么你可以对制造它和使用它做出同样的道德区分。但AI安全人士的论点是，它更像是一个核武器，可能会自行决定发射。因此，将AI公司或政府绑定在关于它可以用于什么的法律和规范上，对于AI安全来说就像我庄严发誓绝不会发动核打击一样，对核威慑没有贡献。

回复 earth.water 5月1日

“我不知道如何解决这个问题，可能需要常识。”

尽管这是深思熟虑的推理，现实世界是混乱的，“常识”是模糊的。但只有当逻辑无法解决问题时才作为最后手段。考虑到“常识”经常起作用，它应该在推理中占主导地位，少用作后备方案，更多作为校验。

回复 迪塞奇 5月1日

“例如，你不应该暗杀民主选举的领导人，即使他们是坏人。”

你本以为这显而易见，但我在社交媒体上看到一些帖子（这些帖子可能更多的是为了表现美德而不是真的希望发生这种情况），说最新的暗杀未遂事件很遗憾失败了，或者最终会有人成功。

我忍不住对着屏幕大喊：“你们这些白痴，难道你们不明白这对你们自己一方也适用吗？如果你觉得特朗普被射杀是可以接受的，那么你也应该认为卡玛拉·哈里斯或AOC或你最喜欢的跨性别非二元DSA分裂派系的当选州代表也应该被射杀！”

因为如果你召唤出你无法压制的东西，它也会发生在你身上。哦，但是特朗普是坏的！他是独一无二的坏！这不是谋杀，这是革命！是的，你以为没有人拿着枪认为哈里斯/AOC/危险头发不是独一无二的坏，并且认为杀死他们是革命而不是谋杀？

回复（4） 格里姆莫尔 5月1日

我们还想指出针对斯洛伐克总理的暗杀企图（以及英国针对一位右翼政客的飞机暗杀企图）。有问题的是，不仅仅是基层士兵——这一代的掌权者非常愚蠢。

回复（1） 古希腊人 5月2日 已编辑

针对英国一位右翼政客的飞机暗杀企图

什么？你是说法拉吉的飞机失事了吗？

回复 拉吉 5月1日

我认为自己是左倾的，但我觉得现代左翼/自由主义最大的失败之一就是忘记或未能想象情况可能会变得更糟。法西斯这个词经常被抛出，但正常化暗杀这种行为实际上会导致我们滑向某种法西斯主义的安全国家。

回复 B Civil 5月1日

谁说过，“通往地狱的道路铺满了良好的意图”？

回复 JamesLeng 5月1日

你最喜欢的跨性别非二元身份的DSA分支活动家刚刚当选为Goosehollow州议员

这样的例子并不多。许多左倾的美国人看着民主党派系一直在做的事情……似乎更专注于阻止左倾候选人当选，讨好任何愿意倾听的右翼人士，而不是真正解决他们自己的筹款邮件中描述的生存威胁……Epstein的事情……甚至只是整个体系的老龄化……他们心里想，“是的，如果所有大牌政客，无论哪一方，同时死去，我们必须完全随机挑选新的一批，概率上这可能是个改进。”

回复 Silverlock 5月1日

“如果我知道义务论标准是什么或者它们从何而来，我会更好地参与这场辩论。”

义务论标准是治愈你的良药。

“所以我不确定在这种‘不要破坏未打破的规范’假设下还剩下什么——尽管我注意到这也为接受稍微不那么残酷的集中营看守工作提供了正当理由。

（为了拒绝集中营看守的工作，我认为你必须强烈承诺像每个人都会遵循你的规则一样行事，即使你知道这并不真实——但是我们如何处理军事裁军的例子呢？）”

有时建立新的规范是值得的，也许通过拒绝这样的工作并鼓励其他人也这样做。

回复 Pope Spurdo 5月1日

那听起来像是双重效应原则加上了额外的步骤。

回复 Brenton Baker 5月1日

其他人指出了个人行动与群体行动的区别，但我认为我对集中营看守的问题有一个答案：

从100%的残暴程度降到90%，会减少相当于一个集中营看守所造成的恶行的10%（考虑到替代效应——成为工厂工人之类）。

因此，只有在我认为0.1个边际残忍的看守是我能合理希望做到的最大善（即我能合理希望消除的邪恶）时，才值得接受这份工作。我认为0.1个边际残忍的看守是一个相当低的数量，因为没有一个看守能够希望阻止毒气室或喂养它们的机器；我不认为几个殴打事件真的会在大屠杀面前产生多大的差异。

回复（1） GrimMoar 5月1日

把酷刑减轻一点，然后去澳大利亚的拘留营——在那里你可能会被要求用狗追捕逃跑的土著儿童。你会做这件事吗？你会试图说服别人不做这件事吗？如果你这样做了，你觉得这会有用吗？

回复（1） Brenton Baker 5月1日

再次，除非系统足够宽松，让一个人可以产生持久的影响，否则几乎肯定可以在其他地方做得更多好事。帮助难民逃离这个国家，让他们不会最终进入这些营地，诸如此类。我认为即使只是从事一份平民工作以维持社会运转，让人们不至于挨饿，也会比在奥斯威辛稍微减少一些不必要的殴打更有积极意义。

回复 Fakjbf 5月1日

关于乌克兰废除军队的部分，关键在于仅仅因为有法律禁止某事，并不意味着每个人都遵守。我们有谋杀的法律，但人们仍然互相杀害，但这并不意味着我们应该放弃法律。作为一个社会，我们普遍同意政治暗杀是坏事，但仍存在政治刺客，如果我们的政客被暗杀，绝大多数人并不会认为报复对方政客是合适的回应。

因此，国家不能团结起来同意解散他们的军队，因为总有人可能会叛变并入侵邻国，所以成本太高。但他们可以通过结盟来减少担忧的人数。他们可以签署条约，如《日内瓦公约》，限制使用何种类型的武器和战术。对立的核大国可以同意减少核武库，每方允许另一方核实其是否履行协议。这些都是国家试图找到尽可能和平的同时仍保持自身安全和繁荣之间的平衡的方式。

回复 CompCat 5月1日

“如果一家公司的产品有90%的概率毁灭世界，而另一家公司的产品有80%的概率征服世界，给予80%者的资金/支持/鼓励似乎有点像是认可邪恶。”

这是否是一个心理健康物种应有的表现？这是对人类现实的一种非常合理的描述，谈论公司以及它们将如何终结世界。在这里，让我们记住背景。准备好了吗？数百万年来，生物基本上都在进行全球性的大屠杀。我们从中走出来。有菲勒克斯，他把青铜牛放在了地图上。还有各种各样的精神错乱的邪教，如果真的提炼其思想，这些邪教基本上只是最大化反社会行为的工具。然后是数千年的统治、战争、折磨，而人类则紧紧抓住真正价值观的碎片，比如道德、智慧等等。不是因为这些东西在进化游戏中有真正的胜算，而是因为没有它们，最终获胜的东西（权力/生存）无法以它自己的终极方式获胜（顺便说一句，权力/生存与智慧和道德是对立的，并且在DNA及其运作的生物追求权力/生存的方式上不兼容）。

现在我们在这里。几十年前，我们就已经对那些我们不喜欢的思考和行为方式进行脑白质切除手术。不是几个世纪，而是几十年。我们引爆了核武器。有些人认为那挺酷的。大多数人甚至都不眨一下眼睛（“但是但是但是！你没看过《奥本海默》吗？”去你的）。

这只是常规操作。全球范围内儿童虐待（实际上，包括成人虐待和动物虐待）的数量足以满足一个极其残忍的神的需求。我们只是继续前行，讨论两家有90%可能性终结世界并且有80%可能性接管世界公司的未来。这并不是什么疯狂的抽象概念。我们只是脱节了。你明白吗？我们脱节了，在这种反社会和精神病态的噪音中，没有任何哨声足够响亮。那些恶意的孩子已经设法使房间里的成年人镇静、筋疲力尽并淹没他们的声音。爸爸妈妈似乎帮不上忙，而且这对每个人来说都是一场紧急情况。

回复 B Civil 5月1日

关于：接受集中营守卫的工作，认为可以改善这种情况：

傲慢是否可以被视为一种义务论标准？

回复 thewowzer 5月1日

缩略图应该是他在说唱而不是喝啤酒

回复 Demarquis 5月1日

我一直很好奇人们似乎有一种强迫性的驱动力，想要找到一种单一的一致的伦理或道德哲学，适用于所有人和所有情况，无论环境如何。我很久以前就让自己相信，这样的哲学不存在——人类种族因对正确和错误的不同定义而分裂。对一个派系来说正确的事情对另一个派系来说可能是错误的，这似乎是人性的一部分。我相信这是由于进化——我们被选择来组织成小团体相互竞争，并使用正当逻辑来给自己的小团体某种说服优势（这可能有助于吸引盟友）。这意味着，无论“整个社会”（在这个范式中实际上并不存在）采纳了什么样的道德标准，对于许多小团体来说，形成反对它的联盟会满足原始的情感冲动。在文化观念的战斗中，派系情感总是会击败普遍逻辑。我们并不是为了彼此同意而设计的。“我相信人们可以寻求并实现多种价值”。

另一种选择是投入资源到政治过程中，帮助确保我们能够以最小的破坏性冲突和暴力水平和平相处。（我们可能无法完全消除破坏性冲突和暴力的可能性，但我们可以通过努力将其最小化来成功做到这一点。）政治完全是为了用最少的破坏性浪费解决派系间的冲突，我们知道一些行之有效的方法。正如“民主是最糟糕的政府形式，除了其他所有形式之外”。

让我们停止寻找普遍的逻辑解决方案，开始思考更好的方法来鼓励人们互相容忍。

回复 Tim 5月1日

我对为什么人们（尤其是非宗教人士）认真地相信地球上的所有生命即将不可避免地灭绝，却反对使用暴力来避免这一未来感到困惑。即使是一个不稳定、无法律、混乱的文明也比一个没有生命的星球更好。

我可以想象有一种论点认为使用暴力只会加速所有生命的灭绝，但肯定在某个时刻，暴力将是唯一的选项，对吧？

回复（2） Donald 5月1日

但肯定在某个时刻，暴力将是唯一的选项，对吧？

我认为你高估了暴力的有效性。

暴力基本上总是一种选择，你可以拿起刀子在街上刺杀随机的人，直到他们把你关起来。

四处游行抗议和挥舞标语也是一种几乎总是可行的选择。

用锤子砸自己的手指也是一种选择。

即使在绝望的情况下，也没有理由认为暴力会比砸自己的手指更有效。

回复 ilya187 5月2日

我能想到几个可能的原因：

1. 他们声称他们确实相信地球上的所有生命即将不可避免地灭绝，但内心深处，他们其实并不这么认为。

1. 他们想不出任何具体的暴力行动能有效地阻止这一事件。

2a. 他们知道历史上，非暴力抵抗比暴力抵抗有更好的长期有效的记录。（很少有人知道这个小事实）

1. 如果他们真的相信地球上所有生命的灭绝是不可避免的，那么从定义上讲，无论暴力还是非暴力行为都无法阻止它，他们还不如享受生活。因恐怖主义指控入狱往往会干扰享受生活。

回复 Eitan Cohen 5月1日

为什么不把你的准则当作一个普遍的法律，这个法律可能会受到一些坏人的侵犯？

回复 Donald 5月1日

我认为关于这一点的一个问题是，它严重低估了公司运营中信任的程度，一个积极反组织的员工可以造成损害。

这不仅仅是那个不想让组织成功的一个人可以以90%的生产力继续工作。而是说一个认真对待的人很容易有-10的生产力，甚至可能更低。

同样，这取决于技能和愿意打破其他道德规范。把有毒沙拉带到公司的聚餐或放置炸弹摧毁整栋建筑可能是非常有效的，但这些行为打破了不同的道德规范。

不过，仍然有很多机会进行大规模的财产破坏（比如在服务器室通风系统中放入铜屑，参见CIA简易破坏手册 https://www.gutenberg.org/ebooks/26184）。如果你编写代码，也有很多机会植入微妙的恶意软件。（参见《对信任的信任的反思》）还有机会玩办公室政治。把所有人都困在无休止地讨论政治上有争议但最终无关紧要的问题的会议中。

回复 Christopher 5月1日 已编辑

我认为EDT在这种情况下做得很好。

如果乌克兰为了和平主义解散其军队会是好消息吗？这可能会让人感到鼓舞，但实际上不会，因为我知道不是每个国家都会效仿。即使除了一个国家外都效仿了，我猜那个不效仿的国家是邪恶的。只有当我确信每个国家的领导人都像泽伦斯基的双胞胎一样时，这才会是好消息。

如果我得知我决定开始为更大的利益而犯罪，比如暗杀，这会是好消息吗？不不不。即使这个国家里没有我的双胞胎兄弟姐妹，这也提供了证据，表明可能有数百个美国人也和我有同样的想法。就像之前的例子一样，相关性很低，但含义完全不同！这不仅会给国家带来混乱，还会危及我和我所爱的人（因为作为一名刺客，我可能是高价值目标）。此外，其他国家会利用心理学预测这种情况并加大安全措施，浪费资源却没有好处（因为现在为了更大的利益的犯罪也不会成功）。例如，由于SBF，人们不再信任EA的财务状况。

如果你认为对齐问题是可以解决的，那么为AI竞赛做出贡献会怎样？我不确定EDT会如何预测，你需要收集一些关于AI研究人员之间的相关数据，然后运行模拟。当然，保证合同可能会有所帮助？（但如果保证合同在理论上如此有效，为什么在实践中没有更多使用呢？）

AI政治的例子可能超出了模拟范围，但直觉上我认为这是个好消息。缺点是它提供了证据，表明人们进入AI政治也会面临危险，浪费资源等等，但总体来说仍然是净正面的。疯狂的人不太会影响我的计算，即使考虑到其他政治运动也可能有疯狂的人（也许这是乐观的想法？）。

如果我听说Scott Alexander开始在网上为更大的利益撒谎，这当然是坏消息！在他之后谁会接替他，Isaac King？

我想你可能会把“道德规范”定义为一个X，听到“X将在试图造福大众的情况下被执行”是坏消息。

回复 Victor Thorne 5月1日

我认为这里一个相关的问题是，与暴行不同，AI是如此新，围绕它的许多文化规范仍在形成中，因此完全拒绝参与可能会建立至少一个围绕AI使用的道德规范亚文化，这在我们这个勇敢的新世界中可能是有用的事情。

回复 JamesLeng 5月1日

共和党人进行报复性暗杀

这似乎基于一个假设，即现有的刺客本身并不是共和党人，但这并没有证据支持。

左翼分子并不像想要特朗普个人死亡那样强烈地希望摧毁他背后的机构，而他现在作为一个活生生的人比作为一个烈士更能有效地做到这一点。

回复 Jiro 5月1日 已编辑

和平反AI运动不需要排除很多疯狂的人，因为所有运动都会遇到这种情况。它需要排除很多疯狂的人，因为“这种威胁极其紧迫，并将导致人类灭绝”是那种大多数人在真正相信时会证明暗杀、恐怖主义和其他极端措施合理的威胁范例。这就是为什么人们会说其他原因没有很多疯狂的人；你的原因是那种情况，其中疯狂是合理的，这是一个艰难的挑战，要找出为什么它不合理。你之所以没有得到更多的疯狂分子，只是因为大多数人不相信他们的事业像他们声称的那样极端，大多数人也不遵循他们信仰的逻辑后果。

这就是为什么酷刑论点是“如果有一个定时炸弹，如果我们不施加酷刑，那么几百万人都会在一小时内死去”。它是紧急的，有大量伤亡，这意味着你可能需要采取极端措施来阻止它。

回复 (1) ilya187 5月2日

大多数人不会遵循他们信仰的逻辑后果。

如果那些说“堕胎就是谋杀！”的人真的相信这一点，那么会有更多的堕胎诊所遭到爆炸袭击。

REPLY hnau 5月1日

后果主义在这里需要回答的真正问题是：如何区分“义务论门槛”与那些还不值得付出的社会/名誉成本？

REPLY ultimaniacy 5月1日

约束性后果主义者认为，你应该尝试去做改善世界的好事，除非这些好事违反了严格的规定（“义务论门槛”）。

这与普通的义务论有什么不同？

大多数义务论者是否认为，即使你在做某事时没有违反任何义务论规则，你也应该避免试图去做那些有良好后果的事情？

REPLY Vittu Perkele 5月1日

称之为“乌克兰”

基于第二阵营的Scott认识到乌克兰是俄罗斯国家的合法领土！

REPLY (1) Dabor 5月1日

我本来打算评论这个，但后来他在帖子中称其为“只是”乌克兰，所以我假设这只是个口误。

REPLY (1) Vittu Perkele 5月1日

开玩笑归开玩笑，我一直听说在欧罗巴玛伊丹之前，人们称其为“乌克兰”，而且我认为这应该是反映英语特点的一种可接受的称呼方式，而不是对这个国家地位的看法，就像我们说“冈比亚”一样。

REPLY (2) Dabor 5月1日

我的家人来自哈尔科夫（所以是全俄语的乌克兰人，尽管我在三岁时就住到了纽约），我想指出的是，我认为（多语言）人在英语中认真对待这一点的部分原因是它反映了俄语中的一个区别——我父亲直到2024年才改掉说“на”而不是“в”乌克兰的习惯，尽管由于城市遭到轰炸，他无法为自己的母亲举办葬礼。鉴于这个国家基本上是以边境地带命名的（“край”意为“边缘”），这有点像是“住在边境”和“住在边境地带”的区别。

也就是说，我也知道“乌克兰”和“伊拉克”只是人们听了无数次的东西，但现在人们也知道一些乌克兰人会因为你说“乌克兰”而生气，Scott 在支持乌克兰军事行动的帖子中加入这一点是一个有趣的测试。我不知道如何处理“乌克兰必须征服俄罗斯并拥立泽伦斯基为新沙皇”这样的说法。

REPLY (2) Hoopdawg 5月2日

波兰也有类似的“на”/“в”区别，并且有一种推动使用后者来称呼乌克兰的美德信号行为。（虽然在这种情况下，“на”据说意味着乌克兰是波兰的合法领土。这，嗯，可能是历史上的原因。）

然而，大多数这样做的人不愿意将同样的道理应用到拉脱维亚、立陶宛、白俄罗斯、斯洛伐克、匈牙利等地（克罗地亚/斯洛文尼亚则持平）。特别是匈牙利，“我们Węgrzech”听起来非常刺耳且难以发音。这使得他们很容易被忽略，尽管我相信他们会最终通过纯粹的消耗战赢得这一场。

REPLY (1) Dabor 8天前

这真的很有趣。在俄语中，乌克兰是唯一一个使用这种语言结构的后苏联国家（尽管它从苏联存在之前就开始使用这种结构，而且许多不是前苏联国家的地方仍然使用这种结构，比如古巴也用“на”而不是“в”，并且一直受到俄罗斯的尊重）。如果这是波兰的一个大规模模式的一部分，而不是俄语中的一个奇怪的局部异常，我可以理解更多地坚持使用“на”来表示乌克兰是有理由的。

REPLY Volja 5天前

我实际上打算代表那些愤怒的乌克兰人发表评论，但你抢在我前面了。哈哈。

REPLY B Civil 5月1日

或者叫“布朗克斯区”

REPLY Connor Saxton 5月1日

不接受集中营的工作为什么会被视为自动输掉游戏？你怎么输了？

REPLY George H. 5月1日 已编辑

不！你不杀人（暗杀领导人）是因为杀人是错误的。（抱歉，也许我不够老练，不适合写这个博客。）

编辑：好吧，为什么对特朗普的暗杀企图几乎没有进行调查？

稍后；不，你不应该故意传播虚假或误导性信息。

好吧，我要说的是去某个宗教寻求道德。“己所不欲，勿施于人。”这涵盖了大量行为。

*两个驴子在暗杀？我的拼写很差，我还在学习单词。

REPLY (1) James Camacho 8天前

什么使杀人成为错误的行为？如果一种宗教规定了一些道德准则，是什么使这些事情真正具有道德性？事情是好的因为神明规定它们是好的吗，还是神明规定好的事情是因为它们本身就是好的？杀人是错误的，是因为你这么说，还是因为你这么说是因为它是错误的？什么使杀人成为错误的行为？

REPLY (1) George H. 8天前

己所不欲，勿施于人……你想让别人杀死你吗？还有许多宗教信仰也反对这一点，比如基督教、佛教……杀人是错误的。听着，我们知道在过去我们有很多杀人的传统。主要是针对“其他人”。但我们已经长大，达成了共识，认为杀人是错误的。或者你觉得这没问题？

REPLY (1) James Camacho 8天前

我并不是说杀人是对的，我只是说你没有给出一个合乎逻辑的理由。

“我不想别人杀了我”

*非 sequitur*

“因此，我不会杀别人。”

第一个陈述如何证明第二个陈述？你关心不杀蚂蚁吗？阿米巴虫？并没有像你关心不杀人类那样，所以显然你心中有特定的“他人”定义，这改变了你为什么不应该杀这些“他人”的原因。

嗯，我不确定这里是否有某种“逻辑”原因。有人可能会称之为普遍的精神氛围，也许是宇宙的观点，（抱歉，我刚刚听了 Sean Carroll 和 Peter Singer 的播客。）其他人可能会称之为上帝。不管怎样，我们都已经达成共识，认为杀人是错误的。关于杀害其他生命，我会同意这在某种程度上是相似的层面，也许是我们还没有进步到认为这是错误的程度。我说这话时闻到了周日早上的培根味。我喜欢吃培根。

无论如何，逻辑是一件美妙的事情，但它不是唯一的东西。我喜欢我的水牛体育队。（加油，军刀队！）但是如果你从逻辑的角度来看待职业体育，那么整个事情看起来有点可笑。

回复 (1) 詹姆斯·卡马乔 7天前

你如何称呼做出推论的过程，包括推论自己所做的推论是否正确？我称之为逻辑。

也许你不喜欢古典逻辑。“我喜欢我的运动队，但如果你从逻辑的角度来看待运动，它看起来有点可笑。” 我会说你在使用一种情感逻辑：什么是正确的就是你觉得好的。所以，你无法写出一个数学公式来描述为什么支持军刀队很有趣，你只是觉得它是。 （可以说，也许一个足够大的公式可以模拟你的大脑并看看是什么让它运转，但我们限制自己只考虑2026年可用的技术。）

同样地，你看不到“逻辑”理由不去杀其他人，仅仅是因为我们达成了一种共识，这让我们感到不舒服。而且，传播这种共识的方法（因为总会有好奇的小男孩和小女孩）是从小就教育每个人，谋杀是坏事，*简单地说*。这是一种*罪行*，所以即使你想到它也应该感到内疚。

我对情感逻辑（或通过大脑感觉什么是正确来决定）有两个问题：

1. 如果你能亲眼看到某件事，你会对它感觉更好，但因为你的大脑还没有准备好去实现它，你永远也无法做到这一点（例如烹饪）。

1. 拥有不同正义感的人如何达成一致？或者这是不可能的，如果他们没有尽早接受你的正义感，那么你们必须有根本性的分歧，直到其中一方灭绝另一方。

回复 (1) 乔治·H. 7天前

哦，我喜欢逻辑思维。如果我在排除故障、修复或调试某个东西，那么逻辑是最好的方法。修复某物的乐趣与你的球队赢得曲棍球比赛的乐趣不同。但仍然是一种乐趣，也许比体育更持久，拖拉机多年后仍然可以工作。情感逻辑对我来说毫无意义。情感超越了逻辑，或者只是不同的维度。我喜欢我的运动是因为情感体验，其他球迷说他们喜欢那种把对手打得落花流水的比赛。但我最喜欢的是那些来回拉锯的比赛……结果直到最后一刻都悬而未决。这可能可以用一些激素或化学物质的释放来解释……但没有任何逻辑在里面。

哦，还有“直觉”，“哦，这是一个糟糕的情况，我应该离开。”然后你应该离开。这也是超越逻辑的。（也许是在潜意识中进行了一些分析。）

1.）。我不明白这个？（我喜欢烹饪。）

2.）我认为我们对正义感的看法基本相同。这就是我的观点。我想你可以不同意。陪审团就是对此的一种测试。如果来自其他文化的人有不同的正义感，那么我想那是外交官们需要解决的问题。或者正如你所说，最终是战争。

回复 (1) 詹姆斯·卡马乔 5天前

情感超越逻辑吗？直觉超越逻辑吗？胡说八道。如果你能推理和讨论它们，那就是逻辑。

回复 (1) 乔治·H. 5天前

也许下面是一个更好的图像而不是超越。抱歉我说过超越。情感和直觉处于不同的层次。如果我的孩子溺水或被困在燃烧的建筑物里。没有逻辑可言，我要去救他们，或者至少尝试。嘿，也许我们可以在这个问题上意见相左。哦，你有没有过洗澡时的想法？当你一直在思考一个问题，并且用尽了所有的逻辑。然后在一个早晨洗澡时（或其他时候你做熟悉的工作……开车上班。）砰的一声，答案突然出现在你脑海中。你就会说，“哦”。那是我的潜意识，与直觉有关。

回复 beowulf888 5月1日

由于我轻微的阅读障碍，我把标题读成了“牙科逻辑条”，我以为这是关于防止我们磨牙的设备。但正如艾米莉·利特拉著名所说：“没关系。”

回复 安德鲁 5月1日

我曾经写过一篇不太好的 LessWrong 帖子，现在有12个赞。https://www.lesswrong.com/posts/JwfkYzTehmGsizvuL/failing-safely-is-the-anomaly。我的看法是：默认情况下，人类是疯狂的，如此疯狂以至于默认假设应该是任何人的主张实际上都是疯狂的，并且会使社会变得更糟而不是更好，而古典自由主义的伟大胜利在于找到减轻这种危害的方法。

回顾起来，我认为我还应该提到个体也会因此受益，除了社会。例如：西方的扁平地球论者在网上受到嘲笑，但他们本身比不断谋杀他人直至死亡的非洲博科圣地成员更好。但我想我的主要观点仍然有效，即任何有主张的人都可能是妄想的，并且需要采取安全措施以防万一他们错了。

这就是我所说的义务论标准。

2) 最好的行动是后果最好的行动，仅此而已。但从人类心理学（或不太合理的理性行为）的角度来看，一个人应该有意遵守这些约束。

从道德理论的角度来看，1 看起来很难证明其合理性。但一旦转向 2，就不再清楚为什么你会期望规则实际上会被明确界定。人类心理学相当复杂且混乱。

回复 Hoopdawg 5月2日 编辑

我认为打破禁止暗杀的规范会授权报复性暗杀，并不是特别有争议的事情。有些地方甚至允许对那些已经丧失能力且无法再造成伤害的人进行报复性暗杀，我认为这种政策有几个原因是有问题的。当然，报复性地或在某些情况下甚至先发制人地违反规范，针对那些可信地试图破坏规范的人，实际上是常识。

这就是规范如何得以执行的方式。它们依赖于一种共享的理解，即你只有遵守规范才能受到保护。

你可能想说的是，人们不应该通过重新解释规范来为自己破坏规范的行为找借口。（例如，宣称你的政治对手——不仅仅是个别刺客——因为没有对某个刺客表现出足够的表演性愤怒，或者之前对受害者说过坏话，而打破了规范。）你可能会认为这种规则法理学可以让你在达到处置那些你觉得不便的人的目标后，仍然维持规范，但实际上并非如此。人们会注意到你在做什么，规范就会被侵蚀，很快你会发现它也不再适用于你了。

说到说坏话，我认为这篇文章和评论都在某种程度上低估了一个事实，即特朗普最近下令暗杀（和/或绑架）其他国家的领导人。这使得他的暗杀，特别是，很可能并不是你想象中的那种简单明了的例子。（即使你认为国际关系遵循不同的规范，“不要伤害霸权力量，否则它会开始反击”仍然是一个有效的规范，当它开始随机反击时就会失效。）特朗普到目前为止已经非常招致了自己的暗杀，最近的尝试只是让我耸耸肩而不是担心规范被侵蚀（正如他们所说，这艘船已经驶远），如果你认为我陈述这一简单事实表明我不愿意遵守规范，那你就是在射杀信使（可能是字面意思）。这主要表明我不是美国人，更关心国际规范而不是你们自己的内部规范。

但是，是的，这就是规范如何被侵蚀的过程。大多数人并不是一有机会就想开始破坏规范，他们只是发现越来越难以主动为那些不遵守规范的人（如果不是按字面意义，至少在精神上）捍卫规范。最终，需要某种形式的重置以达到稳定平衡——无论是通过[合法罢免特朗普并可信地假装他是个例外]，还是[内战直到大家都厌倦为止]，还是[大家完全放弃规范]——这在很大程度上取决于人们的忠诚最终是放在规范上还是各自的部落/即时自我利益上。

回复 Tibor 5月2日

我认为，如果你想成为一个彻底的结果主义者，你也需要考虑对自己产生的后果。主动伤害你不认为应受伤害的人（就像集中营的例子中那样）对你自己也是有害的（除非你是精神病患者）。

即使你是一个圣人，愿意牺牲自己的福祉，你也必须权衡这样做的机会成本。你很可能可以通过其他方式提供帮助。也许试着把一些人从集中营里救出来。也许破坏它的运作，也许帮助更快结束战争，这样集中营就没有那么多时间去杀人了。

在假设的情景中，如果真的没有任何其他方法可以帮助，而你唯一能做的就是成为稍微不那么残酷的看守，那么这似乎是可以理解的。只是这种假设离现实世界太远，所以没有多大意义。

一个更现实的情景是你能够影响谁成为看守，并选择那些不那么残酷的人，这似乎更现实，也更直观地好（尽管你可能还需要结合其他微妙的方式来帮助）。

避免成为稍微不那么残酷的看守的另一个原因是，这可能会改变你成为一个真正残酷的人，你本能地想要避免这种情况。

在解散/保留军队的假设情景中，这些考虑并不相关。保留一支不需要的军队可能是浪费，但它并没有积极且故意地伤害任何人——不像集中营的看守。

回复 Nancy Lebovitz 5月2日

等等——我们是怎么从不杀民主选举的领导人变成不杀任何人？

另外，之前有一篇关于奥尔班是否是独裁者的帖子。结果发现“民主选举”并不是一条清晰的界限。

回复 Aiken 5月2日 编辑

这里是否存在某种（自然主义的）“实然-应然”谬误？

当然，功利主义几乎天然地面临这个问题，尤其是规则功利主义（听起来像是“道义门槛”）。然而，听起来后果主义者在这里犹豫不决，并不是因为他们关心这些“门槛”，而是因为行动可能会树立自我削弱的先例。所以他们只是“实用功利主义者”，这与传统的功利主义并无二致。这里发生的一切只是道德论证与实际论证的混合，但这确实突显了知识准确性（“能力”）对功利主义来说一直有多么重要（例如，共产主义者）。

回复 古希腊人 8天 编辑

例如，你不应该暗杀民主选举的领导人，即使是那些非常糟糕的人

后果主义和义务论并不是唯一的游戏。也许你不应该暗杀别人，因为你不是詹姆斯·邦德，但詹姆斯·邦德应该这样做，因为他有执照可以杀人。在非常受控的情况下允许暗杀可能比永远不杀希特勒的普遍规则更好；或者允许任何人暗杀他们不喜欢的政治家的自由放任政策。每个人都接受某种版本的这种观点，比如警察可以这样做而平民不可以。

回复 普拉纳 8天

我个人对康德格言的理解是：

只根据那种如果被现实比例的理性行为者采纳，能够最好地产生最优状态的准则行事。

我定义准则为：一种可普遍化的行为规则，其评判标准不是它所允许的行为的道德直觉，而是它合理预期能够产生的状态，在这种状态下，合理性标准随着潜在危害的大小成比例上升。

我还需要改进它，但这是我目前最好的版本。

回复 詹姆斯·卡马乔 8天

答案是SharkBot：

$$

S(X) \leftrightarrow \Box(\Box S(X) \to X(S)) \land \Diamond(X(S) \to \Diamond S(X))

$$

S(X) ↔ □(□S(X) → X(S)) ∧ ◇(X(S) → ◇S(X))

“如果你能证明你的可证明合作会带来他们的合作，那么就合作；并且有可能他们的合作会带来你合作的可能性。”

等价地，我们可以简化

◇(X(S) → ◇S(X))

为

¬□(X(S) ∧ □¬S(X))

这表示

“即使你在可证明背叛的情况下，也没有证据表明他们会合作。”

第一部分防止你成为一个合作的石头，而第二部分在与合作的石头玩游戏时实现最大效用。这不是我的想法，约瑟夫·卡马乔在LessWrong上写过：

https://www.lesswrong.com/posts/LaCP6WyNzX8kiZn3w/payorian-cooperation-is-easy-with-kripke-frames?commentId=uyG83hDfNBfjPxeou

回复 szopen 8天

“不要成为第一个违反通常运作规范的人”。

好主意！可惜在现实生活中，人们可能会通过（正确或错误地）暗示另一方已经违约来为自己的行为找借口，所以我们必须这样做。我是波兰人，我在波兰政治中见过这种情况；但我还关注了许多右翼博客（是的，我年轻时曾经很激进），他们声称右翼人士最终必须摘掉软手套，因为另一方多年前就已经违约了。

（真遗憾我找不到那个曾经流行的关于“保守派是一个站在历史面前大喊‘停’的男人”的梗图，里面有一个站在火车前面的人）

回复（2） 迪伊森奇 7天

哦，如果我们追究“谁先开始”的话，那将没完没了。但今天报纸上的一篇专栏文章震惊和愤怒地指出，爱尔兰的亲堕胎一方并没有停止在他们通过的有限法律变更上，他们想要的是没有任何限制的堕胎。这并不是她在废除第八修正案的公投中投票“是”的初衷！

我不得不说，“好吧，你以为会发生什么？亲堕胎一方从一开始就公开表达了他们的目标和目的。她为什么认为需要废除第八修正案，而不是仅仅修改？或者新的立法来明确医生何时可以干预终止不可存活或已经死亡的胎儿的妊娠？他们需要它被废除才能得到他们想要的东西。任何对英国和美国堕胎情况的看法都应该告诉她同样的事情：堕胎从“仅限于特定情况下作为最后手段的外科手术”变成了“基本人权”。

这就是为什么我在2018年投票“否”，除了道德上的考虑之外：“但是……但是……但是他们说不会改变任何东西！”对此我只能回答，上帝原谅我，“你这个愚蠢的女人”。当然，运动会继续争取直到得到他们想要的，当然，政客们会像当时那样屈服——如果公众舆论认为“这里有选票”，他们会废除一切，因为那些发誓“到此为止，不再前进”的人不再掌权，现在是一场全新的游戏，宝宝。

道义门槛。打破它们，当你发现破坏的结果并不是你想要的时候，你就无法把它们粘回去。

回复 杰弗里·索弗 4天

关于“保守派是一个站在历史面前大喊‘停’的男人”

至少这句话可以在 https://thepenngazette.com/standing-athwart-history/ 中看到

[关于威廉·F·巴克利]

在1955年《国家评论》创刊号上宣布杂志将“站在历史面前，大喊‘停’”，当时没有人愿意这样做之后，他逐渐成长为一位保守派的幕后推手，总统和潜在的总统都冒着危险忽视他。

回复 自力更生 7天

后果主义者再次试图以后果主义的标准来判断义务论的成功。这没有认真对待义务论的观点，即伦理问题在这个世界的意义上与结果无关，成功、失败、痛苦、快乐等都不能作为证据。

正如整个剧集所展现的那样：在前两集中，一个具有功利主义倾向的角色得到了一个强烈的提醒，他应该在某些地方设定一些规则性的护栏。在剩下的61集中，他试图弄清楚如何、在哪里以及为什么这样做。

其他主要角色代表了其他可识别的道德立场：一位义务论者、一位重视美德的人、一种以牙还牙的功利主义者、一位隐蔽的功利主义者（当有人看着时假装有规则，为了社会结构，但在确定不会被抓到的情况下打破它们）。随着剧情的发展，所有这些角色的观点发生了深刻的变化，但大多数情况下仍然保持在这些类别之内。

我从未见过寓言被如此不枯燥或更细腻地处理过——如此细腻以至于几乎没有人怀疑它与道德哲学有关（当时）。（如果相关的话，这可能是本世纪最好的艺术作品。）

回复 罗伯特·穆什卡特布拉特 6天前

也许你对争论具体例子不感兴趣，但……

一些与公司合作的人认为可能存在针对某些类型的大规模活动的义务论障碍。

我不认为这是真的。我在Twitter的相关部分花费了很多时间，我认为我从未见过实验室员工认为参与这种特定形式的大规模活动会违反任何类型的义务论禁令。我确实看到一些e/accs（以及其他一些人）建议试图减缓AI可能会导致人员伤亡（预期），还有（更多来自各种恶意评论者）认为那些认为未对齐的ASI可能导致人类灭绝的人在道德上应对诸如疯狂的人攻击Sam Altman之类的事情负责，但即使在这种情况下，我也从未见过他们说“并且你通过提出这样的论点而违反了义务论禁令”。部分原因是他们并不是真的以那种方式运作，但也因为这种说法相当疯狂，试图明确而不是隐晦地提出这个论点会使他们的整个论点显得非常不真诚，除非他们提出了一个非常令人惊讶且有说服力的理由。

我见过更多的人提出可以解读为“由于需要支持我认为错误的主张，我义务论禁止参与许多可能为此主题组织的抗议活动”，但这些人中的大多数（据我所说）如果唯一的替代方案是没有暂停期，他们会接受由全球条约强制执行的5-10年暂停期。我认识的一个这样的人在一家实验室工作。（我知道不止一个这样的人在实验室工作，拥有这种特定的信念组合。）这感觉像是一个与该段落描述完全不同的门槛，我认为他们也不会声称人们应当被义务论禁止从事“与史蒂夫·班农合作、与伯尼·桑德斯合作、与反对数据中心建设的邻居合作（因为他们可能建在某人的后院或非工会劳工建造）、训练TikTok影响者制作关于AI危险的短视频，以及在AI公司总部外高喊空洞口号的抗议活动”。

回复 露西·法尔尼克 6天前

我认为根本的问题是你试图用一个简单的、‘一句话’的规则来概括所有情况。这就像是试图用线性模型来解决下一个令牌预测问题，这太僵化了。你可以简单地扩展你的模型类，包括例如你模糊的黑盒大脑输出的道德判断，这取决于你在事物空间中的位置。换句话说，拥有一个义务论的门槛，即“我不会做明显邪恶的事情，根据我的模糊黑盒道德指南针来评估”，是可以的。是的，这是主观的，但我认为这是值得付出的代价。

回复 迁徙者 6天前

我不明白单方面裁军的例子。我理解义务论障碍作为功利主义的一种补丁，以防止功利主义者采取净结果良好的不道德行为。

但是你唯一找到的单方面裁军的问题是它没有提供好的结果。所以我看不出为什么你的义务论*障碍*规则需要排除那些结果不好的行动，因为功利主义者本来就不会被诱惑去做这些事情。（这与完全义务论系统不同，在这种系统中，义务论者需要许可不做那些如果其他人不合作就会对自己产生不良后果的事情。）

换种方式来说我的反对意见：你已经指出了康德普遍化推荐了一个糟糕的行动方案。但这不是功利主义者的麻烦，他们只关心义务论规则的*禁止*，而不是它的*推荐*。

现在假设我们不仅关注细胞及其所属的有机体，而是放大到关注有机体之间的协调与竞争，或者缩小到关注细胞内不同生化途径之间对能量和其他资源的竞争？我认为我们可以找到与我们在细胞间建立的相同层次的类比——也就是说，基本规则是每个有机体（放大视角）或途径（缩小视角）可以做它想做的事情，只要它不会威胁到更高一级结构的完整性——对于有机体来说，就是它的亲缘群体，在细胞内部则是生化途径的细胞。

现在我们有了一个可以用来建立伦理原则的基质：在大多数情况下，最好保持系统处于某个关键范围内，以最大化其适应能力。实际上，这意味着除非某个细胞威胁到整个有机体的健康，否则不要让细胞互相残杀。但也不要过于有序，以至于细胞基本上都是彼此完美的复制品，从不逾越边界，直到环境发生微小变化就全部被消灭。

我更喜欢这个原则而不是“‘不要做某件如果普遍化就会变得糟糕的事情，除非规范非功能化到你合作而敌人背叛的程度’”，因为“普遍化”和“非功能化”相对于系统的层级结构有可衡量的参照物，甚至“合作”和“敌人”的概念也转化为相对明确的层级生存竞争。请注意，死亡本身也可以在这个框架下理解为某个层级中的“细胞”耗尽了继续更新自我描述以在该层级内协调所需的能量预算，从而威胁到“有机体”——其中的“细胞”必须与其他“细胞”协调。

现在让我们将其应用到“不要支持一家人工智能公司”和政治行动运动中。

在“不要支持一家人工智能公司”的情况下，似乎伦理目标引导我们基于该公司是否更有可能增强其所处整体的功能来做出决定。具体而言，特定人工智能公司正在构建的人工智能是否会威胁到该公司自身运营的整个经济和政治秩序？如果是肯定或可能是，那么答案与候选集中营看守的问题相同，尽管在后一种情况下问题的答案显然更加明显，这就是为什么我认为这个问题会被提出。

在政治行动运动的情况下，似乎伦理目标引导我们基于该平台和/或意识形态是否有潜力破坏其运作的整个经济和政治秩序来做出决定。例如，基于卡尔·施米特等意识形态显性或隐性构建的运动确实如此。同样，公开蔑视法治或基本尊重人类尊严原则的平台或意识形态也是如此，这些原则使得人们能够在社区中更少暴力地生活在一起。

关于早期基督教，正如盖尔所阐述的，基督教确实提供了一个独特且引人入胜的故事和一套符号，帮助人们理解和接受解决无休止暴力升级问题的方案——莱奥目前正努力重新向世界介绍这一方案。

回复 Nate 5天前 编辑

另一种概括“不要成为第一个偏离广泛接受规范的人”的方式是将其视为“文化在社会层面的马斯洛需求层次高于博弈论”的一个特例（尽管博弈论本身可能已经包含了这一点）。如果我们假设关心结果主义并设置义务论门槛是一种“文化”。换句话说，“如果你不在互惠互利的循环中，你就有义务论的门槛”。

回复 magic9mushroom 4天前

如果认为通用人工智能即将到来的概率足够高，几乎可以完全从功利主义的角度证明“永远不要与人工智能公司合作”。本质上，一个人会说，这个特定参赛者获胜导致的毁灭概率降低被帮助任何人从而降低成功禁令起义的可能性所抵消。这在技术上并不禁止有意背叛和破坏的帮助，但这确实很难做到。

例如，尤德科夫斯基的观点是，所有神经网络对齐的方法都是注定失败的，你跳下悬崖幸存的机会都比任何人建造超级智能要大。这意味着，基本上所有给予人工智能公司的非背叛性帮助都是负期望值，因为在他们想要继续开发人工智能的世界里，我们都不会幸存。

回复 Argentus 4天前

如果你真的相信人工智能极有可能导致人类彻底灭绝，那么讨论伦理细节似乎有点奇怪。最重要的问题不是什么是对或错，而是什么有效？如果人工智能将摧毁我们，这难道不是最重要的事业吗？

回复 Garrett 18小时前

考虑历史上的文化规范，比如反对鸡奸等，打破不成文的规范就变得无关紧要。

但之后只是打破它们的程度足以让你称它们为已破，从而为打破它们辩护。

这是一个滑坡论证。

但这同样适用于你的暗杀模型。

回复 主题 最新 讨论 迪尔伯特的来生 六十多年来都是些非常不合格的人 1月16日 2,060 依然活着 你不断地尝试，直到蛋糕吃完了 2021年1月21日 1,589 伊维菌素：远超你想知道的信息 ... 2021年11月17日 2,113 查看更多 准备好迎接更多了吗？