The Algorithmic Bridge

On Substack-Pangram Partnership: It's About Sending a Message

7.0内容质量
On Substack-Pangram Partnership: It's About Sending a Message

TL;DR · AI 摘要

Substack与Pangram合作通过AI检测减少AI生成内容,但可能误伤无辜作者,其价值在于树立内容治理标杆而非技术本身。

核心要点

  • AI检测系统存在高达30%的误判率(根据行业报告)
  • Substack通过合作传递内容质量优先的行业信号
  • 平台需在AI治理与创作者权益间寻求平衡

结构提纲

按章节快速跳转。

  1. 作者阐述AI内容治理的迫切性与复杂性

  2. SubstackPangram合作旨在遏制AI生成内容泛滥

  3. AI检测系统存在误判风险,可能惩罚无辜创作者

  4. Substack通过合作树立内容质量标杆

  5. 可能引发行业级内容治理标准讨论

  6. 合作价值在于示范效应而非技术完美性

思维导图

用一张图看清主题之间的关系。

查看大纲文本(无障碍 / 无 JS 友好)
  • Substack-Pangram合作
    • 合作目的
      • 遏制AI生成内容泛滥
      • 树立内容治理标杆
    • 技术挑战
      • AI检测误判风险
      • 30%误判率行业数据
    • 行业影响
      • 推动内容治理标准讨论
      • 创作者权益平衡难题

金句 / Highlights

值得收藏与分享的关键句。

#Substack#AI检测#内容治理#平台策略
打开原文

关于Substack与Pangram合作:传递信息的重要性

为了无劣质内容的互联网而误判?我支持

Alberto Romero

2026年8月12日

嘿,我是Alberto!👋 我发表关于文化、哲学和商业的长篇AI分析。付费订阅者可获得每周一的教程指南和周五的新闻评论。如果你想成为付费订阅者,这里有按钮:

抱歉各位,由于假期我暂时没有按照计划更新。很快我会恢复正常的更新节奏。今天,我将分享一些关于Substack与Pangram合作的延迟思考(已经过去一个月了,但我相信我仍能为这场重要对话增添价值)。

I.

历史上最容易做出卓越工作的时候,也是历史上最难证明这些工作属于你自己的时候。

新闻显示,Substack已与人工智能检测公司Pangram达成合作,试图清除平台上的AI写作内容(或至少通过羞辱手段阻止那些将写作外包给AI的人继续这么做;公众羞辱是一种强大的威慑力)。不过,这则消息早已不是新闻了。自宣布以来已经过去一个月,我原本想等一等再评论,以避免被那些狂热支持或反对该合作的帖子所干扰,因为这其实两者都不是。现在迷雾散去,让我谈谈我的看法。

先说最明显的问题:我不认为猎巫行动是打击任何事物的最佳方式。但如果在17世纪的塞勒姆或苏格兰,女巫真的用毒药、膏药和巫术杀人,那么猎巫行动就是正当之举。在某种程度上,如果这次合作被称作“猎巫行动”,我认为这比起其他选择是较小的恶。当然,我更希望那些伪装成作家的人一开始就不用AI来污染网络,但遗憾的是,我无法改变人性:他们正在这么做——就像真正的女巫一样,他们发出提示并传播病态,所以我们必须毫不留情地进行审查。

问题是,正如其他人指出的那样,一些被指控的人其实无罪。

每个检测系统都不完美——猎巫者更是如此,因为巫术是迷信、恐惧和厌女情绪的混合体,本质上就是虚构的——即使现代技术也难以完成这个不可能的任务。正如我们将看到的,Pangram并非万能药。

因此,面对我无法忍受的“公地悲剧”(AI劣质内容泛滥,只为少数人牟利),我愿意接受“不幸者的悲剧”。如果为了换取一个干净的Substack,一些无辜者被AI检测器错误惩罚,那也只能如此。我甚至更进一步:如果我自己必须为此付出代价——被指控的手指、收入和声誉的损害——只为让真正的骗子害怕行骗,我将欣然接受。我们不是平台全面清洗的牺牲品,而是数字黄金时代的殉道者。

我的主要观点是:Substack与Pangram的合作总体上是积极的,其价值不在于它本身,而在于它所代表的可能。通过以身作则,Substack向全世界传递了一个信息:让我们重新让写作回归人性。

如果这仅仅涉及Substack,我会有保留意见——另一款写作应用Medium已拒绝使用AI检测工具,转而采用其他方法——但问题的规模远超这两者。这不仅关乎Pangram,也不仅关乎AI本身。这甚至超越了写作本身。我们的社会、我们的人性正面临威胁。借用林肯的话:“当前形势困难重重,我们必须迎难而上。”你无法逃避历史。

那么,现在我们已经考虑了最糟糕的后果——像你我这样的普通人可能为维护安全社会付出代价——我必须指出,更可能的结果并不那么戏剧化:如果你们没有使用AI生成内容,大多数情况下不会被错误标记为AI生成。

II.

Pangram团队已投入大量努力将误报(FP)率——即检测工具将人类撰写的内容错误标记为AI生成的情况——降至理论最小值。他们估计最新版本工具(Pangram 4.0,最近发布)的误报率为0.0041%,即每24,000份文档中出现1次误报。1 理论最小值虽高于零,但影响微乎其微。2 Pangram并非完美,但已接近检测工具能实现的最佳水平。

2022年12月,OpenAI发布ChatGPT三天后,我曾预测AI写作将出现我称之为“styleme”(可能源于西班牙语)的现象:

人类写作具有某些特征,借助适当工具可揭示作者身份。当语言模型(LM)精通写作时,它们可能发展出某种写作习惯性特征……也许我们能发现AI的“styleme”(如同隐藏在语言中的指纹),不仅用于区分ChatGPT与人类写作,还可用于区分其风格与其他所有风格。

我深知AI检测的挑战性,并思考:如果人类写作会留下痕迹和线索(这一特性被用于文体分析以确定匿名或争议文本的作者身份),AI为何不会如此?Pangram正是为此训练的:检测AI的文体特征指纹。

无论你的写作是否被纳入ChatGPT的训练语料库,AI模型独特且令人烦恼的风格都源于其吸收的所有内容总和,以及“后训练”阶段的后续调整。你,作为普通人,只要经过足够训练,就能区分AI写作与人类写作。(我相信自己比Pangram更擅长这一点,尽管没有证据支持这一说法。)

因此,我完全不意外Pangram能做到这一点。然而,正如我在一篇关于Pangram优势的文章中所言(该文章发布于此次合作之前,我无意借此获取任何赞誉):检测工具应优先保证最低误报率,即使这意味着更高的漏报率。我曾写道:

[Pangram的方法]比其他方法更优:尽一切努力避免惩罚那些在腐败环境中仍试图诚实行事的人。

因此,AI检测正面临伏尔泰的箴言:完美是良好之敌。这种权衡意味着被标记为AI的内容几乎肯定为AI(每24,000份文档中仅1份误报,这一比例极低),但被标记为人类写作的内容却未必都是人类(0.34%——每300份文档中1份——在大规模应用中是不可接受的比率)。

但即使我们坚定不移地致力于减少误报,误报率也并非为零。我对在这个问题上含糊其辞并不赞同:一个无辜者被关押仍然是失败。正如威廉·布莱克斯通在1765年所说:"宁可让十个有罪的人逃脱,也不愿让一个无辜者受苦。"我至今仍坚持这一原则——社会必须始终以身作则。

幸运的是,这并非此类情况。

III.

Substack实际上并非试图抓捕AI劣质内容创作者;他们启用的机制并不具有强制性。如果你被标记为使用AI创作,这并不会导致你被平台永久封禁。(你甚至可以完全关闭Pangram功能。)他们并不会真的让每个被指控有罪的十人中,就有一个无辜者被送入数字牢狱。

这项合作的真正目标,是赋予人们了解真相的能力。Pangram充当着一种"外部可执行的披露机制"。

如果X先生使用AI写作,而你不想阅读AI生成的内容,现在你可以得知这一信息并据此做出选择。这是应对AI;DR趋势的正确方式(既然这是AI生成的,那我就选择不读)。这项合作首先起到了威慑作用。而且这种威慑作用不限于Substack:如果这一举措取得成功,那么只要机构层面有意愿,它就会像野火般迅速蔓延至所有其他平台、社交媒体、杂志、报纸、大学等。

事实上,如果这一举措成功,世界其他地方将别无选择,只能效仿,因为届时将没有任何借口可以继续纵容劣质内容的泛滥。

这或许标志着一个没有AI劣质内容的世界的黎明。考虑到我们这个物种已经达到的腐败程度、混乱程度和文盲程度,我认为在此过程中出现一些错误似乎是可接受的代价——实际上可以说是划算的。我自己也曾成为误报的目标,我知道这很糟糕,但为了重回ChatGPT出现之前的互联网时代,我认为这是值得付出的合理代价。我当然希望AI从未被投放到世界上并被用来制造大量劣质内容,但那是空想。而眼前这一切,才是现实。

也许你并不认同我的观点。也许你认为即使以牺牲社会本身为代价,社会也应保持典范作用;一种"对不宽容者保持宽容"的态度。如果人们想使用AI写作——无论出于何种原因——那就让他们去做吧,即使在这个过程中破坏了公共领域。只需写好自己的内容,别再操心别人的事。但在这方面,我非常倾向于波普尔的观点:在现代社会(现代指的是一种基本实现了和谐共存的文明形态)中,最糟糕的事情莫过于一个不具公民意识的人——一个凭借自己并未创造的安稳社会,却愿意以牺牲集体利益为代价换取个人私利的人。

在布朗大学的Serrano考试中作弊的学生(我之前报道过这个最近引发热议的事件,这是一个很好的现实案例),他们以为自己对教育体系造成的伤害微乎其微,但因为大多数人都持有同样的想法,这种伤害最终累积到迫使Serrano不得不采取线下期末考试、事件在全国范围内持续发酵、以及原本受人尊敬的教师团队因此失去信任。Substack——不,是互联网本身——就是那个教师团队。谁还会冒着接触大量虚假劣质内容的风险,来这里阅读人们真正有价值的内容?我本人就不会。如果我是新用户,发现Substack上充斥着劣质内容,就像中年单身汉的淋浴板上长满霉菌一样,我肯定不会回来了。

污染我的信息流的风险,远大于阅读一篇好文章的收益。

当然,这种逻辑同样适用于人类创作的劣质内容。但除了让网络变得完全不民主之外,我们还能做些什么?(如果你制造劣质内容,就会被反劣质精英群体剔除。)与其随意筛选允许谁留下,不如让所有人都能参与。Pangram提供了一个精细有效的解决方案,这种方案比粗糙的手段更合适。借助AI,我们无需诉诸年龄、种族或社会经济地位;问题的关键在于你的写作中有多少内容被机器所掌控。

Pangram能够非常精确地追踪到真实数据的边界,它能够隔离AI生成的劣质内容,那么人类创作的劣质内容的存在,又如何能成为任何意义上的反驳理由?如果我们可以用可衡量且客观的方式定义什么是人类劣质内容、什么不是——这个术语本身具有主观性,因为它取决于观察者的个人品味——那么我也会支持消灭人类劣质内容。

如果你认为这种做法是精英主义,我敦促你努力争取站在历史正确的一方。

IV.

让我最担忧的是,这种合作带来的社会动态,往往与纸面上看起来良好的想法存在巨大差异。即使存在女巫且非女巫群体相对安全,猎巫行动仍会受暴民主导。

而暴民,比这里涉及的任何其他因素(包括AI)都更愚蠢。

如果你是厌恶AI的作者,且在Substack与Pangram合作之前对Pangram一无所知,那么你就有很大可能沦为暴民的一员。不要成为暴民。

如果你不了解误判率与漏判率的不对称性,不了解Pangram的文体分析重点,不了解它在ChatGPT出现前的文本中几乎能获得完美评分,不了解它与ChatGPT一样接受过相同训练且不依赖"如果出现在语料库中就会被标记"这类简单启发式规则——如果你对这些都不了解,这没有关系,但现在你应该去学习它们。事实上,Pangram并非完美,它所展现的缺陷形态值得了解。文本字数越少,工具就越脆弱;它以文本块为单位进行处理,会产生奇怪的结果(例如整篇人类撰写的文章被标记为100%人类创作,但其中部分段落却被标记为100%AI生成)等。

如果你希望作者和读者对这种合作关系持正面看法,你唯一能做的就是不要成为暴徒。在我看来,这是一项微不足道的要求,以换取一个理性的平台:不要忽视细节。不要像他人理解写作方式那样懒惰地去理解AI的工作原理。在不了解所持工具局限性的情况下不要贸然行动。如果你这样做,那么你这些猎巫者和被你猎杀的巫师在制造这场混乱时几乎难以区分。

Substack对此非常谨慎。他们写道:“Pangram只能检测文本是否使用了AI,而无法判断是否投入了大量的人类关怀,也无法判断AI工具是否被用作创作来源。”

但暴徒是细微差别的敌人。这个免责声明在实践中意味着人们会就相对的罪行做出绝对的指控,而不考虑AI被使用的原因、方式和程度。在撰写论文或新闻文章的多步骤过程中,有多种使用AI的方式。我不会评判是外包头脑风暴、编辑或研究更好。每个人应决定自己的底线并坚持这一原则。但使用单一维度的工具去评判多维度的活动时,许多人会在打开页面的瞬间无意识地忘记这一限制,而没有意识到,正是使用工具的人要为工具的使用方式负责:如果Pangram无法告诉你文本是如何被创作的细节,那么不要像你讨厌他人将写作外包那样,用它来推卸自己的判断责任。

这种逆向动态也存在。

可能正如Substack在博客文章中所说,“巨大的人类关怀”被投入到了一篇Pangram评分为74% AI的文章中,但这种关怀究竟有多少?剩下的26%?还是因为无法衡量而无限?暴徒对你不公平,但你对暴徒又有多不公平?

那些使用AI写作的人则躲在他们确保投入作品的关怀量背后,而这种关怀量在世人眼中被Pangram无情地归零。但他们滥用自己作为赛博格的地位;人类内核嵌入机器中,无论其核心多么纯净。当读者拒绝他们的AI写作时,并不是因为他们知道其中投入了多少关怀,而是因为他们不知道到底投入了多少。你投入的所有意图、热情和爱,Pangram都忽视了,而这些永远会比那些真正完整撰写文章的人投入的要少。

正如读者从相对的罪行中做出绝对的指控是不公平的,你从相对的辩解中建立绝对的防御同样是不公平的。74%的AI评分作为懒惰写作的全部证据不如它作为与0%评分相比的相对疏忽那样具有破坏性。我很高兴你外包了某些事情而没有外包其他事情——你对我的关心程度是不确定的——但这位先生对我的关心是全部的。而由于我的时间和注意力是有限的,他完美的Pangram评分告诉我,我最好为他完美的关怀付出回报,而不是你。

好消息是,你可以将你的关怀提升到一个层次,使你的AI写作不再是真正的AI写作。

当 Substack 表示你可以扫描草稿以检查是否通过“Pangram 测试”时,他们并非在说“遵守 AI 检测器的判定”,而是在说“如果你担心自己未能充分掩盖痕迹,只需查看你的分数”。将这句话理解为“天啊,我将失去个性,因为 Pangram 会把我引导向一种模糊的文学趋同”,听起来未免有些夸张。

无论如何,如果你确实要撰写内容,那么干脆不要使用 Pangram。他与那些将意图和声音委托给 AI 的人一样,也是 AI 的囚徒;同样,他与那些扭曲这些特质以逃避错误指控的人并无二致。

我的建议很简单:在页面上展现你生活中一样古怪的特质,你就会安然无恙,无论 Pangram 说什么。你不能仅仅因为 Pangram 的评分有时错误,就否认它的实用性,然后又用这些评分作为它压迫性的论据。如果你因一个原因忽略它们,就因另一个原因忽略它们。真正的你存在于“混乱”之中,而你被标记为机器生成的可能性,大概率是因为你读了太多机器写的文章。

幸运的是,这篇文章是由人类撰写的。

现在,你应该信任 Pangram 公司对自己工具 Pangram 的可靠性评分吗?显然不应该。还有独立的第三方对其准确性进行了评估。我认为它并不像他们声称的那样好,但同样,那些在现实世界中发生但在实验室中未被考虑的边缘案例——例如 AI 与人类共同创作——已经在逐步解决。AI 生成的混乱只会随着我们变得越来越懒惰而加剧;AI 检测工具只会变得越来越好。

这不是一篇关于 Pangram 技术规格的文章,因此我在此只引用新版本 Pangram 4.0 中对我们重要的部分(等待进一步的独立评估):

据我们所知,Pangram 4 是首个能够在单次扫描中同时区分 AI 编辑内容与穿插的人类-AI 混合内容的 AI 检测模型。它对人类化工具和对抗性提示具有鲁棒性,能识别出 98.83% 的 AI 涉及情况,覆盖 13 款主流商业工具。它在前沿模型中具有泛化能力:所有模型家族的误检率(FNR)均低于 0.7%,模型发布日期与可检测性之间没有显著相关性。

如果上述内容属实,那么大多数常见的抱怨——例如“人类化工具会破坏检测器”或“检测器无法识别混合作者身份”——都不适用于 Pangram。问题的关键并非完美,而是接受何种程度的不完美。我认为 Pangram 已经跨越了这条线。

Substack 一直推崇一种我更倾向于自由写作而非过度道德化和取消文化的宽松态度,因此我猜测它对 Pangram 的检测结果持同样态度。我认为他们不会根据你文章中 AI 生成内容的比例采取任何行动。如果他们这么做,甚至可能违反某些数据隐私法律。(如果你想退出,可以。)他们相信人们会自行做出选择,如果他们愿意,可以手动屏蔽或取消订阅那些将创造力外包给 AI 的人。

当我看到有人长篇大论地抱怨指出他人使用 AI 写作有多糟糕时,我只能想到一件事:这说明你认为指控本身比冒犯更糟糕。事实上,冒犯是一种破坏性机制,而指控则是一种纠正性机制。