What Makes AI-Written Stories Feel Off?

为何AI生成的故事显得不自然？ | Towards Data Science

人工智能

为何AI生成的故事显得不自然？

以及我们如何将这种感觉转化为洞察

Sara A. Metwalli

2026年10月26日

8分钟阅读

在Google上关注我们

分享

照片由Franck V.在Unsplash提供

我们正处在一个有趣的科技时代，关于使用AI进行创意内容制作的道德和法律问题引发了诸多讨论。因此，许多研究人员致力于寻找AI生成内容中的模式。他们试图将我们阅读或看到AI生成内容时的感受量化为数字。

简单来说，他们回答了这样一个问题：“某些事物是否过于整洁？过于简洁？过于直奔主题？”

为了回答这个问题，让我们退后一步，想象自己正在阅读一个关于一位女性在二十年后重返童年故居的短篇故事。

“她在松动的地板下发现了一封隐藏的信件。这封信揭示了一个家庭秘密。她与母亲对峙，终于理解了童年为何如此复杂，并学到了关于宽恕的重要一课。”

乍看之下，这似乎是一个完全合理的故事情节！情节合情合理，角色似乎有逻辑动机，结局将所有内容串联在一起。

很好，但如果我们提出这个故事的另一个版本呢？假设故事从母亲的葬礼开始？我们倒退二十年（因为谁不喜欢时间跳跃呢？！），然后向前推进三天，再横向切入一个起初看似无关的记忆。信件的内容与我们之前学到的内容相矛盾。女儿做出一个可能勇敢或自私的决定，这取决于你问的是谁。而结局拒绝解释这一切意味着什么。

现在，我们能确定哪一个听起来更像人类创作的吗？

当然，这个问题是主观的。许多人类作家喜欢整洁的结局，而许多AI生成的故事则充满迷人的怪异之处。但如果我们这些直觉反映了可衡量的模式呢？

在本文中，我想带你们了解一篇我最近读到的有趣论文，这篇论文回答了这个问题。论文的标题是《StoryScope：探究AI小说中的独特性》。与其寻找可疑的词汇、重复的句子结构，或大家最喜欢的AI标点符号（也是我的最爱！）破折号，作者们研究了塑造故事的叙事决策。

他们发现的结果非常有趣！不加赘述，我将带你们逐步了解这篇论文。

当前AI检测工具的问题

许多AI检测工作都集中在文本的写作风格上。他们寻找特定词汇、句子可预测性，以及散文是否遵循可识别的统计模式。

这些信号可能有用。问题是它们可能会改变。语言模型可以学习避免常见的AI陈词滥调，人类编辑可以重写可疑段落，而一个优秀的提示可以使得机器生成的散文听起来更加自然。

我们可以使用特征向量来表示一段文字：

x = [ x 1 , x 2 , … , x n ] \mathbf{x} = [x_1, x_2, \ldots, x_n] x = [ x 1 ​ , x 2 ​ , … , x n ​ ]

其中每个分量可能代表文本的某些可测量特征，如词频、句子长度、标点符号或句法结构。但如果新模型改变了其词汇和句子结构，特征分布会发生变化，我们之前有效的决策边界可能不再按预期工作。

StoryScope 提出一个关键问题：我们是否可以通过提出更深入的问题，超越这些表面特征？

• 故事的推动者是谁？
• 事件的发展有多可预测？
• 故事中包含支线情节吗？
• 叙述者对事件含义的解释程度如何？
• 故事的时间线是否跳跃？
• 人物的决策在道德层面有多明确？

这些特征描述了故事的架构，改变这种架构比简单替换几个词语要复杂得多。

将故事转化为数据

从数据科学角度来看，这里的研究变得非常有趣，因为如何量化"创造力"？StoryScope 研究团队构建了专门的处理流程来实现这一目标。

他们使用了一个包含 10,272 个写作提示的数据集。针对每个提示，他们将人类创作的故事与 Claude、DeepSeek、Gemini、GPT 和 Kimi 生成的五个 AI 版本进行配对，共计 61,632 个故事！

这些故事平均长度约为 4,753 字，足够长的篇幅可以研究叙事结构，这是短文本难以支持的。随后，研究团队开发了三步流程，从每个故事中提取 304 个叙事特征。

（论文图 1，CC0 协议）

步骤 1：将散文转化为结构化表示

AI 模型提取人物、动机、事件、场景、情节结构和时间组织等信息。与仅通过原始文字比较两个故事不同，系统会创建内容的结构化表示。

阶段 2：比较来自相同提示的故事

由于每个人类故事都有五个 AI 生成的对应版本，研究人员可以比较基于相同前提创作的故事。这有助于控制上下文差异。

阶段 3：将叙事观察转化为可测量特征

研究人员识别出重复出现的差异，并将其转化为具有明确选项的问题。例如，某个特征可能会问：故事的结局是由主角的选择还是外部事件推动？或者叙事在时间线上跳跃的频率有多高？

最终得到一个描述故事叙事决策的特征向量，研究人员随后使用 XGBoost 分类器和特征重要性分析，识别出最能区分人类和 AI 写作的决策特征。

研究结果

研究人员在刻意排除风格特征的情况下，使用叙事特征训练分类器，在人类与 AI 写作分类任务中达到了 93.2% 的宏 F1 分数。

当区分所有六个来源（人类作者和五个 AI 模型）时，模型也达到了 68.4% 的宏 F1 分数，这要困难得多！因为检测某内容是否为 AI 生成，与识别具体是哪个 AI 模型生成的并不是一回事。

你可能现在会好奇：他们发现了什么？研究发现 AI 在创作小说时会使用三种模式。

1. AI 喜欢明确阐述主题

他们发现 AI 生成的故事有 77% 的时间会明确陈述主题，而人类创作的故事只有 52%。对比这两个结尾的差异：

"她终于明白，宽恕不是遗忘过去，而是找到继续前进的勇气。"

与：

"她折起信件，放回地板下，天未亮时离开了房子。"

2. AI 偏好清晰的情节结构

他们还发现，AI 生成的故事更倾向于拥有直截了当的因果链条，支线情节也更少。约 79% 的 AI 故事没有支线情节，而人类创作的故事中这一比例为 57%。AI 生成的故事也更频繁地通过主角的选择来解决冲突：69% 的 AI 故事采用这种方式，而人类创作的故事这一比例为 46%。

相比之下，人类创作的故事更可能包含道德模糊的角色、非线性时间线和未解决的矛盾。例如，考虑两本悬疑小说：第一本中，每个线索都指向相同的结论。每个揭示都与前一个逻辑连贯，侦探在结尾解释了解决方案。

第二本小说的第一章描述了一场葬礼。下一章将时间倒推十五年。一个看似无关紧要的对话在小说中半程变得关键，最终的揭示让早期场景的意义完全改变。

第二种结构更难以用因果链条来概括，而这是人类写作常见的特征。这使得 AI 写作呈现出一种有趣的叙事形态，一种高度统一的形态。

论文中的图 5（CC0）

3. AI 也能制造戏剧性！

更有趣的一项发现与感官描述有关！AI 生成的故事更频繁地通过身体感受和物理隐喻传达情绪：81% 的 AI 故事采用这种方式，而人类创作的故事这一比例为 38%。

回想一下常见的文学描写：胸腔紧缩、冷汗直流、双手颤抖，房间突然变得昏暗。在他们的数据集中，人类作家往往使用明确的情绪标签，而非身体描述。

这一模式持续存在

许多人会生成 AI 写作的文本，然后进行编辑使其更接近人类风格。他们可以删除陈词滥调、调整句子长度、替换通用过渡词，并删除重复前文内容的段落。

但如果在不改变故事内核的前提下改进文本，会发生什么？

研究人员通过一种名为 LAMP 的改写方法（由不同研究者于 2025 年 5 月提出）回答了这个问题。他们对 278 个 Gemini 生成的故事进行了表面级编辑，去除了常见的 AI 特征。这在原始故事上实现了 95.5% 的宏观 F1 分数，在修改后的版本上实现了 93.9%！这一差异并不显著，因为只改变了写作风格，而非故事结构本身。

不过需要强调的是：编辑实验仅覆盖了 Gemini 模型的 278 个故事。这证明了叙事特征可以经受特定类型的风格编辑，但并不能证明所有 AI 生成的故事在任何修改后都仍可被检测到。

我们真的能用这些特征来检测 AI 写作吗？

作为研究人员，我首先需要说明这项研究的局限性。没有研究是完美的，也无法涵盖全部情况。因此，最重要的事实是 StoryScope 研究的是长篇小说。其研究结果不能自动适用于电子邮件、论文、文档、社交媒体帖子或短篇文章。

最后思考

将此类研究简化为“AI生成的文本总是糟糕”的结论颇具诱惑力。我认为数据并不支持这一观点。AI生成的虚构作品可以很有趣；线性情节恰好可能是读者想要的。明确的主题并非文学缺陷，模糊性也不一定是天才的标志。

语言模型可以生成令人信服的句子，同时在组织故事时仍表现出系统性偏好。我们在处理机器学习模型时经常看到这一点！模型在任务上表现良好，但其使用的模式可能存在偏见。仅关注最终输出分数可能会掩盖这些模式。

作者认为，评估生成式AI不仅需要判断其输出是否听起来合理，还应思考如何通过超越简单替换常见词汇为生僻词汇的方式，使故事更具吸引力，进而质疑故事本身的结构。

或许生成式AI发展的下一步不仅仅是生成更具说服力的词语，而是学会何时不选择显而易见的叙事路径。我认为，这比计算破折号的数量要有趣得多。因此，作者（我主要是指自己）可以重新开始使用破折号，而不会被指责使用AI。

参考文献

Russell, J., Rajendhran, R., Pham, C. M., Iyyer, M., and Wieting, J. (2026). StoryScope: Investigating Idiosyncrasies in AI Fiction. Conference on Language Modeling (COLM 2026).

• 在arXiv上阅读论文

• 探索StoryScope代码和发布的数据集