Choosing a Chunking Strategy for Your LLM Apps: A Decision-Tree Approach

为您的LLM应用选择分块策略：决策树方法

By

Bala Priya C

on

2026年10月15日

in

Language Models

0

Share

Post

在本文中，您将学习如何通过一个与文档属性和检索任务相关的结构化决策树，为检索增强生成系统选择合适的分块策略。

我们将涵盖的主题包括：

• 每种主要分块策略对文档的假设，以及这些假设成立的条件。
• 一个六步决策树，将具体的文档和检索条件映射到特定的分块策略。
• 表明所选策略失效的信号，以及通常能解决这些问题的修复方法。

引言

在构建检索增强生成系统时，您经常需要处理超出嵌入模型或LLM上下文窗口容量的大型文档，因此需要将其拆分为更小的块。块大小和重叠部分看似是简单的配置选择，但设置这些边界的方式会直接影响检索效果。不合理的边界可能导致检索遗漏回答查询的段落，或返回虽然技术相关但缺乏必要上下文以产生实用价值的块。

分块策略定义了您决定如何拆分文档的方式，这一选择会对检索质量产生重大影响。当边界保留了正确的上下文时，嵌入、向量搜索和生成将拥有更坚实的基础。当边界破坏了重要上下文时，重排序和提示调优无法完全恢复拆分过程中丢失的信息。没有一种分块方法适用于所有文档。因此，正确选择取决于文档结构和检索任务。

本文涵盖：

• 每种主要分块策略对文档的假设
• 一个将每种策略映射到具体检查条件的决策树
• 策略如何适用于真实文档类型，同时并列展示其权衡
• 表明所选策略失效的信号

我们从解释为何这一选择如此重要开始。

每种分块策略的假设

每种分块策略都基于对文档的特定假设。选择与文档结构和需求相匹配的策略，可以在避免不必要的复杂性的同时提升检索质量：

| 策略 | 假设内容 | |------------------|--------------------------------------------------------------------------| | 固定大小分块 | 边界位置影响不大，因为重叠可以弥补中途被截断的内容 | | 递归分块 | 当没有更明确的结构时，段落和句子边界可以作为意义的足够近似 | | 文档结构分块 | 文档自身的结构（标题、章节、功能边界）与其语义结构一致 | | 语义分块 | 通过嵌入距离可以逐句检测主题变化 | | 晚期分块 | 块的意义依赖整个文档，而不仅仅是块自身的文本 | | 自适应分块 | 单一的块大小无法满足信息密度差异显著的不同部分 | | 分层分块 | 检索需要同时回答来自同一语料库的广泛和具体问题 | | 基于LLM的分块 | 只有阅读文本的模型才能发现结构和嵌入无法识别的逻辑断点 | | 代理分块 | 集合的多样性如此之高，没有任何单一规则能很好地处理所有情况 |

当策略与文档匹配时，其增加的复杂性可能是值得的。当不匹配时，它只会增加开销而无法提升检索效果。例如，语义分块对简短的FAQ条目是不必要的，而固定大小分块可能在合同中分割相关条款。这些不匹配可能导致检索问题，其根源在于预处理而非生成过程。

通过决策树选择分块策略

该树包含六个分支问题，每个问题都根据文档或检索任务的具体属性缩小策略范围。每个问题后都直接给出答案：如果条件成立应使用哪种策略，以及如果不成立应前往何处。按顺序遵循这些问题，有助于根据文档和检索任务选择策略，而非默认使用熟悉的选项。

问题1：文档是否需要分块？

简短且自包含的内容（如FAQ条目、产品描述或单个配置片段）通常可以舒适地嵌入单个嵌入调用中，并且精确涵盖一个主题。

如果文档完全在模型上下文窗口内且不混合主题，应整体嵌入并跳过分块。将已连贯的内容分割只会增加检索开销。如果文档过长或涵盖多个主题，请前往问题2。

问题2：文档是否有清晰的内部结构？

某些文档本身包含自然边界，反映其内容组织方式。Markdown标题、HTML元素、PDF章节和表格、代码函数或类都可以提供有意义的分块边界。

如果文档具有可靠结构且映射到逻辑内容单元，请使用基于文档的分块。根据文档格式解析文档，保持章节、段落、表格、函数或其他结构元素的完整性。如果结构不一致、不完整或无法提供有用边界，请前往问题3。

问题3：分块是否需要来自文档其他部分的上下文？

某些文档包含贯穿全文的依赖关系。例如，法律合同可能在第一部分定义术语并在第八部分使用，或技术规范的术语仅在早期段落中才有意义。

如果检索需要保留这种全局关系，请使用延迟分块。首先使用长上下文模型嵌入完整文档，然后从该结果中推导分块级嵌入，使每个分块仍保留对整个文档的痕迹。如果分块可以独立存在而不会丢失含义，请前往问题4。

问题4：信息密度是否变化，或是否需要多级粒度？

此问题涵盖两种不同条件，分别指向不同策略：

• 如果各部分信息密度不同，使用自适应分块，动态调整分块大小和重叠等参数以匹配内容。信息密集的章节可使用更小、更细粒度的分块，而更宽泛或信息密度较低的章节可使用较大分块。

• 如果同一语料库需要同时支持宽泛问题（如文档涵盖内容）和具体问题（如精确语法），请使用分层分块，包含粗粒度父分块和细粒度子分块。

如果上述条件均不适用，请前往问题5。

问题5：检索质量是否比成本和延迟更重要？

问题6：这是单一文档类型，还是异构集合？

如果语料库混合了不同类型的文档，且每种文档的最佳策略各不相同，应使用智能代理分块。例如，一个集合可能包含结构化报告、叙述性转录文本和代码。智能代理可以检查每份文档并选择合适的方法。

如果集合相对统一，递归分块是一种实用的默认方案。它会在段落、句子和单词边界逐步分割内容，直到分块达到目标大小，同时在不进行每份文档分析的情况下保留自然结构。

如果速度比分块质量更重要，固定大小分块是快速原型设计的合理备选方案。在完成这些问题的分析后，决策树应呈现如下结构：

将决策树映射到分块策略

根据决策树的判断，你会落在以下策略之一。系统通常会结合多种策略，但下表将每种策略与其最适合的场景及对应成本对应起来：

最适合场景

关键权衡

不分块

短且主题单一的内容，已符合上下文窗口

无需预处理

具有可靠结构标记的内容（Markdown、HTML、代码）

当标题无法追踪主题边界时会失效

包含跨章节引用或依赖关系的文档

需要长上下文嵌入模型

信息密度差异显著的语料库

增加索引和检索复杂度

需要同时处理广泛和具体查询的语料库

需要维护两个层级的分块

复杂且高风险的文档，检索质量可证明成本合理性

每份文档计算成本最高

主题转换不可预测但预算有限的文档

需要调整阈值以避免分块数量不一致

最优策略因文档而异的异构集合

分块前需要每份文档的分析

对相对统一语料库的通用默认方案

语义感知方法的语义精确度较低

当速度比分块质量更重要时的快速原型设计

完全忽略结构和语义

正确的分块策略取决于数据的结构、复杂性和检索需求，目标是在检索质量、计算成本和实现复杂度之间取得平衡。

识别常见分块陷阱

一种在理论上看似合理的策略，一旦遇到实际文档仍可能出现问题。下表列出了值得关注的信号、通常含义以及有效的解决方法：

症状

可能原因

解决方法

分块始终在句子中间或表格中间截断

对结构化文档使用了无结构感知的方法

改用递归分块而非扩大重叠范围

语义分块在相似文档中产生极端不一致的分块数量

相似度阈值设置错误

重新校准相似度阈值

收紧阈值，或对持续出现问题的文档回退到基于LLM的边界

基于文档的分块范围从一行到多页不等

标题无法可靠地追踪主题边界

将基于文档的拆分与在超大章节内的递归处理相结合

层级式或自适应分块会增加延迟但不会提升答案质量

语料库规模较小且内容相对统一

回退到递归分块

在大型语料库中，智能分块会超出计算预算

每次运行时都会重复进行每篇文档的分析，而非使用缓存

制定缓存策略决策，或在集合级别而非每篇文档上运行分析

这些陷阱可以帮助你识别何时需要调整分块策略以实现更优的检索效果和效率。

总结

选择分块策略首先要理解文档结构和需要支持的检索任务。文档结构、上下文依赖性、信息密度、检索需求和成本等因素都会影响这一选择。

使用决策树确定合适的起点，然后通过自己的查询和检索结果进行验证。从最简单的满足需求的策略开始，仅在特定检索挑战出现时再引入更高级的方法。

最佳效果来自于将分块边界与需要检索的信息匹配，同时保持增加的复杂度与带来的价值成正比。

关于此主题的更多内容

• 选择合适的AI代理记忆策略：A…
• 构建推理缓存以节省成本：…
• 使用ONNX RT在Windows应用中实现硬件加速AI
• 选择合适的特征工程策略：A…
• 7种决定你的RAG是否有效的分块策略
• 构建更优检索系统的关键分块技术

/.entry /think