Proxy-Pointer RAG：消除知识图谱中浪费的实体与关系抽取

标题：代理指针 RAG：消除知识图谱中冗余的实体与关系抽取

原文链接：https://towardsdatascience.com/proxy-pointer-rag-eliminating-wasteful-entity-relations-extraction-in-knowledge-graphs/ 发布日期：2026-05-31T13:00:00+00:00

Markdown 内容： 在我的文章《解决知识图谱中的实体与关系泛滥问题》中，我探讨了如何利用代理指针（Proxy-Pointer）架构来优化对正确实体与关系的检索。然而，这仅是图谱摄入过程中更大问题的第二部分——真正更庞大、也更昂贵的步骤，是在初始阶段识别出这些实体（命名实体识别，NER）和关系。

知识图谱旨在跨相似文档（如供应商合同、合规手册、信贷协议、全球条款与条件等）上回答复杂的聚合查询与多跳查询，涉及实体与关系之间的关联。这类文档通常超过100页，文本密度极高，字符数常超过50万。企业往往需要从同一供应商或客户处批量摄入数千份类似的合同。

为实现这一目标，每份文档都需通过一个强大的大语言模型（LLM）进行NER与关系抽取，在实际图谱构建开始前就消耗数百万个token。由于长上下文抽取常导致召回率不稳定、抽取结果方差增大，该流程有时还需重复执行。

但关键事实是：诸如合同等法律文书在组织间甚至跨行业中具有高度一致的结构；其内容中充斥着大量密集的模板化文本、附表、附件等，其中大部分对NER并无实质价值，却仍需被LLM处理。

那么，如果我们能利用这种结构上的可预测性呢？如果能在将某部分内容送入LLM之前就预判其价值，从而战略性地忽略噪声，大幅降低摄入成本呢？

本文将介绍一种新颖方法，以最小化LLM所见内容。通过结合代理指针RAG的结构化理念，并引入一种名为“图谱化指数”（Graphability Indexing）的预测指标，我们能够有选择性地跳过密集文档中低产出的部分。我将以三份真实世界中的大型企业信贷协议（艾默生、AT&T 和德州公路餐厅）为例，展示该方法相较于全文档抽取流水线，如何显著降低抽取成本，同时不损害最终知识图谱的完整性。

快速回顾：什么是代理指针？

代理指针是一种面向结构的RAG技术，可在复杂文档（如年报、信贷协议等）上实现精准检索，代价远低于标准向量RAG。标准向量RAG将文档盲目切分为若干块，再嵌入并依据余弦相似度检索Top-K片段。即便采用重叠分块与语义分块策略，这种方法在企业级知识图谱中仍难以可靠支持关系抽取——因为分块会割裂文档上下文，导致抽取结果易产生幻觉。

相反，代理指针将文档视为一棵由自包含语义块（即章节）组成的树状结构。每个章节内部封装了完整上下文，因此是关系抽取的理想候选区域。此外，LLM更可能在单次遍历中准确识别某一章节内的实体与关系，而非整篇100页文档，从而避免重复扫描。

技术上，代理指针依托五项零成本工程技巧实现RAG：文档骨架树结构、路径标记注入、结构引导式分块、噪声过滤以及基于指针的上下文管理。本文将结合部分已有概念及若干新方法展开讨论。您可参考本文了解更多关于代理指针的内容。

现有NER优化方法

在深入代理指针方案前，我们先回顾当前组织已采用的一些优化手段：

1. 传统NLP / 预训练模型（如spaCy）：常见做法是首先使用轻量级传统NLP流水线（如spaCy），配合LLM采用“漏斗式”策略。此类模型运行极快、成本低廉，且已针对标准实体（人名、组织、地点、日期等）进行了预训练，可用于快速扫描文档，定位实体热点区域；随后再聚焦于这些热点区域，用LLM进行精细化抽取。然而，实体密度并不必然对应关系密度。例如，“通知”或“附录”等行政模板段落虽可能包含大量标准实体（姓名、地址、日期），却未必承载任何结构性法律关系。
2. 它们还难以处理定制化的公司实体（如 _Adjusted Term SOFR_ 或 _Swing Line Loans_），也不适用于提取高度受限法律知识图谱所需的复杂嵌套关系。此外，持续微调这些模型以达到所需精度，需耗费大量人工标注工作与计算资源。
3. LLM预扫描（小型路由模型）：另一种方式是先用小型廉价LLM快速扫描各分块，判断其是否包含有价值的关系，再仅将高价值分块发送至大型推理模型进行深度抽取。尽管单位token成本较低，但模型仍需逐字读取整份50万字符的文档，本质上仍是浪费性的双重扫描。

代理指针方案

如前所述，代理指针充分利用了知识图谱的以下特性：

• 图谱是为特定领域或功能模块构建的，因此会存储相似类型的文档内容。例如，采购图谱会摄入多个供应商合同（甚至包括同一供应商的多份合同），财务图谱则会包含大量贷款人及信用相关文件、合规文件等。
• 这些文档共享一个相似的基础结构——如章节、附表、附件等；而其中仅有一小部分内容就足以支撑有意义的实体与关系抽取。挑战在于如何识别出这部分关键内容。

我们利用这种可预测性开展以下步骤：

• 构建并部署基准图谱化指数（Graphability Index）：以某一类文档（如《信贷协议》）为基础，对各章节进行图谱化潜力评级，分为“极高”、“高”、“中”、“低”和“极低”五个等级。_该评级依据的是“关联密度”（Relational Density）——即每段落中可执行业务关联（边）的数量与其段落规模之比，而非单纯依赖实体数量（节点数）。_ 这一设计避免了将诸如“通知”或“附件”这类实体密集但语义泛化的章节误判为高图谱化潜力。根据此方法，“义务履行”被划归为“极高图谱化潜力”，而“代理人的职责”或“管辖法律”则属于低产出章节。不过，存在一个重要例外：_尽管大多数章节均按关联密度评估，但像“子公司”这类具有本体论基础的章节，即使其关联边较少，仍被标记为“极高”，因其定义了整份合同所依赖的核心企业层级结构，其余条款皆由此衍生而来。_ 此举确保了该指数作为业务热力图的价值，而非仅基于技术层面的实体或关系密度。
• 构建结构树：我们创建一份文档的结构树，将各章节按层级组织为节点，并附带章节标题。
• 丰富与校准：我们遍历的是结构树，而非原始文本。通过前几份文档，我们可对初始指数进行优化与固化。依据行号提取各章节内容，并结合章节标题匹配预估的图谱化潜力值。随后，大语言模型（LLM）扫描全文所有章节，基于提取出的关系与实体，对每个章节的实际图谱化潜力做出评估。当预测评级与实际评估结果不一致时（例如，预测为“中等”，但实际评估为“低”），系统将其标记为需人工复核项。经由领域专家（SME）反馈后，我们对指数中的分类进行相应调整。
• 路由与跳过：在完成上述流程后，仅需少量文档即可获得一个增强版图谱化指数。此后，高价值章节（极高、高、中等）将交由 LLM 执行深度命名实体识别（NER）；而低价值与极低价值章节则可安全跳过。
• 新增章节处理：每份文档通常会包含若干未收录于指数中的章节，这些将被标记为“覆盖缺口”（Coverage Gaps）。为防止遗漏重要关联，所有此类章节均强制进行 NER 扫描。经人工审核后，若确认其为通用高频条款（如“利率基准替换机制”等），可将其纳入指数；而高度定制化条款（如“基准利率替代设置”）则可忽略。
• 实现稳定收敛：经过数轮迭代后，我们预期预测偏差趋近于零，且“新增章节”的占比将稳定在不超过 20–25% 的水平（代表高度定制或行政性条款），从而让系统能以恰当的严谨性与效率，自信地处理海量文档集合。

该图谱化指数应针对每种文档类型单独维护，甚至可根据不同大型供应商或合作伙伴的特性进行定制——尤其适用于每年从某单一来源接收数百份类似文档的情形。

让我们通过一项实验来观察其实际效果。

实验设置

为验证该假设，我选取了三份体量庞大、公开可获取的企业信贷协议，它们此前曾用于我关于使用代理指针（Proxy-Pointer）实现高效合同对比的文章中。如你所见，这些文档来自不同公司（及行业），因此其结构与格式并不完全一致。

1. 艾默生电气公司（Emerson Electric Co.）（约 228,000 字符）
2. AT&T 公司（AT&T Inc.）（约 214,000 字符）
3. 德州烤肉店公司（Texas Roadhouse, Inc., TRoadhouse）（约 434,000 字符）

基准图谱化指数

我们的目标是建立并持续验证一个具备预测能力的图谱化指数。我们首先构建一个基础基准指数，将常见信贷协议章节与其预期的关联密度进行映射：

{
  "document_type": "credit_agreement",
  "very_high_graphability": [
    "Litigation",
    "Environmental Matters",
    "Subsidiaries",
    "Payment of Obligations",
    "Maintenance of Property",
    "Mergers and Sales of Assets",
    "Commitment Schedule",
    "Sanctions and Anti-Corruption",
    "Designation of Subsidiary Borrowers",
    "Definitions",
    "Events of Default",
    "Successors and Assigns"
  ],
  "high_graphability": [
    "Company Guarantee",
    "The Facility",
    "Facility Letters of Credit",
    "Corporate Existence and Power",
    "Corporate Authorization",
    "Financial Information",
    "Compliance with Laws",
    "Use of Proceeds",
    "Arranger and Syndication Agent",
    "Eurocurrency Payment Offices",
    "Defaulting Lenders"
  ],
  "medium_graphability": [
    "Swing Line Loans",
    "Competitive Bid Advances",
    "Credit Extensions",
    "Designation of a Subsidiary Borrower",
    "Successor Agent",
    "Funding Indemnification",
    "Acceleration and Collateral Accounts",
    "Collateral"
  ],
  "low_graphability": [
    "Accounting Terms",
    "Interest Rate Changes",
    "Method of Payment",
    "Telephonic Notices",
    "Market Disruption",
    "Judgment Currency",
    "Change in Circumstances",
    "Confidentiality"
  ],
  "very_low_graphability": [
    "No Waivers",
    "Counterparts and Integration",
    "Governing Law",
    "Waiver of Jury Trial",
    "No Fiduciary Duty",
    "Service of Process",
    "Miscellaneous",
    "Electronic Communications",
    "Exhibit",
    "Table of Contents"
  ]
}

我们将分三个阶段执行该流程：首先运行艾默生协议（Emerson Agreement），以计算初始节省效果；在艾默生协议中发现的任何通用未覆盖章节（即“差异”部分）将被回填至索引中。随后，我们将使用已增强的索引对AT&T协议进行处理，并根据需要将最终边缘案例纳入索引，再用完全精炼后的索引对庞大的TRoadhouse协议进行扫描，以衡量最终的缩减幅度。我们的目标是，在扫描TRoadhouse协议时，相比前两次扫描，应能显著减少不匹配项——此时索引已趋于稳定。

评估标准

对于每个章节，我们将对比索引预测的图谱可建模性（graphability）与LLM基于所识别的关系和实体手动评定的实际评级。在报告中，我们将结果划分为以下三类：

完美对齐：索引准确预测了该章节的图谱可建模性等级。 轻微偏差：索引预测的等级（如“中等”）与人工评估结果（如“低”）存在微小差异。 覆盖缺口 / 新增章节：该章节为文档独有，尚未存在于我们的预测索引中。

结果与迭代增强

我们从第一阶段——艾默生协议开始：

第一阶段：艾默生信用协议（测试基准）

我们使用基准索引对这份协议的95个章节进行了扫描。在首次运行中，95个章节中有66个（70.0%）实现了完美匹配。索引准确地将标准条款（如“合并与资产出售”）归类为高图谱可建模性，同时正确识别出“会计术语”及标准模板性附录（如“ Exhibit”）为低产出内容。索引预测与实际评级之间不存在任何错配。

然而，我们发现有29个章节（约30%）被标记为“新增章节”，因此被归入覆盖缺口类别。经复核后确认，其中许多属于高度定制化的行政条款（例如：“按比例放款”、“放款通知”），因而合理地作为缺口保留；但也有若干通用性章节（如“放款类型”、“遵守ERISA规定”以及“利息支付日期；利息与费用基础”）本应加入索引。根据其实际产出评估结果，我已将这些具体条款添加至图谱可建模性索引的“中等”与“低”层级，并据此丰富了基准索引，以供下一阶段使用。

最重要的成果在于：即便仅使用这一原始基准索引，索引仍成功将36,880个字符的文本（涵盖“低”与“极低”产出级别）识别为噪声，从而若不将其路由至LLM处理，理论上可实现16.10%的LLM处理负载削减。

匹配质量与产出预测效率总结如下：

| 匹配评级 | 章节数量 | 总字符数 | 占全文比例 | | --- | --- | --- | --- | | 极高 | 13 | 61,360 | 26.79% | | 高 | 13 | 83,040 | 36.26% | | 中等 | 17 | 27,840 | 12.16% | | 低 | 15 | 12,800 | 5.59% | | 极低 | 8 | 24,080 | 10.51% | | 评级不一致 | 0 | 0 | 0.00% | | 新增章节 | 29 | 19,920 | 8.70% | | 总计 | 95 | 229,040 | 100.00% |

以下是部分基础比对表的示例行：

Node ID	Section Header	Approx. Chars	Entities (Est.)	Relations (Est.)	Actual Rating	Predicted Rating (Index Match)	Match Quality
0002	Section 1.01 Definitions	44,400	252	402	Very High	Very High (Definitions)	
0003	Section 1.02 Accounting Terms and Determinations	320	4	4	Low	Low (Accounting Terms)	
0004	Section 1.03 Types of Advances	800	19	2	Low	New Section	
0006	Section 2.01 The Facility	2,320	27	21	High	High (The Facility)	
0007	Section 2.02 Ratable Advances	3,840	56	19	Very High	New Section

最后，以下是若干提取示例：

- **公司担保（极高）**：  
  - *实体*：担保人、代理人、义务  
  - *关系*：[担保人]-(担保)->[义务]，[担保人]-(赔偿)->[代理人]  
- **合并与资产出售（极高）**：  
  - *实体*：借款人、资产、买方  
  - *关系*：[借款人]-(出售)->[资产]，[借款人]-(合并于)->[买方]  
- **按比例放款（极高）**：  
  - *实体*：放款、贷款人、借款人  
  - *关系*：[贷款人]-(发放)->[放款]，[借款人]-(接收)->[放款]  
- **付款方式（低）**：  
  - *实体*：代理人、账户、资金  
  - *关系*：无（纯属行政程序性指令，仅含极少量主动关联边）

### 第二阶段：AT&T 信贷协议（优化完善）

随后，我们将增强后的索引应用于 AT&T 信贷协议。该文档共包含 77 个章节，总字符数约为 214,000。

结果表明显著提升：**77 个章节中有 55 个（71.4%）实现了完美对齐**，与艾默生的成果几乎一致。此外，有 **4 个章节存在评级不匹配**，即实际图谱可建模性评分与预测评分不一致。这一比例仅约 5%，因此未在索引中进行调整，以避免因单个文档过拟合。**仅有 18 个章节（23.4%）出现覆盖缺口**，较艾默生的 30% 有所改善。所有覆盖缺口均被判定为知识图谱视角下的“定制化/程序性噪声”——例如时间周期计算、终止日期延长、优先受偿顺序等。这些章节从命名实体识别（NER）角度而言属于低或极低产出区域，应加入索引以防止大语言模型在新文档中扫描它们。然而，为验证实验的鲁棒性，我**并未将这些章节加入索引**，以观察现有索引在 TRoadhouse 文档上的表现。

潜在的大语言模型节省效果呈指数级增长。由于索引能自信地识别出文档中大量低产出区域（如利率确定条款、费用增加条款等，除目录及附录外），系统将 72,763 字符标记为无需扫描。若在生产环境中依此索引执行处理，**可实现 33.94% 的处理负载降低**，同时仍能提取文档中所有高价值的关联边。

匹配质量与产出预测效率总结如下：

| 匹配评分等级 | 章节数量 | 总字符数 | 占全文比例 |
| --- | --- | --- | --- |
| **极高** | 5 | 53,520 | 24.96% |
| **高** | 9 | 41,840 | 19.51% |
| **中等** | 15 | 20,000 | 9.33% |
| **低** | 12 | 10,960 | 5.11% |
| **极低** | 14 | 61,803 | 28.83% |
| **评级不匹配** | 4 | 4,880 | 2.28% |
| **新增章节** | 18 | 21,397 | 9.98% |
| **总计** | **77** | **214,400** | **100.00%** |

以下为部分章节评级分析表中的条目示例：

节点 ID 章节标题 近似字符数 实体（估算） 关系（估算） 实际评分 预测评分（索引匹配） 匹配质量 0017 第 2.12 条：支付与计算 1,520 21 5 低 低（支付与计算） 0018 第 2.13 条：税收 3,360 14 10 中等 中等（税收） 0019 第 2.14 条：支付共享等 800 8 6 低 低（支付共享） 0020 第 2.15 条：债务凭证 640 10 2 低 低（债务凭证） 0021 第 2.16 条：资金用途 320 8 4 高 高（资金用途） 0022 第 2.17 条：承诺总额增加 2,800 22 9 中等 新增章节 0023 第 2.18 条：终止日期延长 3,120 20 25 中等 新增章节 0024 第 2.20 条：贷款人更换 1,920 19 12 中等 中等（贷款人更换） 0025 第 2.21 条：基准利率替换设定 12,560 61 31 高 高（基准利率替换设定）

以下是若干抽取示例：

• 特定定义术语（极高）：
• *实体*：基础利率、利差、SOFR
• *关系*：IS_A、PART_OF、CONTROLS、ROLE_OF、REFERENCES（定义构成本体骨架，实现标准化实体归一化与稳健语义继承）
• 先决条件（中等）：
• *实体*：交割日、证书、批准文件
• *关系*：[贷款人]-(要求)->[证书]，[代理人]-(接收)->[批准文件]
• 会计术语；解释性条款（低）：
• *实体*：GAAP、会计原则
• *关系*：无（纯属行政与解释性条款，仅含极少主动关联边）

### 第三阶段：TRoadhouse 信贷协议（最终测试）

尽管我们仅使用首份文档来丰富图谱可建模性索引，但仍有必要测试 TRoadhouse 信贷协议并观察其结果。在开展测试前，需考虑若干差异——不仅存在于文档之间，更涉及领域与行业背景。艾默生与 AT&T 均为大型蓝筹公用事业与电信企业，而 Texas Roadhouse 则是一家中型连锁餐厅企业。艾默生与 AT&T 的协议风格类似主权企业财务文书，依据信用评级机构标准制定；而 Texas Roadhouse 的协议高度定制化，专为餐厅租赁场景量身打造。就规模而言，该文档达 434,000 字符，接近前述两份文档总和，结构树中包含超过 100 个章节。**换言之，若该图谱可建模性索引在此文档上表现优异，则“文档结构可作为实体与关系产出率准确预测指标”的假设将得到无可辩驳的证实。**

以下是翻译后的中文 Markdown 文章：

---

以下是最终结果。索引表现极为出色：**102 个章节中，有 81 个（79.4%）与索引完全匹配**；没有任何章节出现实际评级与预测不一致的情况。该模型精准地将“信用证”等关键章节以及标准的“积极/消极承诺条款”归类为高收益类别，这应触发完整提取。其余 21 个章节（占 20.6%），被划分为“覆盖缺口”，其中包括低收益的行政性条款（如“四舍五入”、“错误付款”等）以及程序性噪声（例如“分部”、“承诺”等）。

然而，真正的影响体现在数据载荷效率上。除了附录外，系统还识别出多个低收益章节，如会计术语、四舍五入规则、行政代理、杂项条款等。各附表则根据其独立价值进行分析：尽管部分附表（如“抵押权”和“投资”）的评级与索引一致，属于“高收益”，但其他附表（如“现有信用证”）则被归类为“覆盖缺口”。

**总体来看，“低”与“极低”评级合计确认了通过遵循预测结果并完全跳过这些章节，可实现 38% 的净节省。这证实了该方法的可行性。**

以下是收益处理效率表格：

| 匹配评级 | 章节数量 | 总字符数 | 占全文比例 |
| --- | --- | --- | --- |
| **极高** | 11 | 128,840 | 29.64% |
| **高** | 12 | 30,320 | 6.98% |
| **中等** | 20 | 25,000 | 5.75% |
| **低** | 17 | 9,520 | 2.19% |
| **极低** | 21 | 155,000 | 35.66% |
| **评级不匹配** | 0 | 0 | 0.00% |
| **新增章节** | 21 | 85,960 | 19.78% |
| **总计** | **102** | **434,640** | **100.00%** |

以下是一些章节评级的示例：

节点 ID 章节标题 约字符数 实体数（估算） 关系数（估算） 实际评级 预测评级（索引匹配） 匹配质量 0104 7.14 财务承诺 720 12 1 极高 极高（财务承诺） 0105 8.01 违约事件 3,200 30 21 中等 中等（违约事件） 0108 第九条：行政代理（聚合） 4,880 2 0 低 低（代理职责） 0119 第十条：杂项（聚合） 18,000 2 0 极低 极低（杂项） 0144 附表 2.01A 承诺条款 4,000 2 0 极高 极高（承诺附表） 0145 附表 2.01B 信用证承诺 2,000 2 0 极低 新增章节 0146 附表 2.03 现有信用证 3,000 3 0 极低 新增章节 0147 附表 5.01 管辖司法区域 6,000 2 0 极低 新增章节 0159 附表 5.06 诉讼事项 5,000 2 5 极高 极高（诉讼） 0161 附表 5.09 环境事项 8,000 2 5 极高 极高（环境事务） 0163 附表 5.13 子公司 40,000 2 5 极高 极高（子公司）

最后，以下是一些提取结果的示例：

• 财务承诺（极高）：
• *实体*：借款人、杠杆率、固定支出覆盖率
• *关系*：[借款人]-(维持)->[杠杆率]
• 投资与抵押权（高）：
• *实体*：借款人、抵押权、资产、允许投资
• *关系*：[借款人]-(授予)->[抵押权]，[借款人]-(作出)->[允许投资]
• 定义术语（极高）：
• *实体*：调整后期限 SOFR、基础利率、违约贷款人
• *关系*：IS_A、PART_OF、CONTROLS、ROLE_OF、REFERENCES（定义构成本体基础，实现标准化实体归一化与稳健语义继承）

## 结论

当前的知识图谱（KG）处理流程本质上效率低下。我们迫使昂贵的大语言模型（LLM）扫描整个企业文档库，而实际上仅有其中一小部分文档包含有意义的关系型智能信息。

**本文证明了文档结构本身即可成为图谱提取收益的强大预测因子。**

通过结合 Proxy-Pointer 的结构理解能力与 Graphability 索引技术，我们可以将 KG 数据摄入方式从粗暴的语义扫描，转变为基于结构的定向路由。无需反复处理整份长达 50 万字符的协议文件，系统能够学习哪些文档区域通常能产出有价值的实体与关系——哪些则基本是模板式噪音。我们甚至可以完全忽略这些噪音内容，而无需借助诸如使用小型 LLM 来降低成本等折中方案。

在对来自不同行业的三份大型真实信贷协议进行测试后，索引仅经过几次迭代便迅速稳定，并持续实现了显著的数据载荷削减，同时保留了高价值的关系抽取能力。

更重要的是，这提示我们应当重新审视提取架构的设计理念：与其将文档视为扁平文本流，Proxy-Pointer 将其视作具备语义结构的树形体系，能够在提取开始前就预测出有意义知识最可能存在的位置。

随着企业级 GraphRAG 系统在数百万份合同、申报文件、政策及协议中不断扩展，此类具备结构感知能力的摄入方式，或将成为大规模知识图谱构建实现可持续运营的关键路径。

## 开源代码仓库

_**Proxy-Pointer 完全开源（MIT 许可证），可在 [Proxy-Pointer GitHub 仓库](https://github.com/Proxy-Pointer/Proxy-Pointer-RAG) 获取。**_ 可通过单条 `pip` 命令快速安装。

**克隆该项目，尝试您自己的文档，欢迎分享您的想法。**

欢迎通过 [www.linkedin.com/in/partha-sarkar-lets-talk-AI](http://www.linkedin.com/in/partha-sarkar-lets-talk-AI) 与我联系并交流您的见解。

本文所用信贷协议可在 [SEC.gov](https://www.sec.gov/search-filings) 公开获取。代码与基准测试结果均以 MIT 许可证开源发布。本文所用图片由 Google Gemini 生成。