An Organizational Second Brain: Building an AI That Learns From Experts

组织的第二大脑：构建一个从专家学习的AI - Meta工程实践

发布日期

2026年9月2日

分类

AI研究

,

机器学习应用

安全与隐私

组织的第二大脑：构建一个从专家学习的AI

.entry-meta

.entry-header

作者

Shaurya Sengar

Jason Nawrocki

Jay Shah

Prashant Kommireddi

• 我们构建了一个AI代理，作为特定领域的二次专家，使深度专业知识能够被组织内的任何人随时访问、共享和进一步发展。

• 这不是一个典型的领域专用代理。其创新之处在于整合了两个层次：结构化的、可审计的知识架构将代理的知识与推理方式分离。随后的自我改进循环将专家反馈编译为经过验证、回归测试的更新，而无需重新训练模型。

• 这两个层次共同作用，将一次性的专家修正转化为永久累积的组织记忆，这种模式设计可推广到其他由可检索文本而非模型权重支配的领域。

• 这个系统为Meta的领域专家（SME）节省了大量时间，使他们能够专注于其专业知识最重要的工作。

许多大型组织在专业知识方面面临同样的问题。虽然部分知识以模型、操作手册、检查清单和框架的形式被记录下来，但最有价值的专业知识存在于人们的头脑中，很少被持久存储。例如在合规领域，数百个产品审核中可能会反复出现相同类型的问题，专家评估需要耗费数天的手动研究，而评估结果的不一致会给组织带来真正的风险。

专家们常常花费更多时间回答常规问题，而非真正新颖且具有歧义的工作，这些工作才是他们判断最关键的领域。我们需要构建能够捕捉组织专家推理方式的系统，让这些知识对所有需要的人开放，使专业知识更容易共享、发展和保存。我们通过将机构智能编码为特定合规领域的AI代理来解决这一挑战。该代理结合了作为组织"第二大脑"的知识系统、模拟领域专家实际思维方式的推理层，以及将专家努力永久累积的自动化改进流程。这些模式可推广到任何具有深度专业知识的企业领域，无论是金融、安全还是工程领域。

架构概览

现成的大型语言模型（LLMs）提供了坚实的基础，但要在专业领域完全发挥作用，通常需要更深入的机构背景。缺乏这种基础时，通用模型的价值有限，因为它无法区分组织能够做什么（一般信息的摘要）和应该考虑做什么（基于历史立场、公司方向、业务背景等）。在高风险领域，弥补这一差距需要向模型提供组织自身的知识和优先事项，使其分析能够反映组织实际的推理方式。

我们设计的系统包含四个层次，每个层次解决不同的问题：

这些层级相互依赖。知识系统的文件结构使得自动化编辑成为可能。推理层的显式流程使失败归因变得可追踪。评估框架对每一次变更都进行门控。而改进循环则会将反馈同时输入知识和推理层。移除任何一层，其他层级都会退化。

构建组织的第二大脑

大型组织在专家工作的副产品中可能积累数千份文档。将这些文档视为组织知识的诱惑很大，但真正的知识是隐含的：专家如何推理、如何确定优先级、如何解决歧义。在推理过程中检索文档片段的代理必须在每次运行时都从原始数据源重新推导出这种推理，这会导致速度缓慢、容易出错且不一致。

我们在事前将这种隐含知识显式化。一个长期运行的离线流程会通过源文档进行推理，并将其提炼为结构化知识文件——这些经过精心整理的声明描述了组织如何解释其领域，同时将约束条件、边界和路由影响转化为机器可读的格式。

最重要的是，这些知识构成了一个反馈循环的基础，使代理能够从人类专家那里学习并实施反馈，而无需重新训练底层模型。

业界已达成类似共识。Andrej Karpathy 的 LLM Wiki 将代理知识结构化为可导航的文件图谱，而 Google 的 Open Knowledge Format 标准化了这一模式以实现跨代理互操作性。共同的洞察是：知识应预先提取、显式结构化并逐步披露，而非在每次查询时重新推导。我们扩展了这些原则，构建了一个系统，其中引用准确性和机构一致性是不可妥协的，将 200 多个文件组织成严格分类体系：

• 立场文件记录权威的组织立场：组织如何决定解释特定领域问题，以及相关的约束条件、边界条件和可由机器执行的路由影响，这些信息会告诉推理层何时应用该立场。

• 分类与词汇文件作为组织用于描述其领域的术语的权威词典，例如实体类型、活动类别和分类层级。每个文件都作为单一事实来源维护，确保代理和组织使用语言的一致性。

• 路由索引将输入特征映射到相关立场和流程，确定适用文件时不再仅依赖嵌入相似度。这使检索过程具有确定性和可审计性。

• 网关文件定义代理进入分析领域前必须通过的阈值测试，防止其在不适用的场景中使用专业知识。

每个文件在 YAML 前置信息中声明其依赖项（depends_on）和消费者（referenced_by），形成双向依赖图。当某个文件变更时，可以精确追踪其他可能受影响的部分，这在自我改进循环提出自动化编辑时尤为重要。

知识系统的示意图：文件组织为可导航的文件系统（左），每个文件的 YAML 前置信息（右）声明了其适用场景（触发情境）以及依赖项和消费者，形成代理可轻松遍历和维护的双向依赖图。

按密度和使用频率组织知识

一个关键的架构决策是如何在精心维护的维基和补充检索（RAG）之间划分知识。我们根据信息密度和预期使用频率进行划分。

高密度且频繁引用的资料归入维基：这些是浓缩文件，记录组织如何推理的要点，例如立场、决策框架、边界示例和战略解释。代理在几乎每次交互中都会参考这些内容。由于它们编码了组织的演进思维，需要保持最新，而维基结构使其易于更新、版本管理和验证。

低密度但情境相关的资料则通过语义或词汇搜索（RAG）提供：这些文档在适用时具有重要意义，但在大多数运行中不需要详细查阅，例如详细参考材料、单个产品规格、历史决策记录和利基外部知识。将所有内容加载到维基中会导致系统臃肿并分散注意力。

结果是代理的核心推理始终基于最精炼且最新的组织知识，同时在需要时仍能调取支持性证据。这种组合产生了一个组织级的"第二大脑"，它编码了组织如何解释和应用信息，而不仅仅是信息存储位置。

通过可组合流程实现专家推理

知识本身并不足够。领域专家不仅仅是记忆事实，他们遵循结构化方法：财务分析师逐步执行估值模型，安全工程师遵循威胁建模流程。挑战在于如何将这些方法转化为大语言模型可以可靠执行的形式。

我们通过称为"流程"的可组合程序来解决这个问题。与声明式的知识文件不同，流程是命令式的。每个流程都规定了多步骤分析工作流，明确指定首先检查什么、每一步加载哪些知识、遵循哪些决策程序，以及构成完整分析的条件。

关键的设计选择是将代理所知道的内容与其推理方式分离。流程引用知识文件但不包含领域事实；知识文件声明立场但不规定程序。这意味着：

• 添加组织立场只需添加知识文件并更新路由索引。无需修改任何流程。

• 修复代理方法论中的缺陷只需编辑流程。无需更改知识文件。

• 故障可以清晰归因于某一层。是知识错误，还是流程问题？

这些流程可以组合成流水线，就像主厨的晚餐服务主配方会委托子流程处理每个组件（酱料、蛋白质、装饰）而无需包含这些细节本身。我们的顶级路由流程会检查输入并选择调用哪些下游流程，每个流程处理一个分析阶段。

这正是渐进式披露得以实现的关键。与一次性加载涵盖所有可能场景的庞大指令集不同，每个配方步骤仅包含该阶段相关的指令和知识。早期版本使用单一的扁平化指令文件，通过语义搜索加载所有来源，每次运行时都会将大量相关性不一的文件加载到上下文窗口中。在重构为以配方驱动的阶段后，每个查询仅涉及一个小而精准的子集，使每次交互消耗的token数量减少了约80%。上下文窗口容量有限，且随着内容体积增加注意力会下降，因此在恰当的时机提供正确的指令能直接提升推理质量。

保持人类控制权

人类专家始终掌控该系统的全流程。智能体加速并结构化他们的工作，但不会取代他们的判断或对结果的权威。

我们通过两种机制确保这一点：

检查点是分析过程中的预定义节点，在继续推进前，智能体会展示其阶段性推理供专家审核，专家可确认、修正或调整方向。

当智能体遇到真正的歧义时（无论是输入信息不明确，还是存在多个合理解读的证据），会触发升级机制。此时不会强行解决，而是将问题交还给专家，由专家的选择决定分析路径。

检查点和升级机制同时实现三个目标：

• 质量与方向控制：专家能在问题累积前及时发现错误，确保分析始终沿着他们认为最相关的路径推进。
• 训练信号：每一次修正和每一次升级都会成为自我优化循环的输入。
• 信任校准：专家通过观察智能体的推理过程而非仅最终结果逐步建立信心，并看到其主动标记不确定性而非掩盖问题。

决策的后果越严重，这种机制就越关键，这也是为什么我们建议在合规、财务风险评估、安全审查和工程安全等领域的默认设置中始终保留人类参与。

自我改进飞轮

我们认为自我改进飞轮是该系统最具特色的部分。虽然结构化知识体系和可组合的配方生成了一个对人类和智能体都可解释、可测试且模块化的系统，但相互依赖的文件数量使得手动维护无法扩展。当领域专家向智能体提供反馈时，这些反馈必须转化为精确的文件修改。这个过程可能需要数周时间，因为需要理解完整的依赖关系图，验证其他部分不会出错，并验证修复方案确实有效。

已有大量研究（从RAG记忆系统到模型权重知识编辑）致力于解决智能体如何存储、检索和更新知识的问题。但对如何在文档形式的机构知识库随规模扩大和专家观点演变时保持其准确性，却鲜有关注。自动起草修复方案的智能体越来越普遍，但我们尚未看到这种级别的验证严谨性被应用于结构化知识库，而无需重新训练模型。

我们将这种维护视为编译问题并实现自动化。每个专家修正都要经历四个阶段：

• 诊断专家反馈，识别其根本原因并转化为可操作的问题。

• 将问题编译为最小的可验证修改。

• 验证修复措施在不引发回归问题的情况下有效。

• 请领域专家进行审查。

当循环完成后，回归测试套件会补充刚刚修复的问题，以确保未来的更新能够保持该行为。

自我改进循环。专家修正会被追溯到根本原因，编译为最小的可验证修改，并在提交审查前与重放测试和回归测试进行比对。每个修复都会被重新纳入回归测试套件，因此改进是永久性的。

诊断：将每个修正归因于根本原因

原始专家反馈来自对话记录，其中领域专家与智能体互动并提供修正。诊断阶段会从这些对话中提取结构化信号。

我们的初步方法通过对话形式对反馈进行分类。如果专家提供了信息，说明存在知识缺口；如果他们引导智能体，说明存在流程问题。但这种启发式方法失败了，因为对话形式是根本原因的拙劣代理。专家修正一个结论可能暴露的是知识缺口、配方缺陷或真正的歧义。

有效的方法将提取与分类分开处理。首先，从专家和智能体完整知识清单（包括加载的每个文件、加载时间和使用方式）中提取所有实质性信号。其次，阅读实际知识文件并应用单一归因测试：智能体是否能根据源材料得出正确结论？

• 如果材料包含正确答案但智能体仍出错：配方问题。

• 如果材料未包含正确答案：知识缺口。

• 如果专家本身对正确答案存在分歧：歧义，需标记为人工讨论。

编译：精准的多智能体编辑

编译器将每个诊断问题转换为最小的文件修改。子智能体并行分析影响，检查交叉引用、与现有立场的冲突、令牌预算影响、测试覆盖率和重复风险。

两个设计选择使这一过程值得信赖：

独立对抗性审查。一个独立智能体在全新上下文中运行，不了解改进的原理，仅接收知识库的修改提案。其任务是发现诸如引入的矛盾、破坏的边缘案例或被削弱的立场等问题。由于它与提案智能体没有共享上下文，因此不会继承它们的盲点。

确定性结构验证。代码检查器通过程序化方式捕获问题，包括悬空交叉引用、文件大小预算违规、标识符冲突和依赖循环。这一层不是概率性的，只有通过或失败两种结果。

评估：证明修复有效

每个提议的更改需经过两阶段验证：

定向重放会在触发反馈的原始场景上运行智能体。智能体不知道正在被测试。一个独立的评判者在不知道更改内容的情况下，将新输出与原始专家反馈进行比对。这种刻意设计的盲测机制可防止确认偏误。如果定向重放失败，编译过程将重新尝试。

回归测试针对特定领域运行多个基准测试，这些基准测试通常由结构化的问答对测试套件组成。对于可能存在多个正确答案的分析领域，独立的大型语言模型（LLM）法官会根据特定标准为每个测试用例分配通过/失败结果。代理程序会并行、独立地运行，针对基准问题进行性能回归检测。如果回归测试失败，将使用更新后的提示信息重新编译，该提示信息会描述代理程序退化的具体位置，并包含原始问题和尝试的修复方案。

落地与丰富：复利增长

流水线的输出是一个包含完整审计追踪的拉取请求（diff）。人类专家审查的是经过验证的修复方案，而非调试原始故障。一旦获得批准并合并（知识文件或配方得到更新），原始失败场景及其验证后的正确答案会自动添加到回归测试套件中。这意味着每次修复都会永久提高标准，未来对知识系统的任何修改都必须保持刚刚纠正的行为。

结果

经过为期六周的三轮开发冲刺，系统实现了以下成果：

• 领域专家认为代理程序的输出几乎在所有情况下都有用，这相比早期版本中输出经常需要大量返工有了显著提升。
• 个人评估时间从天数级减少到分钟级。
• 自动化自我改进以验证后的知识编辑速度达到此前需要完整工程冲刺才能实现的水平。
• 所有改进周期中实现零回归，每次修复都会自动增强回归测试套件。
• 领域专家一致报告代理程序能够处理绝大多数分析工作，使他们能够专注于真正需要人类判断的模糊案例。

应用此架构

我们构建此系统的特定领域需要将数十个来源（包括内部立场和外部材料）综合为风险加权评估。但该架构本身是领域无关的。它适用于以下场景：

• 专业知识以专家头脑中的部落知识形式存在。
• 评估一致性至关重要。
• 工作量超过可用专家容量。
• 现成的大型语言模型（LLM）生成的分析不足。

符合此模式的具体领域包括法规合规、协议遵守、财务风险评估、安全审查、工程标准合规和采购评估。共同点在于组织需要具有真正机构专业知识的人工智能系统，而不仅仅是通用知识。

采用此架构的要求包括：

• 具有显式文件边界、交叉引用和依赖图的结构化知识系统（该领域的组织第二大脑）。
• 将领域知识与分析方法（配方）分离的流程层。
• 随着每次改进周期自动扩展的自动化评估套件。
• 根据领域风险容忍度校准的人机协作检查点。

更深层的原则很简单：将复杂性保留在人类和代理都能读取的文本文件中，而非微调后的模型权重。每次改进都是领域专家可在30秒内审查的文本编辑。每次更改都经过版本控制、可差异对比且可逆。编译流程虽然复杂，但其输出始终透明。

目标是构建一个专家努力能够永久累积的系统。每一次专家的交互都会让系统变得更好，每一条修正都会以经过验证的改进形式永久留存。组织的集体知识不再局限于个人，而是以一致且大规模的方式，持续为所有需要的人提供支持。

致谢

作者谨此对以下在系统开发过程中作出重要贡献的人员表示诚挚感谢。特别需要致以谢意的是（按姓氏字母顺序排列）：Cecilia Baek、Philipp Kaufold、Cat Hughes、Suzanne Leijten、Michael Marcusa、Jordi Mola、Timothy Neo、Elliott Prentiss、Laia Reyes、John Ross、Julio Santil、Taylor Wilson Thomas、Mansi Tripathi、Nikhil Shanbhag、Madeleine Vos 和 Jackie Zajac。