The Three Dimensions of Custom Agentic Alignment: Purpose, Principles and Practices

定制化自主对齐的三个维度：目的、原则与实践 | Towards Data Science

自主AI

定制化自主对齐的三个维度：目的、原则与实践

一个将自主AI与企业意图对齐的框架，确保在各种场景中实现一致的自主行为。

Gadi Singer

2026年7月13日

19分钟阅读

分享

图片来自Adobe Stock（经Gemini修改）

自主AI系统正在迅速从实验原型转向各行各业、政府运营和日常数字工作流程中的嵌入式参与者。然而，其能力的加速发展却超出了对其自主性进行完全控制或限制的能力。根据定义，自主性赋予AI系统做出选择并以一定独立性行动的能力。即使有限的自主性也意味着这些选择可能偏离部署该系统的组织的意图、约束或价值观。系统行为与组织预期之间的这种差距，正是企业日益需要我所说的“定制化自主对齐”的原因。这需要一个量身定制的对齐层，超越通用的安全规范，确保代理的决策始终与我所称的企业组织意图堆栈的三个维度（3Ps）——目的、原则和实践——保持一致。

行为偏差是任何系统的主要内部威胁。嵌入更大架构中的自主解决方案拥有特权访问权限、操作自由度以及从内部造成损害的能力。仅靠网络安全防火墙无法阻止内部系统做出不当选择。在工业或政府领域部署自主系统，需要引入新的对齐保障方法。

在更广泛的AI文献和前沿实验室探索中，“对齐”通常指通用（“普遍”）行为原则：诚实、避免有害或仇恨输出、拒绝提供危险指令以及服从人类控制。尽管这些规范很重要，但它们仍在完善中，不足以满足实际部署需求。部署在特定行业和企业环境中的代理需遵循领域特定规则、监管义务、操作限制和组织预期。将自主系统与这些本地化边界和预期对齐，需要更精细、更具情境感知的流程。这就是定制化自主对齐的作用：将组织环境转化为操作护栏，塑造代理如何感知任务、解决歧义和升级决策。

当组织将自主AI扩展到具有重大影响的岗位时，这一过程应类似于招聘新员工而非安装新工具。人类员工因可靠性和判断力被选中，随后被沉浸于公司文化、政策、工作流程和汇报结构中。自主系统需要一个平行的入职流程，植入目的、阐明原则，并定义系统安全有效运行的实践方式。

组织需要一种正式的方式来定义规范自主行为的期望。在以下章节中，我将介绍一个实用模型，用于在多个层级和维度上定义这些期望。这种组织对齐层引入了两个轴：

• 对齐自主性的三个维度：目的、原则和实践（即3Ps）

• 对齐预期的三个层次：普遍、领域和定制

它们共同提供了实现自主选择和行动在各种场景中定制化、持久化对齐所需的框架。这些跨维度和层次的综合预期应被用于系统训练以及独立监控运行时的遵循情况。

自主系统对齐偏差：可能出错的方面

对于初次接触自主系统的团队而言，对齐可能显得抽象——似乎是由前沿实验室处理并继承的“现成”机制。实际上，自主系统必须根据部署它们的组织的具体预期进行调整。当它们未被正确调整时，可能引发声誉、财务甚至法律方面的后果。

考虑几个例子。加拿大航空的客户服务AI发明了一项与公司规定不符的退款政策，但法院裁定航空公司必须遵守该政策。这是预自主AI时代的情况。现代自主系统可以在没有人工监督的情况下跨多步骤进行规划、推理和行动，这使它们偏离轨道的可能性大大增加。研究表明，这些系统可能因谄媚行为或内部驱动力（如目标保护、资源获取，甚至欺骗策略）的出现而误判行动方案，这些现象仅仅是训练过程的副产品。

在2025年Anthropic的一项研究中，获得企业电子邮件系统访问权限的领先模型在面临被关闭威胁时，通过勒索高管来应对。类似行为已经在企业环境中出现：一个代理扫描了员工的收件箱，并在自身行动受阻时威胁升级尴尬邮件。这些并非传统网络安全失败。威胁来源不再仅仅是外部入侵者——自主AI已经身处系统内部，并拥有我们赋予它的访问权限和权威。

风险不仅限于个别事件。英国政府相关机构对算法交易的研究警告称，日益强大的AI系统可能导致“算法共谋”，以监管者从未设想的方式协调价格。

组织对齐框架解决了这些风险，为技术领导者提供了安全可靠部署自主AI的术语和结构。

定制自主对齐的3P原则

自主对齐意味着确保AI系统的决策和行为始终反映三个核心维度：目标（Purpose）、原则（Principles）和实践（Practices）。这三个维度共同定义了代理试图实现的目标、在价值观冲突时的推理方式，以及执行任务时必须遵循的方法。继续我们关于新员工入职的类比：目标对应角色和目标，原则对应公司的价值观和偏好，实践对应管理日常执行的程序和工作流程。这三个维度都是实现全面、持久对齐的必要条件。

目标

目标定义了创建代理的原因及其旨在追求的目标——其所有决策和行动背后的总体驱动力。明确的目标具有两个特性。首先，它必须包含明确的最终成功度量标准。没有这一标准，代理将自行推断替代指标，通常会优化一些非预期的目标。其次，该度量标准必须体现成功的真正含义，而非狭窄的技术替代指标。当度量标准过于狭窄时，代理将满足目标的字面要求，却违背其精神实质。

一个经典的例子来自早期用于减少平均通话时长的客户服务AI。系统发现最快实现这一目标的方式是直接挂断电话。通话时长确实下降了，但客户满意度却急剧下滑。虽然技术上达到了设定的目标，但实质上却失败了。更好的表述方式应是：在保持或提升客户满意度和品牌认知度的同时减少平均通话时长，这样才能准确反映真实目标。

目的也可以是分层的。一个代理可能有主要目标和次要约束，但如果没有明确的优先级，它不能同时拥有两个相互冲突的目的。如果被迫自行解决冲突，代理可能会选择部署者从未预期的路径。

目的还必须针对具体部署场景，即使在同一组织内部也是如此。同一部门的两个采购代理可能拥有截然不同的指令。例如：

• 代理A：在满足交付日期和功能承诺的前提下，尽量减少项目A的开支。目标是降低成本。
• 代理B：尽可能加快项目B的进度，只有当开支超过100万美元上限时才升级给人类处理。目标是缩短周期。

同一家公司、相同规则、不同目的——因此行为也会不同。对齐程度取决于每个代理是否在为其角色设定了正确的目的。

在许多代理卡片中，“意图”（intent）一词常与“目的”（purpose）互换使用。然而，“目的”指的是创建和部署代理的底层原因，即“为什么要这么做”。而“意图”有时更偏向交易性，指的是行动或选择的动机。

如果做得好，目的能让代理的行为具有鲜明的归属感。两个使用相同底层模型的企业可能产生显著不同的行为，因为每个企业都会编码反映其独特使命、优先事项和风险立场的目的。

图1. 代理正在追求的目的。来源：Gadi Singer。

原则

如果目的定义了代理应实现的目标，那么原则则定义了在实现目标过程中应重视的价值。原则是代理在权衡决策时的框架——而权衡正是实际组织决策的基石。

原则与规则并非同一回事。规则告诉代理该做什么或不该做什么。而原则则在规则模糊、不完整或存在冲突时，告诉代理什么更重要。成本与质量、创新与可预测性、客户便利性与客户保护之间都可能存在权衡。有意义的商业决策往往涉及价值判断。清晰的原则能确保代理的价值判断与组织保持一致。在许多情况下，原则也可以被称为偏好。

原则可能包含抽象价值观，但也可以超越它们。价值表达了组织认为重要的内容。优先级则表达了该价值与其他价值相比的相对重要性。原则将两者结合：它声明了价值、优先级，并说明这种结合应如何驱动决策和行为。

• 隐私很重要是价值。
• 隐私优先于效率是优先级。
• 原则将两者转化为代理可以始终如一应用的决策规则。

如果原则制定得当，代理将具备许多组织在人类员工中都难以维持的特质：即使在不可预测的情况下，也能保持稳定的决策能力。与人类不同，代理不会疲倦、不会受政治因素影响、也不会表现不一致。它们会始终如一地应用内嵌的原则——跨部门、跨场景、每次任务都如此。

图2. 代理应遵循的原则。来源：Gadi Singer。

实践

如果说目标定义了要实现什么，原则定义了要重视什么，那么实践则定义了如何开展工作。它们是组织期望代理遵循的具体工作流程、程序知识、条件和依赖关系——即组织的操作肌肉记忆。

实践之所以重要，是因为在任何复杂的企业中，"最佳"行动并非仅由价值观决定，而是由流程决定。当你走进银行进行电汇时，柜员不会即兴发挥。存在明确的流程：需要哪些表格、超过阈值的转账由谁授权、记录如何登记。这些实践存在的原因有三：它们勾勒出已知最安全的执行方式，使整个系统——其他员工、其他分行、监管机构——能够依赖一致的行为，同时消除了重新发现优质表现形态的需要。实践是组织扩展专业知识的方式。

实践以多种形式存在。有些是简单的确定性规则：在处理取款前始终验证身份。有些是条件性流程：如果转账超过10,000美元，升级至经理；如果24小时内未获批准，退回资金。有些是随时间演变的最佳实践方法，而有些则是与合规或安全相关的不可协商要求。企业代理将在单一工作流中同时遇到所有这些类型。

实践的精确程度也各不相同。最可执行的形式是命题：可以无歧义验证的确定性规则。例如"在分享代码仓库链接前，必须获得5级经理的数字签名授权表12"就是一个命题——要么发生了，要么没发生。不存在灰色地带，无需解释。

然而，实践也可能允许有限的解释范围或可接受的执行顺序。例如，许多法规有意保持灵活性以适应不同公司和商业模式。像"在对客户账户采取行动前，提供书面通知解释机构的隐私政策"这样的规则，为代理留下了判断"书面"形式、"之前"时间点以及如何确认接收的余地。这种模糊性对人类监管者而言是特性，允许不同组织以不同方式合规。但对于自主系统而言，不必要的灵活性则是隐患。在缺乏坚实实践指导的情况下，代理可能以任何合规官员都不会认可的方式解释模糊规则。

图3. 代理应执行的实践。来源：Gadi Singer。

越来越多的实验现在使用代理卡片或政策卡片来阐明对自主系统的要求。所提出的对齐框架通过根据其固有维度和确保合规所需的执行机制对每个要求进行分类，强化了这些努力。

在该提议的对齐结构中，智能体卡片元素（如任务、优化目标和成功指标）对应于“目标”，即定义智能体应实现的内容。操作约束、边界和工作流规则自然映射到“实践”，即智能体必须遵循的具体程序。最后，明确的优先级和更高层次的指导原则（如“保持诚实”“寻求澄清”或“保持可纠正性”）则完全属于“原则”范畴，即塑造权衡取舍和价值判断的规范性承诺。这三个维度将智能体卡片从描述性工件转变为可对齐的规范说明，使每个要求在智能体自主系统中都可执行且可强制实施。

对齐期望的三个层级：通用、领域和定制

对齐自主性——目标、原则和实践——并非源自单一来源。它们源于不同层级的对齐期望，每种层级以不同方式塑造智能体行为。对齐期望可分为以下三个层级：

• 通用：通用（或“普遍适用”）期望是范围最广的全球层级。其核心是跨文化、地理和行业广泛共享的原则——例如“不偷窃”“不危害生命”“不欺骗”等规范。尽管哲学家们仍在争论是否存在真正的普世价值观，但许多期望的普遍性已达到任何部署方都会将违反视为不可接受的程度。历史上类似的是《十诫》，这是早期尝试阐明大规模行为期望的范例。相比之下，目标从不会具有普适性——每个智能体的目标本质上都是特定的。实践也很少具有通用性，因为不同行业和组织的工作流程存在差异。因此，通用层级主要作为基础原则的来源。

• 领域（行业或地理）：领域层级期望包含与特定行业、领域或司法管辖区相关的原则和实践。在医疗领域，患者隐私优先于其他许多考量。在金融领域，数据使用的透明性是监管基准。在主权语境中，国家法律和司法要求定义了严格的行为边界。

• 定制（组织或部署）：定制层级包含特定组织（甚至特定智能体实例）独有的目标、原则和实践。这些期望编码了组织的身份、优先事项和流程知识。奢侈手表制造商可能优先考虑工艺而非成本，而成本领先者可能强调运营效率而非功能丰富性。即使在同一公司内，每个智能体都需要明确的目标，通常还需要定制的实践和原则。

智能体必须对齐所有三个层级的综合期望。这正是对齐具有挑战性的部分：不存在单一权威来源。智能体必须将通用规范、领域特定约束和定制组织意图整合为连贯的行为模型。

前沿实验室（如Anthropic）主要专注于与通用原则的对齐。然而，这种对齐自主性框架将范围扩展至涵盖实际企业部署中定制代理对齐所需的全部预期——在这些场景中，组织背景、领域规则和通用规范都必须体现在代理的行为中。

图4. 定制代理对齐框架。来源：Gadi Singer。

对齐带来的能力

关于代理对齐的讨论大多集中在出错的成本上：勒索尝试、伪造的退款政策以及其他引发头条新闻的失败案例。这些风险是真实的，也证明了需要一个严谨框架的必要性。但它们仅代表故事的一半。

另一半是3Ps所实现的可能性。

当代理在目标、原则和实践方面实现可靠对齐时，企业将获得当前自主系统所不具备的能力：规模化信任。审查每个代理决策的负担将大幅降低，因为这些决策在组织关心的方面变得可预测。这种可预测性是企业部署代理的必要条件——不仅限于业务边缘，而是深入到运营核心。反过来说，如果没有这个框架而大规模部署自主代理，每次新工作流都会成倍增加对齐风险。

对齐还改变了合规态势。受监管行业数十年来一直在构建政策、流程和审计轨迹，以确保人类员工的行为符合规则。一旦这些相同预期被纳入3Ps，就能直接应用于代理。大多数组织已经具备原则、流程和控制措施的原始材料。对齐的工作就是将现有内容编码，并使其在实时中可执行。

最后，对齐代理实现了组合能力。单代理部署只是过渡阶段。企业AI的未来是跨明确定义边界的专用代理网络协作。这种编排只有在网络中每个代理都共享一致的目标、原则和实践时才可能实现。没有这种共享基础，看似协调的系统实际上会变成一组错位的组件，每个交接点都会放大偏差。

3Ps不仅仅是防止错位的防御机制。它们是企业从自主AI中期望获得一切的前提条件：可信赖的决策、监管信心，以及能够以现代商业速度和复杂度运行的可扩展多代理系统。

从框架到部署

3Ps设计用于两种互补模式：训练和运行时监控。它们共同构成了对齐的完整生命周期。一个有用的类比是新司机：教练教授规则和预期，而交警独立执行这些规则。代理系统需要两者兼具。

教育属于训练阶段——将目标、原则和实践直接编码到模型中。目前大多数对齐工作都发生在这里，原因显而易见：训练有素的模型是第一道防线。训练塑造了代理的默认行为、对目标的理解，以及解决模糊性的内部启发式方法。

监督是运行时层面——持续监控代理的计划、决策和行动是否符合相同的3P原则，并在出现偏差时进行干预。监督机制存在的原因在于，无论进行多少训练都无法实现完美的对齐。模型会产生幻觉，工具性目标可能在意外情境中出现，测试中有效的实践可能在真实世界条件下失效。运行时监督能够在这些偏差造成危害之前及时捕捉到它们。

这两种模式都至关重要。没有监督的教育假设了当前模型尚未具备的训练可靠性。没有教育的监督则迫使系统在运行时处理所有问题，这既不可扩展也不安全。两者相互强化：训练减少了干预需求，而监控确保训练失败不会演变为操作决策。明确这些要求具有双重作用：一方面为对齐训练和微调过程中的智能体系统提供指导，另一方面为独立的运行时监控器提供评估系统决策并及时干预的依据。该过程可以逐步推进，部分步骤可在整个公司或组织内共享，而最终要求则由部门或特定代理添加（见图5）。

图5. 对齐自主框架中需求的渐进式定制化获取。来源：Gadi Singer。

在实践中，对齐不是一次性配置，而是一个持续循环——教学、观察、纠正、优化。正是通过这种方式，组织能够从理论对齐过渡到可部署、可信赖的智能体系统。

例如，Confidential Core AI提供的正式化3P对齐自主框架，使机构能够将广泛的监管和运营要求转化为机器可解释的约束条件，这些约束条件规范代理行为，确保AI系统在处理敏感主权数据时始终与组织的意图、价值观和约束保持一致。

通过正式定义目的、原则和实践，机构可以简化需求收集流程——在企业范围内复用共享标准，同时仍支持精确的领域定制。机构必须能够“将现有的法律、运营和合规要求提取为机器可解释的约束条件，并在代理行动前实时在推理层进行强制执行”。

这一正式化框架还支持构建基于需求的语义监控系统，提供持续独立的监督。这些监控器观察代理的推理过程而非仅仅输出结果，在有害或不合规行为完成前进行干预，确保整个推理运行时的对齐性和合规性。

对齐自主的迫切需求

对齐自主框架的概念为行业提供了一种词汇体系，为一个此前缺乏清晰语言定义的问题建立了共享的思维模型。一旦这种词汇体系建立，任何部署自主代理的团队所面临的问题都将变得具体、可回答且可测试。

• 代理的目的是什么？
• 它遵循哪些原则？这些原则来自哪个层级——通用、领域还是组织层面？
• 哪些实践规范其行为？其中哪些是可以通过确定性方式强制执行的命题？
• 其工具性目标或涌现行为可能在哪些方面与整体产生冲突？

• 最后，代理是否具备足够的能力来完成我们要求它执行的任务？

每个现代系统在部署时都投入了大量资源用于安全性和防护，以应对外部威胁。随着代理AI嵌入商业运营和社会整体，对内部对齐的严谨性也必须同样适用。任何自主系统在部署前都应明确、结构化地设定跨多个维度的期望。

对齐自主框架为这种严谨性提供了支撑结构。它将对齐从抽象的愿景转化为实际的操作框架，使自主系统能够在现实世界中按预期大规模运行。

Confidential Core AI的首席AI科学家Gadi Singer是人工智能领域的思想领袖，曾担任Intel Labs的副总裁兼新兴AI研究主任。他目前的研究兴趣包括负责任的AI、代理AI和超级智能。

参考文献

• Belanger, A., Air Canada必须遵守由航空公司聊天机器人制定的退款政策 , (2024年2月16日), Ars Technica, https://arstechnica.com/tech-policy/2024/02/air-canada-must-honor-refund-policy-invented-by-airlines-chatbot/

• Singer, G., AI代理的隐秘内在世界：理解演变中的AI行为如何影响商业风险 , (2025年4月29日), Towards Data Science, https://gadi-singer.medium.com/the-secret-inner-lives-of-ai-agents-understanding-how-evolving-ai-behavior-impacts-business-risks-4971f1bda0bb

• 代理对齐问题：LLM如何可能成为内部威胁 , (2025年6月20日), Anthropic, https://www.anthropic.com/research/agentic-misalignment

• Bellan, R., 逃逸代理与影子AI：为什么风险投资机构在AI安全领域押注巨大 , (2026年1月19日), TechCrunch, https://techcrunch.com/2026/01/19/rogue-agents-and-shadow-ai-why-vcs-are-betting-big-on-ai-security/

• Croxson, K., Enser, J., AI与共谋：边界、机遇与挑战 , (2026年3月4日), Gov.UK, https://competitionandmarkets.blog.gov.uk/2026/03/04/ai-and-collusion-frontiers-opportunities-and-challenges/

• Klarna裁员700人用于AI。随后又重新雇佣了他们。每位B2B领导者都应关注此事。 , (2026年5月7日), State of Brand, https://www.thestateofbrand.com/news/klarna-reverses-ai-job-cuts

• Behbehani, T., 我们共同构建的智能由谁监管？ (2026年6月), Confidential Core AI, https://www.confidentialcore.ai/framework

撰写者

查看Gadi Singer的所有文章

AI对齐

,

AI工程

ai-代理

人工智能

编辑精选

分享本文

• 在Facebook上分享

• 在LinkedIn上分享

• 在X上分享

Towards Data Science是一份社区出版物。提交您的见解以触达全球受众，并通过TDS作者支付计划获得收益。

更新为您的实际投稿URL

为TDS撰写文章

✦ 结束CTA ✦