Crossing the Threshold: How OpenAI and Anthropic Approach Autonomy and Safety in Financial Agents

跨越阈值：OpenAI 与 Anthropic 如何在金融代理中实现自主性与安全

在 AI Engineer New York 会议上，前沿实验室和金融机构探讨了如何赋予代理有用的自主性，同时保持对关键决策的控制。

Richard MacManus

2026 年 10 月 14 日

OpenAI 的 Joseph Kim 今天在 AIE NY 上谈论了阈值现象。

本周 AI Engineer New York 会议的一个关键主题是如何在代理自主性与安全之间取得平衡。本周的演讲中，前沿实验室和金融机构都聚焦于这一议题。

主要结论是：安全的自主性取决于控制措施和人类判断的设置位置，而非限制的数量。

赞助商：通过 shop.dev 为您的代理添加购物功能

为代理添加商业功能通常意味着需要从头构建搜索和结账流程。shop.dev 为您提供一个统一的 API，可在任何代理或应用中实现购物。只需一次连接，即可访问超过十亿种商品的实时价格和库存信息，支持 Shop 快速登录，并在对话中直接完成一键式 Shop Pay 结账。任何开发者均可使用，无需注册或密钥即可体验 → 立即尝试 shop.dev

OpenAI 金融服务业务负责人 Joseph Kim 今天在 AIE New York 作了主题演讲。（我们还与 Kim 进行了特别播客访谈，即将发布。）他谈到可靠性和“有用性阈值”，他表示这是“模型变得足够强大和可靠以节省您时间的临界点”。

Kim 认为，随着模型能力的持续提升，金融分析师将很快跨越这一阈值，能够将更多工作委托给代理。

他针对 2027 年 AI 在金融领域的角色做出了一些具体预测。他声称，明年金融行业对 Excel 和 PowerPoint 的依赖将减少，代理将具备足够的能力完成“投资想法生成和交易”等任务。

模型能力的“能力提升浪潮”也带来了更好的可追溯性。

Kim 表示：“在金融领域，您需要能够追溯数字的来源并理解其背景。”“我们希望这种审查成为 [ChatGPT for Financial Services] 体验的自然组成部分。这些产品细节有助于将模型的能力转化为可实际使用的工作。”

AIE NY 上的 Joseph Kim；照片由 Richard MacManus 拍摄

至于何时需要人类参与，Kim 将其视为产品设计决策。

“界面会如何变化？用户仍需要控制、审查或批准哪些内容？这些都是您可以立即开始思考的产品设计问题。”

对冲基金中 AI 安全与创新的平衡

对冲基金 Two Sigma 的架构高级副总裁 John Feminella 正在解决 Kim 提到的相同类型的产品设计问题。在主题演讲中，他谈到了他们实施的五种控制措施，这些措施在不限制模型能力的前提下，有助于约束代理行为。

Feminella 认为，安全性和创新性不应被视为光谱的两端。他特别批评了“审批疲劳”现象，即一个人如果需要批准所有事项，可能会阻碍创新——如果他们没有充分关注所有需要决策的事项，还可能引入风险。

在 Two Sigma，他们实施了一套控制措施，他将其定义为“护栏和共享能力，让团队能够以不阻碍其目标的方式行动”。

这些控制机制是可组合的，意味着“每个控制机制只负责一项任务，但它们共同协作，使我们能够在适当的安全级别上实现代理的真正自主运行。”

其中一个控制机制是使用自动模式分类器，费米内拉表示：“这些分类器会处理日常事务的决策，然后只将最重要的请求——那些最有可能产生影响的请求——提交给人类。”

分类器可用于处理模糊的案例，而确定性规则更适合处理明确的案例。

Anthropic：为代理提供上下文，然后定义信任边界

Anthropic的演示介绍了一个类似的框架，其目标是将“信任”机制融入金融代理工作流程中。

上个月，Anthropic推出了面向金融顾问的Claude，允许金融顾问将他们的系统连接到Claude以及一套工作流技能。

本周在AIE会议上，Anthropic金融服务业执行董事Belinda Neal解释了Anthropic为何与金融机构合作推出这款新产品。

“每隔一段时间，模型就会突破某个阈值。当这种情况发生时，就会引发一系列工作方式的变革。”

Neal的同事Keon Shahab，他在Anthropic负责应用人工智能，随后谈到“为代理构建信任层”的问题。他表示，这包括三个步骤：

“代理以某种身份和权限层进行操作。我们如何通过沙箱机制确定代理的审批层级，确保有人在代理行动前进行批准。最后，我们如何确保在调整变量时，代理仍然能够正常运行。”

Shahab以一个交易中断调查代理为例，说明了提议与执行之间的界限。该代理会建议对订单进行修改以获得人工批准。

“我们希望代理只提出对订单数据的新修改建议，而不是实际执行这些修改，”他表示。

Shahab总结道：“通过构建一个你信任的基础层，你可以快速大规模部署多个代理。”

Bloomberg：在模型外部实施安全措施

作为Bloomberg首席技术官办公室架构与新兴技术部门负责人，Andrey Rybka负责在公司内部平衡代理的自主性和扩展性。

在今天AIE的演讲中，Rybka谈到了一系列真实事件，其中代理造成了混乱，以及可以防止这些问题的防御措施。这些措施包括作用域身份和凭证、工具调用控制、出站流量限制、审计日志、预算和终止开关。

在其中一个例子中，一个代理将市场评论中的嵌入指令误解为补货产品的指令。Rybka建议实施输入验证、提示注入防御、来源追踪以及对高价值操作的人工审批。

Rybka表示：“我们希望在模型外部实施确定性控制。检查每一次调用，记录日志，并保留终止开关。”

快速前进并安全停止

尽管OpenAI和Anthropic等前沿实验室正在为金融代理构建“信任框架”，但最终还是由金融机构负责为其代理设置控制机制。Two Sigma的John Feminella一语中的：实施能够实现自主性的控制机制，但不要设置障碍。

正如他在结论中所说：“为什么汽车要有刹车？不仅仅是为了让你停下来，而是为了让你能够快速前进并安全地停下来。”