why your data stack is about to get less forgiving

为什么你的数据栈即将变得更加苛刻 - Gradient Flow

为什么你的数据栈即将变得更加苛刻

Posted by

Ben Lorica

September 22, 2026

Posted in

Uncategorized

Tags:

newsletter

.meta-info

.post-thumbnail

Subscribe • Previous Issues

过时数据曾经令人烦恼

想象一位采购代理在检查库存时判断库存已低于补货阈值，于是下达了新的订单。问题在于几分钟前系统已记录了一次大额配送，而代理查询的数据副本尚未同步。基于过时数据运行的仪表盘可能会显示错误的库存数量。依赖过时数据的代理可能会下达错误的订单。

多年来，许多分析系统能够容忍一定的延迟、模糊性和不完美数据，因为结果与行动之间始终有人类作为缓冲。人类可以等待缓慢的查询，发现数字异常时进行核查，或者询问适用的定义。智能代理消除了这种缓冲。它们会检查数据、采取行动、观察结果并再次验证。

上周我撰文讨论了保留工作执行历史的重要性。本周我想探讨智能代理在执行任务时需要了解的内容。

##### 仅相关性已不再足够

第一波企业级AI的重点是检索：找到与问题相关的信息并呈现给模型。智能代理需要回答不同的问题。它不仅要关注什么信息相关，更要关注当前的事实。付款是否已到账？库存是否仍然存在？账户是否一小时前已被暂停？其他流程是否已修改过该记录？五分钟后过时的信息可能对研究问题影响不大，但对实际操作可能产生危险的错误。

新鲜度并非唯一的问题。定义的准确性同样关键。假设两个系统对"活跃客户"的定义存在分歧。注意到模糊性的分析师可以暂停并寻求帮助。智能代理可能选择其中一个定义并继续执行。

一个小型基准测试展示了这个问题。当业务定义和关系在事前建模时，准确性显著提升。我更关注失败模式而非具体分数。当语义层（编码这些定义和关系的组件）无法回答问题时，会明确告知无法回答。而当模型直接对数据编写SQL时，却可能返回一个看似合理但完全错误的数字。

当数据指导人类时，模糊性会导致分析错误。当智能代理基于这些数据行动时，同样的模糊性可能引发操作失误。

##### 分析查询成为生产依赖

如果正确答案到达得太慢或根本没有，就毫无意义。人类执行分析查询时通常可以等待。智能代理可能在采取下一步行动前依赖这个查询结果。

如果某个查询是二十步流程中的第七步，每一秒的额外延迟都可能影响后续步骤。超时可能导致客户交互或业务流程中断，而不仅仅是让人盯着仪表盘发呆。软件还可以同时启动多个任务，并随着条件变化重新访问相同的数据。

这给某些分析系统带来了不同的要求。延迟、可用性、并发性和工作负载隔离开始以更接近应用基础设施的方式变得重要。

##### AI行动时代数据质量更加关键

过时记录、重复项、定义不一致以及文档不完善的字段是常见的数据问题。更好的模型并不能让这些问题消失。不同之处在于，当代理系统对这些数据采取行动时可能发生的情况。

一个重复记录可能触发重复的外联操作或第二次交易。错误的实体匹配可能导致对错误账户采取行动。文档不完善的字段可能悄无声息地改变代理认为正在测量的内容。

在一项实验中，添加用户画像和查询历史使分析代理的可靠性保持在约40%。清理数据模型并改进文档后，可靠性提升至约90%。这只是一个具体结果，而非基准测试，但其中的教训很有价值：基础的数据建模和文档比增加更多上下文信息更为重要。

一些看似是AI失败的案例，实际上是旧数据问题的后果已演变为运营层面的失败。

##### 权限必须跟随数据流动

代理系统还会加剧一个古老的权限问题。单个任务可能需要从数据仓库、搜索索引、SaaS应用、向量存储库或缓存中提取信息。这些系统不一定以相同方式执行访问控制。

假设源系统隐藏了某位员工的文档，但基于该系统的搜索索引未保留相同的限制。代理从索引中检索时，现在能看到该员工无法从源系统获取的内容。

这就是为什么权限不能仅在数据首次进入系统时进行验证。当信息被复制、索引、缓存或从其他位置检索时，访问规则必须随之传递。

实际问题依然简单：当代理读取一条记录时，它行使的是谁的权限？

##### 生产环境需要的不只是数据检索

我去年提到的一些数据库架构在此背景下更有意义。Databricks正在通过一种架构进一步推动这一理念，该架构使事务处理和分析工作负载能够在一个统一的存储层上运行，而无需持续将运营数据复制到独立的分析系统中。减少复制意味着业务变化与应用或代理获取该变化之间的延迟可能更小。

但我认为，更广泛的教训比任何单一架构都更有价值。原型演示可以证明代理能够执行任务，但不一定证明周围的数据系统能可靠支持。

生产环境必须回答更复杂的问题：状态是否具有权威性？代理如何学习到某事物发生了变化？数据复制或索引时权限能否持续有效？部分失败后会发生什么？重试能否重复执行操作？一个可用的演示可能掩盖了仍需构建的数据基础设施规模。

多年来，数据栈主要帮助公司观察和理解自身。如今，代理系统在执行任务时越来越多地使用相同的信息。

一旦代理能够对其检索的数据采取行动，数据栈就成为应用程序的一部分。

更多智能，更少等待，更少权力

来自OpenAI首款芯片内部

并非每个AI任务都需要聊天机器人

了解更多 👉 Laya Jev的开源版本