Building a safer path to autonomous industrial AI

构建更安全的自主工业AI发展路径 | MIT技术评论

赞助

人工智能

构建更安全的自主工业AI发展路径

随着AI在工业场景中承担更多自主角色，AVEVA首席技术官Arti Garg表示，组织需要在数据管理、治理机制和人工监督方面采用全新方法。

作者

• MIT技术评论洞察档案页面

2026年10月8日

与AVEVA合作

工业AI正进入全新阶段。在经历了数十年预测分析和其他专业应用之后，基础模型、物理AI和自主代理AI的进展，使得在工业环境中实现更复杂任务的自动化成为可能。但与仅在数字世界运行的AI不同，工业AI可以直接与物理系统交互，其中的意外决策可能对安全、可靠性和关键基础设施产生影响。

这使得负责任的部署成为下一代工业自动化的核心问题。AVEVA首席技术官Arti Garg问道："我们如何在保持安全、维持可靠运营的同时，充分利用这些新技术，兑现新能力的承诺？"随着新型AI系统变得更强大但同时也更难以预测和解释，这一挑战尤为突出。

实现这一转型的基础是数据。工业系统通常包含来自遥测数据、服务日志、工程文档和其他分散来源的信息。新技术可以帮助更快地连接和关联这些信息，在诊断问题时为操作人员提供实时支持。AI驱动的机器人更进一步，可以在危险环境中收集信息而无需人员进入。

但更高的自主性也需要新的治理方法。AVEVA的负责任AI框架强调安全性、效率和人工安全监督。Garg认为，在关键决策环节中，AI应作为辅助而非替代人类，通过安全机制明确界定自动化系统可行动的范围和人工监督必须保留的领域。

可持续性是这一方程的另一部分。AI可以帮助管理日益增长的可再生能源发电带来的复杂电力系统，同时组织也需要更好地理解AI自身的环境影响。Garg参与了一个IEEE工作组，正在制定衡量这种影响的标准方法，涵盖电力、能源、资源、水和碳等多个领域。

下一阶段可能将工业AI进一步融入物理世界，从自主机器人和无人机到辅助领域专家构建新应用的AI编码。但Garg表示，实现这一潜力不仅需要部署新技术，组织还需要重新思考业务流程，建立适当的防护措施，并为经验丰富的员工创造新的方式来应用他们的专业知识，构建一个不仅更自主，而且更安全、更高效、更可持续的自动化模式。

"无论是机器人还是无人机，自主系统都将彻底改变我们在工厂、电力系统和矿区的工作方式，"Garg表示。"从某种意义上说，这将使这些操作更加高效，对参与其中的人员更加安全，同时提高生产率。"

本期《商业实验室》节目由AVEVA合作制作。

完整文字记录

Megan Tatum：来自《MIT技术评论》的Megan Tatum，欢迎收听Business Lab节目，这是一档帮助商业领袖理解实验室技术如何进入市场并产生影响的节目。

工业AI并非全新概念，但其发展速度正在以惊人的速度加快。从能够预测设备故障的现代预测性分析，到被指派检查高风险机械的自主机器人，新兴应用有望提升运营效率。然而，这些AI常被用于容错率极低的高风险环境，若缺乏清晰性、安全性和问责机制，工业AI的部署可能对关键基础设施造成长期灾难性影响。当行业急于拥抱最新技术时，目标应始终是设计负责任的AI，其作用是支持而非取代至关重要的人类判断。送你两个词：可持续自动化。

今天的嘉宾是AVEVA首席技术官Arti Garg。

本播客由AVEVA联合制作。

欢迎你，Arti。

Arti Garg：谢谢，Megan。很高兴来到这里。

Megan：非常感谢你加入我们。首先，能否为我们讨论设定一些背景，分享一下当前工业AI的发展现状以及AVEVA目前正在进行的工作？

Arti：当然非常乐意。我想先回到你之前提到的观点，即在某些方面，工业AI并非全新概念。即使在AVEVA，我们已经为此工作了20多年，一直在思考AI如何增强工业领域的应用。

但过去几年发生显著变化的是AI的类型。我们已经转向通用基础模型，这类模型使更多人能够利用先进的AI技术。此外，在过去两年中，物理AI领域出现了爆炸性增长，这类AI显著加速了机器人和自主系统的能力建设。同时，代理AI（agentic AI）也实现了软件层面的自动化。

我们看到的是，过去人们对于结果不可预测的模型存在一定犹豫，但工业领域对AI的采用速度正在迅速加快。一项研究显示，仅过去两年内，工业领域的AI采用率就增长了约78%。是的，这是一个转折点，但如果从AI采用的角度来看，这几乎就像一个阶梯式飞跃。

目前在AVEVA，我们正在思考的问题是：我们该如何应对？如何在客户拥有关键任务操作、人类安全是重要因素的环境中，将这些强大且新颖的AI技术整合进来？这些是客户在考虑采用任何新技术时的主要关切。我们正在探索的领域是，如何在这些新型AI行为不可预测的场景中，利用这些技术同时确保安全、保持可靠运营，并兑现新能力的承诺？

Megan: 同时要考虑这么多因素，确实让人感到复杂，不是吗？你刚才提到的这些，正是近年来我们在工业领域看到的一些重大进展。为什么说现在对工业AI来说是一个关键时刻？是什么变化让之前一些看似遥远的假设变得更具可行性？

Arti: 我认为其中最大的挑战之一，也是作为AVEVA我们始终深植于基因中的核心问题，是想要在工业领域真正利用任何数字技术时，首先需要做的重要事情之一就是从不同系统中整合数据。例如，我可能需要将来自泵或混合器的遥测数据，与维护日志进行关联，从而知道上次有人对这些设备进行维护的时间。我可能还想将这些数据与原始设计文档和维护说明进行关联，这样当出现问题时，我可以更有效地诊断问题所在并找到解决方案。这一直是工业领域的核心挑战。

我认为现在发生的变化是，借助更新的技术，比如图数据库，以及利用AI更快速地匹配不同数据集，我们现在能够实现这样的场景：当出现问题时，操作人员不再需要花费时间去研究这些信息如何关联，而是可能只需使用iPad上的AI，就能迅速获取信息、进行关联，并实时协助诊断问题。

更进一步的设想是，虽然听起来有些超前，但其实并不像想象中那么遥远。我仍然以人类操作员使用移动平板为例，但想象一下现在还可以让机器人进入环境收集数据。机器人可以通过本地计算或快速连接到操作员，而操作员无需进入危险区域，也能实现快速诊断。我认为这正是现在最令人兴奋的领域，而我之前提到的所有新技术正在帮助实现这一点。

从我们的角度来看，要充分利用这些技术，现在必须深入思考我们的治理方法。我们如何以一种可控的方式利用AI？

Megan: 是的，完全正确。关于治理方面，AVEVA如何定义负责任的AI？你认为其主要优势是什么？

Arti：是的，对我们来说，负责任的人工智能有三重使命，这意味着它必须安全、高效（包括环境效率），最重要的是必须保障人类安全和人类监督。对我们而言，这些正是负责任人工智能的一些核心支柱。具体来说，我们在构建工具时，会采用多层次的治理方法，既包括公司内部使用人工智能的方式，也包括将人工智能部署到产品中的方式。我们在两者之间都采用类似的框架，即一种联合治理模型，既涉及我们如何利用人工智能，也涉及如何将人工智能融入产品，从而让客户能够在其运营中利用人工智能。

但我想强调的是，所有这些原则背后的核心基础是：人类始终是人工智能应用的核心。因此，人类的判断、责任和伦理仍然是我们思考人工智能能带来哪些好处的核心，我们认为人工智能更多是增强而非取代人类在关键决策环节中的作用。

Megan：没错，这确实是一个非常重要的区分。就下一步的发展而言，越来越多的人认为，智能体人工智能（agentic AI）将很快使这些工业系统能够更加自主地运行。我想问，工业环境中的风险与纯数字环境中的AI风险有什么不同？反过来，这种软件定义的自动化又带来了哪些好处和机遇？

Arti：我认为我们可以先从风险谈起，再讨论其好处。最终，我认为工业环境中的最大风险在于，我们正在与真实的物理系统进行交互，这些系统通常能够实现对维持世界运转至关重要的成果，无论是发电还是开采自然资源。但通常，这些物理系统也运行在危险环境中，设备本身也可能对人类安全产生影响。每当软件与可能产生现实世界后果的物理系统交互时，都必须格外谨慎。这一点我们一直非常重视，从AVEVA成立之初，我们就始终关注终端用户和终端应用，而不仅仅是电脑屏幕上的内容。

即使在过去几十年中，我们将人工智能部署到系统中时，我们通常更倾向于选择最适合的模型，并深入理解模型的行为。例如，我们有一个专有的异常检测模型，适用于许多运营环境。然而，随着我们开始考虑一些新的AI能力，这些能力本身设计上就难以理解其行为方式，它们不像我们过去对AI或统计模型那样具有可解释性，而且它们的行为会随着时间推移和学习过程而发生变化。因此，基于这些可能随时间演变的能力来自动化物理系统，这确实是我们必须格外谨慎和深思熟虑的地方，我们需要明确哪些领域可以安全地引入更多自动化。

但与此同时，我认为那里存在真正的机遇，因为我忽略了这样一个观点：模型会进化，人类也会进化，而这种进化有时是积极的。我们谈到人类拥有专业知识，并在其职业生涯中逐渐理解系统的工作方式。如果我们能够真正利用这些较新的AI能力，这些推理模型通常具有潜在的自主能力，从而更快地学习和积累经验，更重要的是，将一个地点学到的经验应用到另一个地点，那么这将是一个真正的机遇——将我们已经知道对人类有效的方式（即有时你必须通过实践来学习，并通过AI将这种能力扩展到更广泛领域）。我认为这正是该领域可能存在的真正机遇。

在工业领域，我们非常清楚地意识到劳动力结构正在发生的变化。我认为几乎一半，虽然不是完全一半，的工业劳动力将在未来五年内退休，这意味着该领域将失去大量专业知识和经验。如果能找到方法，以可操作的方式捕捉这些经验，并帮助新一代习惯以不同方式体验事物的工人应用这些专业知识和知识，我认为这在工业领域将是一个巨大的机遇。

Megan：是的，完全正确。显然，正如你所提到的市场和劳动力变化背景下，这里存在巨大的机遇。我想继续探讨这一点，这些自主工业AI系统在负责任地构建和部署后，是否有可能促进更快速、更可持续的工业流程？

Arti：我认为可以从几个不同的角度来思考这个问题。首先，潜在的更环保可持续流程有哪些需求？我举一个例子，我团队正在与美国爱达荷国家实验室合作，作为他们AI电网韧性测试项目的一部分。

随着我们向未来拥有更多间歇性可再生能源发电的电网发展，例如分布式屋顶太阳能，电网管理变得越来越具有挑战性，因为需要更准确地了解电力容量的来源和电网负载的消耗情况。此外，还需要维持电力质量，因为过去是由单一旋转设备提供电网频率，现在却有大量小型系统。AI对于管理未来的电网实际上至关重要。我们正在与合作伙伴共同研究的问题之一是：我们如何做到这一点？我们如何帮助电网运营商更好地理解其系统中发生的情况，识别可能异常行为的区域，以便早期发现并及时处理？

同时，我也一直在强调，这正是AI可以帮助我们加速向低碳能源未来转型的典型案例。然而，我认为围绕AI本身可持续性的讨论也越来越多。我们需要了解AI的电力需求是什么？运行AI所需的资源需求又是什么？在深入探讨AVEVA是如何思考这个问题之前，我想指出一个挑战：目前还没有公认的衡量AI环境影响的方法。你可能会看到很多这样的报道，比如在某个聊天界面中进行一次查询就消耗了若干加仑的水或一定量的电力。但事实上，整个社区尚未达成一致的标准。

我参与的一个项目是IEEE两年前发起的一个标准工作组，确切地说是两年前多一点。我担任该工作组的主席，这个工作组名为“P7100标准工作组”，致力于衡量AI的环境影响。我们正在努力识别所有需要考虑AI环境可持续性的领域，并制定一个统一的标准方法，该方法既可用于报告，也可能用于监管或监督层面。这对于真正理解AI对环境的影响至关重要，因为我们必须知道AI使用了什么资源。我们希望从整体上审视这一问题。我们的标准涵盖了电力和能源消耗、资源使用、水资源消耗以及碳排放。

但话说回来，我认为了解AI的碳足迹很重要，同时我们也需要认识到，更大的模型需要更多的计算资源，而更多的计算资源可能会消耗更多资源。如果我们能更加有意识地选择适合应用场景的模型大小，我们就能在AI运行的环境效率方面迈出第一步。这种做法的一个潜在好处是，模型越专门化，如果架构选择得当，就越不容易出现不可预测的行为。这带来了一些超出环境可持续性的附加好处。

Megan：非常有趣。听到这些幕后工作确实令人着迷，因为我们都曾听说过一些关于环境影响的统计数据，正如你所说。因此，了解这些工作以澄清这些问题非常棒。

我们之前也讨论过AI如何增强人类。随着系统获得更大的自主性，组织应该如何思考闭环自动化与人机协同之间的平衡？需要建立哪些保障措施？政府和跨国行为者又是如何应对这些担忧的？

Arti：这个问题包含了许多内容，所以我将尝试逐一回答。首先，从闭环系统与人机协同、自动化与责任之间的平衡开始。在工业领域，我们讨论的其中一个话题是从人工操作员到系统的人类监督者。坦白来说，我们仍在努力弄清楚这一点。当人类参与自动化系统时，你实际上是在考虑一个系统可能处理所有数据并提出建议。

我们正在与几家不同客户联合开发一个解决方案，能够接收大量他们的运营数据，以及他们系统工作方式的一些模拟，从而提供诸如“你现在应该将设定值调整为这个而不是那个”之类的建议，这些建议是基于工厂中其他条件的变化。人们对从推荐设定值转向能够自动调整设定值的自动化系统表现出浓厚兴趣。我们在这方面也已经进行了几次成功的实际应用试点。

但当你深入这个领域时，显然如果改变工业设备的设定值，会让人们感到非常紧张。这就是为什么你可能需要继续设置一些限制，例如不能超出某个操作范围，或者只允许自动化在某些特定区域运行。这正是人类监督者发挥作用的地方，就像人类监督者可能会给予员工在某些事项上很大的决策空间，而在其他事项上则有严格的限制，比如这是截止日期或生产目标。同样地，我们需要思考如何设置适当的安全护栏。

挑战在于，AI并不是人类，因此这些安全护栏的形式也不同，我认为这也是目前仍需思考的问题。关于应设置哪些安全护栏的问题，我认为这可能在一定程度上取决于具体应用场景，但随着时间推移，我们都会逐渐学习。因此，我认为在实施过程中保持坦诚和深思熟虑非常重要。

但潜在的机会确实非常巨大。我已经提到过，AI在整合大量信息并突出显示关键内容方面非常有用。我们希望为这些领域创造一些实验空间，但重要的是确保人类能够理解其中的风险。

我可以分享一个个人故事，因为它可能具有启发性。这个周末，我买了一个小玩具机器人，并决定想编程让它做一些事情。我发现AI在帮助我开始阅读所有文档方面非常有用。组装机器人本身很直接，他们提供了很好的说明，但软件开发工具包已经非常完善，但通读所有文档可能需要一些时间。AI非常有助于帮助我找到“这个功能可以实现这个目的”，从而帮助我入门。但偶尔，它也会给出一些非常糟糕的故障排除建议。

在这一点上，我认为让人类参与其中，能够明确表示“我知道它不会成为最好的软件架构师或最佳的故障排除者”，这非常有帮助。因为我有机会利用AI做它擅长的事情，即综合和呈现大量信息，但同时也能指出“我认为这不是最有效的第一步，让我们尝试其他方法”。这种工作方式截然不同，但随着人类对AI的能力和局限性越来越熟悉，我认为可以开始教导人们如何与AI协作，这与使用其他数字工具的方式截然不同。

在AI领域，重要的一点是认识到它所涉及的广泛领域以及它将产生的广泛影响，无论是对环境的影响，正如我们之前讨论的，还是对生产力的影响，这在我们整个讨论中隐含着，无论是对劳动力的影响，还是对经济运作方式的影响。从我的角度来看，我绝不是这方面的政策专家，但从我的观察来看，不同政府正在优先考虑该领域的不同方面，这体现在他们对监管和其他治理方法的思考上。

Megan：我们确实看到全球范围内对AI采取了一些截然不同的方法，对吧？我想通过一些案例研究来说明这一点，如果你能分享你看到的一些案例，并带我们了解它们可能为其他组织（可能正处于AI旅程早期阶段的组织）提供的经验教训，那就太好了。

Arti：我认为在工业领域，我们看到AI应用带来显著效益的关键领域有很多，但它们的核心实际上都是确保数据正确，建立正确的数据基础，以便在此基础上构建AI。

我们的一个客户SCG Chemicals是一家泰国的石化公司，他们设想为运营打造一个尽可能由AI驱动的可靠性平台。但实现这一目标的核心实际上是确保数据正确，能够将所有信息置于合适的位置，并利用AVEVA的一些工具来实现这一点。将运营数据和工程数据整合在一起，然后在此基础上添加AI功能，例如我们的一项功能称为AVEVA Predictive Analytics，它部署了一些专有模型，用于检测异常，使他们能够更早地识别潜在的运营风险。通过将计划外停机时间转化为计划内停机时间，可以显著提高工厂的可靠性。

目前，他们目标是实现约99%的工厂可靠性，并且从部署的平台中获得非常高的投资回报率。在早期试点阶段，投资回报率甚至接近9倍，这确实令人印象深刻。但我想强调的是，要正确实现这一点，其实是一个多层次的问题。

Megan：这些结果确实非常显著。对于那些可能仍对探索AI持犹豫态度的工业领导者，我想知道，你认为采取观望态度的成本是什么？

Arti: 我认为，工业领域在处理这类问题时确实有其独特的考量方式。总体而言，大多数商业专家都会指出，面对AI如此广泛的社会和经济影响，我们无法采取观望态度。在工业领域，我们当然也不例外。但我也认为，我今天提到的一些挑战，实际上让工业领域的领导者更倾向于成为新技术的快速跟进者，而非首批采用者，因为风险实在太高。

但话又说回来，我认为当前面临的挑战之一是，我们今天讨论的将不可预测的系统与物理系统融合所带来的风险，可能在其他行业中并不常见。我看到的实际情况是，工业领域对尝试新事物表现出极大的兴趣和热情，因为人们意识到，只要正确应用并建立适当的防护措施，这些技术在资源利用、人员安全和生产效率方面确实具有真正的变革潜力。

我认为，工业领域的考量方式已经发生了一些变化，我们更倾向于实际尝试这些技术。但随之而来的问题是，我们该如何在相对安全或隔离的环境中进行测试，以探索工业领域将面临的独特挑战？

Megan: 是的，确实如此。如今很难忽视AI的潜力，不是吗？最后，从未来视角来看，你对负责任的自主工业AI系统在长期发展中的哪些方面最感到兴奋？

Arti: 是的。我认为有几个不同的发展方向。我确信在接下来的18个月内，我们将看到越来越多拥有深厚领域专业知识但并非软件背景的人，能够采用AI辅助编程技术，从而构建以前无法实现的系统。这在我的职业生涯中非常令人兴奋。回想我最初作为工业数据科学家时，我总是从与一线操作人员的交流中获得最大的能量和学习机会。他们需要监控大量设备并理解其协同工作方式，拥有丰富的专业知识。赋予他们快速开发新应用的能力，我认为将带来许多我们工业软件领域可能从未想到、也未必理解如何实现的创新想法。这真的令人振奋。

I think then looking beyond that, I was a little bit of a, not to say a robotic skeptic, because clearly robotics and autonomous systems are going to be important, especially given the types of environments, whether they're hazardous or remote, that industrial equipment operates in. But I just actually think things are moving a lot faster than I had anticipated. I'm really interested to see how these physical embodiments of AI systems start to really transform, again, how we think about operations.

任何新技术在任何环境中的一个特点就是，要真正从中获益，你必须改变做事的方式。我可以说，近十年来，我一直都在做关于人工智能采纳的演讲，我总是说人工智能采纳的最大障碍与技术本身无关。甚至与数据也没有关系，尽管数据通常是最大的瓶颈，真正的问题在于：你是否愿意改变业务流程，以适应这项技术的优缺点？

无论是机器人还是无人机，自主系统都将彻底改变我们在工厂、电力系统和矿区的工作方式。我认为这将使这些类型的操作更加高效，对参与其中的人员更加安全，同时提高生产率。因此，我对这一点感到非常兴奋。

我不确定它会朝哪个方向发展，但有一件事我经常思考：如果回到《我，机器人》和艾萨克·阿西莫夫的书，这些书的前提是机器人将是第一个被广泛采纳的人工智能，而不是基于计算机的系统。我们却走了另一条路，现在看到所有这些技术的融合，我觉得非常有趣。

Megan: 是的，完全正确。机器人技术正在迎头赶上。未来确实有很多令人兴奋的事情，毫无疑问。非常感谢你抽出时间。

这是Arti Garg，AVEVA首席技术官，我从英国布莱顿与她进行了交谈。

这就是本期Business Lab的全部内容。我是主持人Megan Tatum，我是Insights的特约编辑，Insights是MIT Technology Review定制出版部门。我们于1899年在麻省理工学院成立，您可以在印刷版、网络版以及全球各地每年举办的活动上找到我们。有关我们和节目的更多信息，请访问我们的网站technologyreview.com。

本节目可在您获取播客的任何地方收听。如果您喜欢我们的节目，希望您花一点时间给我们评分和评论。Business Lab由MIT Technology Review制作，本期节目由Giro Studios制作。非常感谢您的收听，再见。

了解更多请访问aveva.com。

本内容由Insights制作，Insights是MIT Technology Review的定制内容部门，而非其编辑团队制作。内容由人类研究和撰写，任何可能使用的AI工具均在人类监督下用于生产流程。

深度解析

人工智能

不要被误导——大语言模型并不具备推理能力

在AlphaGo与围棋冠军李世石对弈十年后，如今的人工智能仍未利用到使那次胜利成为可能的机制。

• Thore Graepel档案页面

人工智能的递归自我改进可能不会来得那么快

似乎人工智能代理目前尚未具备足够的创造力，无法开展真正创新的开放性人工智能研究。

• Michelle Kim档案页面

不要被今年夏天的人工智能炒作所迷惑

关于AGI和新能力的夸张宣传在受到审视时往往很快就会土崩瓦解。

• Timnit Gebru 档案页面

• Emily M. Bender 档案页面

这些初创公司正在追逐LLMs领域的下一个重大突破

新晋的挑战者们正紧追AI巨头的脚步。

• Will Douglas Heaven 档案页面

保持联系

插图由Rose Wong绘制

获取MIT Technology Review的最新动态

发现特别优惠、热门故事、即将举行的活动等更多信息。