What is artificial intelligence (AI)?

什么是人工智能（AI）？ | Databricks 博客

跳至主要内容

数据 + AI 基础

什么是人工智能（AI）？

作者：Databricks 团队

摘要

• AI 的影响来自于其广度：目前相同的模式识别能力已经应用于从欺诈检测和医学影像到个性化和内容生成的各个方面。

• AI 能力的发展速度超过了其可靠性，使得评估、人工监督和治理在生产使用中变得至关重要。

• 下一阶段的 AI 采用将更少地依赖于模型的获取，而更多地依赖于组织如何有效地将模型连接到可信的数据、实际的工作流程和可衡量的结果。

人工智能（AI）是计算机科学的一个分支，它使机器能够执行通常需要人类智能的任务，如学习、推理、解决问题、识别模式和做出决策。更简单地说，AI 是一种可以从数据中学习并利用所学内容进行预测、决策或生成新内容的软件，而无需为每个任务进行显式编程。

如今的 AI 运行着从垃圾邮件过滤器和推荐引擎到像 ChatGPT 这样的聊天机器人和图像生成器的各种系统。它利用多种技术，尤其是机器学习和生成式 AI，而且它已经从研究实验室进入了人们每天使用的各种产品中。

斯坦福大学计算机科学家李飞飞在《斯坦福新兴技术评论》中写道，将 AI 归类为现代历史上最具变革性的技术之一：“AI 是一种基础技术，它正在推动其他科学领域的发展，就像电力和互联网一样，有潜力改变社会的运作方式。”目前，AI 的采用正在各行各业迅速扩展，从医疗保健和金融服务到零售和制造业，其发展速度正在加快。

本文将介绍 AI 的工作原理、AI 的主要类型、现实世界的例子、需要注意的局限性以及该领域的简要历史。

用简单的话说，什么是 AI？

可以把 AI 想象成通过示例来教计算机，而不是编写逐步的指令。向系统展示成千上万张猫的图片，它就能自己学会识别猫，不是因为有人告诉它猫有胡须和尖耳朵，而是因为它看到了足够的例子，从而发现了模式。AI 并不像你或我那样“思考”。它是在数据中寻找模式，并利用这些模式做出最佳猜测。这一区别很重要：AI 在特定领域可以取得非常出色的结果，但它并不以人类的方式理解任何事物。

让模型能够识别猫的相同模式匹配方法，也可以让它在活检中发现癌细胞，或在数百万笔合法交易中标记欺诈交易。即使应用看起来截然不同，其底层机制——在数据中寻找模式——是相同的。它已经是日常工具的一部分：搜索引擎、语音助手、导航应用、垃圾邮件过滤器以及你在流媒体服务上看到的推荐内容。

AI 是如何工作的？

大多数现代 AI 通过从大量数据中学习模式，然后将这些模式应用于新情况来工作。而不是由开发人员编写规则（“如果电子邮件包含‘免费的钱’，则标记为垃圾邮件”），系统会看到许多示例，并自行找出规则。

基本过程如下：

• 收集数据。系统会接收大量相关的文本、图像、数字、音频或视频，数据中的缺失部分也会成为模型中的缺失部分。

• 训练模型。算法会研究数据并调整其内部权重和参数，直到它能够可靠地生成正确的输出，这是计算成本高昂的步骤，可能需要在多个 GPU 上运行数小时、数天甚至数周。

• 测试与优化。模型会在一个“保留”测试集上进行评估，这个测试集是模型在训练过程中没有接触过的，相较于在生产环境中发现错误，这里发现错误的成本要低得多。

• 进行预测。一旦训练完成，模型就可以回答问题、对输入进行分类、生成内容或对从未见过的数据触发操作，这是最终用户实际交互的“推理”步骤。

• 学习与改进。许多 AI 系统在接触到更多数据和反馈时会不断改进，包括人们如何对其输出做出反应的信号。

现代 AI 训练也与规模密切相关：前沿模型会使用数万亿个文本标记进行训练，运行在数千个 GPU 上，构建成本高达数亿美元。大多数组织不会从零开始训练模型。相反，他们会使用自己的数据对现有的基础模型进行微调，这种方法既快又便宜，同时仍能生成针对特定任务或领域定制的模型。

AI 系统的质量在很大程度上取决于它所学习的数据：当训练数据不完整、有偏见或质量低下时，AI 的输出也会如此。你可以在我们对机器学习模型和神经网络的概述中了解更多关于其构建模块的内容。

AI 有哪四种类型？

研究人员通常根据能力将 AI 分为四类，这一分类法通常归功于密歇根州立大学的研究员 Arend Hintze，他在 2016 年提出这一分类法，以思考 AI 可能如何发展。目前，只有前两类存在于现实世界中，而另外两类仍然是研究和哲学领域中的未解之谜。

这一分类法很有用，因为它清楚地区分了 AI 目前真正能够做到的事情和它只能在理论上或虚构中做到的事情。

| 类型 | 功能 | 当前状态 | 示例 | |------|------|----------|------| | 反应型机器 | 对特定输入做出固定输出的响应。没有对过去事件的记忆，无法从经验中学习，也无法对超出即时输入的世界建模。 | 最早的 AI 架构之一；如今仍用于某些特定任务。 | IBM 的 Deep Blue，在 1997 年击败国际象棋世界冠军加里·卡斯帕罗夫时，每回合都会从零开始分析棋盘。简单的垃圾邮件过滤器，通过将关键词与固定列表匹配来识别垃圾邮件，也属于这一类别。 | | 有限记忆 | 通过历史数据学习，以进行预测或决策。可以利用最近的输入来优化输出，但不像人类那样保留持久的长期记忆。 | 几乎所有现代 AI 系统都依赖于它，包括最强大的系统。 | 自动驾驶汽车会利用短期传感器历史来预测前方道路。ChatGPT 会保留当前对话的上下文，但在新会话中会重新开始。Netflix 的推荐引擎会通过时间推移学习观看模式。 | | 意图理论 | 能够理解他人的情绪、意图和信念，即对他人思维建模的认知能力。研究人员正在探索其有限版本，但目前尚无系统真正展示出这种能力。 | 理论上的；当前正在积极研究。 | | | 自我意识 | 能够理解自身存在，并具有自我意识。目前尚无系统展示出这种能力。 | 理论上的；当前正在积极研究。 | |

尚未实现。最接近的类比是能够根据用户信号调整语气的人工智能导师和客服机器人，但这些系统只是基于模式匹配，而非真正理解意图。

自我意识

将具有意识和自我认知，拥有内在的“存在”体验。

理论上的概念。研究人员和哲学家之间对于这是否可以实现，甚至是否可以定义，仍存在争议。

尚未实现。这一概念经常出现在科幻小说和人工智能安全讨论中，但目前尚无明确的技术路径。

今天人们使用的人工智能产品，包括最强大的大型语言模型，几乎都属于有限记忆类别。

狭义人工智能与通用人工智能与超级智能

目前使用的所有人工智能系统都被归类为狭义人工智能。下表区分了这些当前系统与通用人工智能和超级智能的理论概念。

类别

定义

狭义人工智能（弱人工智能）

专门设计用于执行特定、领域受限任务的人工智能系统，其能力严格受限于其训练数据和架构设计。

今天使用的所有人工智能，包括最强大的系统。

ChatGPT、人脸识别、Netflix 推荐、欺诈检测、语音助手。

通用人工智能（AGI）

一种设计用于学习并执行人类能够完成的任何智力任务的系统：灵活地跨领域执行任务，无需重新训练。

理论上的概念。目前关于当前的发展路径是否会导致通用人工智能，以及在什么时间范围内实现，仍存在激烈的讨论。

目前尚无。

超级智能

一种能够在所有领域超越人类智能的系统，包括能够自我改进的能力。

理论上的概念，且大多属于推测性质。

通用人工智能是否存在，很大程度上取决于其定义方式。先进的模型可以跨领域推理并完成复杂的任务，但其持续的错误和可靠性不均，使得分类存在争议。

人工智能与机器学习与深度学习与生成式人工智能

这四个术语经常被互换使用，但它们的含义不同，而这些差异在团队选择工具、规划项目或评估供应商时非常重要。

一种有助于理解它们的方式是将它们视为嵌套的圆圈：人工智能是范围最广的类别，机器学习是人工智能的一个子集，深度学习是机器学习的一个子集，而生成式人工智能是深度学习的一个应用，专注于创建新内容。下表详细说明了每个术语的含义及其区别。如需更深入的比较，请参见我们对机器学习与深度学习的分析。

术语

定义

简单示例

人工智能（AI）

构建能够执行需要人类智能的任务的机器的广泛领域。包括基于规则的系统和学习系统。

一个能够回答客户问题的聊天机器人，无论它是通过数据学习还是遵循脚本逻辑。

机器学习（ML）

人工智能的一个子集，系统通过数据学习模式，而不是为每个规则显式编程。

一个通过研究过去行为来预测哪些客户最有可能在下个季度流失的模型。

深度学习

机器学习的一个子集，使用多层神经网络来处理复杂输入（如图像、语音和语言），而早期的机器学习技术难以处理这些输入。

在放射扫描中识别肿瘤的图像识别。

生成式人工智能

一种深度学习，用于创建新内容（如文本、图像、音频、视频或代码），而不是进行分类或预测。

ChatGPT撰写电子邮件；图像生成器根据文本提示创建原创艺术品。

人工智能有哪些例子？

人工智能已经悄然运行在日常工具中，起草电子邮件、在毫秒内标记欺诈行为并预测商店库存。从原型到嵌入式产品的轨迹大幅缩短，Databricks 提供的解决方案涵盖了这些类别中的许多：

行业

人工智能示例

医疗保健

人工智能读取医学图像，帮助放射科医生更早发现癌症；临床决策支持系统标记潜在的药物相互作用；为临床医生总结患者病历的代理。

金融服务

实时标记可疑信用卡交易的欺诈检测系统；算法交易；贷款和保险的人工智能辅助承保。

零售和电子商务

亚马逊的产品推荐；个性化搜索结果；需求预测，决定每个仓库应持有的库存量。

交通运输

车辆中的自动驾驶功能；导航应用中的路线优化；预测性维护，预测车辆何时需要保养。

制造业

能够发现装配线缺陷的计算机视觉系统；工厂设备的预测性维护；供应链优化。

客户服务

处理支持问题的聊天机器人和虚拟代理；将电话路由到合适的客服人员的人工智能；对客户互动进行情感分析。

媒体和娱乐

Netflix 和 Spotify 的推荐；用于视频和音乐制作的生成工具；人工智能驱动的字幕和翻译。

日常消费技术

语音助手（Siri、Alexa）、电子邮件垃圾邮件过滤器、智能手机人脸识别、能够识别人脸和地点的照片应用。

范围之广就是故事本身。人工智能不再集中在少数技术应用中；它已经扩展到几乎所有需要模式识别或内容生成创造价值的工作类别中。在每个领域中，采用的模式往往相同：第一波处理狭窄、重复性的任务。随着模型能力的成熟以及组织构建支持它们的数据基础，后续波次则承担更多需要判断的工作。

报告

企业使用代理人工智能的策略

立即阅读

人工智能的主要分支有哪些？

人工智能是一个涵盖多个专业领域的术语。每个分支专注于不同类型的任务或能力，尽管随着深度学习成为许多工作的通用引擎，它们之间的界限已经变得模糊。

• 机器学习：从数据中学习模式并随着经验改进的系统。目前人工智能中占主导地位的方法，也是其他大多数分支构建的基础。

• 深度学习：一种更高级的机器学习形式，使用分层神经网络来处理图像、语音和语言等复杂输入。使当前人工智能浪潮成为可能的突破。

• 自然语言处理（NLP）：理解和生成人类语言。NLP 为聊天机器人、翻译、语音助手和情感分析提供支持。有关自然语言处理的概述，请参阅我们的文章。

• 计算机视觉：解释图像和视频。用于人脸识别、医学成像、制造业的质量检查以及让自动驾驶汽车“看见”道路的感知系统。有关计算机视觉的更多信息，请阅读我们的文章。

• 机器人技术：将人工智能与物理机器结合，用于在现实世界中执行任务，如仓库机器人、手术助手、自动驾驶汽车和农业无人机。这是人工智能软件与机械工程的交汇点。

• 生成式人工智能：能够创建新内容，而不仅仅是分析现有数据的模型。文本、图像、音频、视频和代码都在其范围内。这一领域在2022年因ChatGPT的出现而进入公众视野。

• 专家系统：较早的基于规则的人工智能，模仿人类专家在特定领域内的决策过程。虽然大多已被机器学习方法取代，但在需要明确、可审计规则的场景中仍被使用。

实际上，大多数现代人工智能系统结合了多个领域。一辆自动驾驶汽车使用计算机视觉来感知世界，使用机器学习来预测附近车辆的行为，并使用机器人技术来执行控制操作。这些领域作为思维地图很有用，但实际部署的产品通常跨越多个领域。

人工智能的简要历史

人工智能作为一个研究领域已有70多年的历史，其能力的重大转变主要集中在最近十年。最近的一波浪潮使该领域从学术上的好奇心转变为日常基础设施。

• 1950年 — 图灵测试被提出：艾伦·图灵发表《计算机械与智能》，探讨机器是否可以思考，并提出一种用于测试机器智能的测试，这一测试至今仍是相关讨论的基石。

• 1956年 — 人工智能被命名：约翰·麦卡锡在达特茅斯会议上提出“人工智能”这一术语，正式将该领域确立为一门学科。

• 1960年代–1970年代 — 早期的乐观与人工智能寒冬：研究人员构建早期的基于规则的系统和自然语言程序。随着在困难问题上的进展停滞，资金逐渐枯竭。第一次“人工智能寒冬”开始。

• 1997年 — 深蓝击败卡斯帕罗夫：IBM的国际象棋计算机在六场比赛中击败世界冠军加里·卡斯帕罗夫，这是机器首次在国际象棋比赛中击败在任世界冠军，也是人工智能的一个重要里程碑。

• 2012年 — 深度学习取得突破：一种名为AlexNet的神经网络在ImageNet竞赛中实现了图像识别准确率的飞跃，开启了现代人工智能的繁荣，并使该领域确信深度学习是未来的发展方向。

• 2017年 — Transformer架构被引入：谷歌研究人员发表《Attention Is All You Need》，引入了Transformer架构，为当今的大规模语言模型（LLMs）打开了大门。

• 2022年 — ChatGPT发布：当OpenAI向公众发布ChatGPT时，生成式人工智能进入主流。它在两个月内达到了1亿用户，这是当时记录的最快的消费者技术采用速度。

• 2023年至今 — 企业级人工智能扩展：组织从实验转向生产人工智能和人工智能代理，覆盖从客户服务到软件开发到内部运营的各个业务职能。

过去三年最引人注目的是其速度。从2022年开始，人工智能能力的进步速度超过了大多数专家的预期，研究突破与产品部署之间的差距也从几年缩短到几个月。未来十年的走向将更多地取决于组织如何将这些能力转化为可靠、受控的系统，而不是单纯的模型能力。

AI 强大但并不完美。以下风险在实际生产中经常出现，通常可以分为三类：技术限制、操作挑战和更广泛的社会影响。

幻觉与不准确的输出

生成式 AI 可能会产生听起来很自信但事实上错误的回答。行业术语称之为“幻觉”。聊天机器人可能会编造引用、错误引用来源或制造表面上看起来合理的虚假事实。这是因为大型语言模型预测的是可能的下一个词，而不是检索经过验证的信息：模型被优化的是流畅性，而非真实性。

在医疗、法律建议和金融决策等高风险情境中，在采取行动之前，应由人类对 AI 的输出进行验证。即使在低风险情境中，组织也越来越倾向于将生成模型与检索增强生成系统结合使用，使输出基于可信的源文档。系统性评估也有帮助：在部署之前，通过基准问题集对模型进行测试，可以在输出到达用户之前及早发现许多幻觉。

训练数据中的偏见

AI 从数据中学习。如果数据反映了人类的偏见，例如历史上招聘中偏向某一群体或贷款决策中对另一群体不利，AI 将会复制并通常放大这种偏见。正如斯坦福大学新兴技术评论所指出的：“如果没有足够高质量的数据，AI 模型可能会生成不准确或有偏见的结果。”

在招聘、贷款和刑事司法等应用中，偏见是一个主要问题，因为有偏见的输出会造成实际伤害。缓解措施需要对训练数据进行仔细筛选，持续评估公平性指标，并对可能在训练过程中代表性不足的人群进行模型测试。这不是一次性的解决方案。随着模型所运行的世界发生变化，模型也会发生偏移，因此公平性监控必须成为持续的操作实践，而不是上线时的检查点。

“黑箱”问题

尤其是在深度学习中，通常很难确切知道 AI 为何做出特定的决策。模型的推理分布在数百万甚至数十亿个参数中，其中没有一个参数能清晰地映射到人类可读的解释。这在银行、医疗和保险等受监管的行业中最为重要，因为决策必须向客户、审计人员或法庭做出解释。

为应对这一问题，可解释性 AI（XAI）领域应运而生，开发了能够揭示哪些特征最影响特定模型输出的工具。一些行业更进一步，在高风险应用场景中要求使用更简单、可解释的模型架构，以牺牲一点原始准确性为代价，换取可以追溯和辩护的决策。

隐私与安全风险

AI 系统通常需要访问大量数据，这引发了关于数据如何被收集、存储和使用的疑问。生成式 AI 本身也带来了新的风险：深度伪造技术可以冒充真实的人，大规模生成的 AI 生成虚假信息，以及提示注入攻击，这些攻击会诱使模型泄露不应泄露的信息或执行未经授权的操作。隐私控制和安全措施是负责任的 AI 设计的一部分，而不是事后考虑。

AI 正在自动化各个行业的任务，这引发了关于工作和技能将如何变化的现实问题。可能的趋势是变化，而非全面取代：AI 趋于改变工作中的任务组合，而不是直接消除该角色。一些角色将逐渐消失，新的角色将出现，许多现有角色将需要新的技能，尤其是与 AI 系统有效协作的能力。这种变革是真实的，其速度很快，其对劳动力的影响值得领导者、教育者和政策制定者认真关注。

治理与合规

部署 AI 的组织需要明确的控制措施：谁可以访问哪些模型，这些模型使用什么数据，如何监控输出，以及在出现问题时如何撤销访问权限。过去十年云计算安全的经验表明，从一开始就构建的控制措施比事后添加的控制措施更稳固。

AI 也是如此。法规也在逐步跟进，欧盟 AI 法案、美国各州的法律以及金融和医疗等特定行业的规则，都在对 AI 部署施加新的义务。对构建者而言，实际影响是治理不能再作为事后考虑的问题。它必须从数据层开始就被设计进去。如需更深入了解其背后的学科，可以参见我们的 AI 治理概览。

为什么 AI 对企业至关重要？

AI 正在重塑组织的运营方式、竞争方式以及服务客户的方式。其价值来自于将可信且受控的数据应用于实际的商业问题，而不是进行孤立的实验。

企业正在使用 AI 来：

• 做出更快、更明智的决策

• 自动化重复性工作

• 个性化客户体验

• 部署能够完成多步骤任务的代理

• 提高预测和客户服务能力

实现这些价值需要一个统一的平台，用于准备数据、训练模型、部署代理，并对整个堆栈进行端到端的治理。

竞争压力也在增加。随着 AI 在许多行业中成为标准，领先的企业正在：

• 从特定的商业问题开始

• 在模型复杂性之前优先考虑数据质量

• 以实际结果为基准评估性能

• 从一开始就将治理构建到平台中

Databricks 如何支持 AI

构建生产级 AI 非常困难：数据分布在许多地方，模型需要进行训练和评估，治理需要覆盖整个流程。Databricks 平台将数据和 AI 集中在一个地方，使团队可以存储和准备数据、训练和微调模型、部署 AI 代理，并对所有内容进行端到端的治理。这包括用于构建基于企业数据的代理的 Agent Bricks，以及用于跨数据和 AI 资产进行治理的 Unity Catalog。该平台连接了来自 OpenAI、Anthropic、Google 和 Meta 的领先模型，以及开源替代方案，因此您可以为每个任务选择合适的模型，而无需重新构建您的技术栈。

全球超过 20,000 家组织使用 Databricks 来构建、扩展和治理其 AI 工作。统一平台的优势在于减少了系统之间的缝隙：团队可以从数据直接过渡到模型再到部署，无需在系统之间复制数据或丢失数据血缘关系，这使得 AI 工作更快、更便宜且更容易审计。更多信息请参见 Databricks 客户目录。

常见问题

人工智能的一个例子是什么？

ChatGPT、Siri 和 Alexa 等语音助手、Netflix 的推荐引擎、信用卡交易中的欺诈检测以及汽车中的自动驾驶功能，都是当今正在使用的 AI 示例。这些大多数都属于“有限记忆”类别：它们通过历史数据进行学习，从而进行预测或生成响应，但它们不像人类那样拥有持久的长期记忆。

AI 有哪四种类型？

反应型机器、有限记忆、心智理论和自我意识 AI。前两种已经存在：从垃圾邮件过滤器到 ChatGPT 的一切，都属于其中某一类。后两种仍属于理论范畴，目前尚无明确的技术路径来实现它们。

AI 和机器学习是同一个概念吗？

不是。AI 是构建能够执行智能任务的机器的更广泛的领域。机器学习是 AI 的一个分支：系统通过数据进行学习，而不是被明确编程。所有的机器学习都是 AI，但并非所有的 AI 都是机器学习。

AI 和生成式 AI 有什么区别？

AI 是一个涵盖所有与人类智能相关任务系统的总称。生成式 AI 是一种特定类型的 AI，基于深度学习，它生成新的内容（如文本、图像、音频、视频或代码），而不是对现有输入进行分类或预测。ChatGPT 和图像生成器就是日常使用的例子。

AI 最大的风险是什么？

最常见的风险包括幻觉（自信但错误的输出）、从训练数据继承的偏见、“黑箱”问题（难以解释的决策）、隐私和安全漏洞、工作替代以及治理薄弱。缓解这些风险的方法包括验证、监督、谨慎的数据整理以及内置的防护措施。

AI 入门

AI 不再只是实验性技术。它是一种推动日常产品运作并重塑企业工作方式的基础性技术，其采用速度正在加快。理解 AI 是什么、它是如何运作的、它适用的领域以及它的局限性，是正确使用 AI 的起点。从那里开始，工作就是将 AI 应用于实际问题，使用可信的数据，并具备负责任扩展的治理机制。

了解 Databricks 如何帮助组织基于自己的数据构建和扩展 AI —— 探索 Databricks 平台。

在您的邮箱中获取最新文章

订阅我们的博客，即可将最新文章发送到您的邮箱。

注册

查看所有博客

slice-start id="_gatsby-scripts-1"

slice-end id="_gatsby-scripts-1"