Andrew Ng(@AndrewYNg)

The most important skills in Building and Deploying AI Applications. https://t.co/IyWIKLIzeM

8.5内容质量

TL;DR · AI 摘要

构建和部署AI应用的关键技能包括LLM基础、数据对齐、代理系统等，由Andrew Ng基于职位和调研总结。

核心要点

  • 掌握LLM基础可优化模型使用场景，理解token化机制和采样参数
  • 数据对齐需选择向量索引/知识图谱等技术，保持数据实时性
  • 代理系统开发要求迭代式开发，根据中间结果调整技术路线

结构提纲

按章节快速跳转。

  1. §技能地图概述

    基于职位描述和专家访谈构建AI工程技能框架

  2. ·核心技能1：LLM基础

    理解token化机制和模型生成原理是可靠应用的前提

  3. ·核心技能2：数据对齐

    通过向量检索和知识图谱等技术为模型提供有效上下文

  4. ·核心技能3：代理系统

    构建可迭代的智能代理系统需要动态调整技术方案

思维导图

用一张图看清主题之间的关系。

查看大纲文本（无障碍 / 无 JS 友好）
  • 构建AI应用核心技能
    • LLM基础
      • token化机制
      • 采样参数优化
    • 数据对齐
      • 向量索引
      • 知识图谱
    • 代理系统
      • 迭代开发
      • 动态决策

金句 / Highlights

值得收藏与分享的关键句。

#AI工程#机器学习#LLM#软件开发
打开原文

Andrew Ng on X: "构建和部署AI应用最重要的技能。https://t.co/IyWIKLIzeM" / X

Andrew Ng

@AndrewYNg

构建和部署AI应用最重要的技能。

$

AI工程技能图谱：构建和部署AI应用

我之前写过关于我们的AI工程技能图谱，最高层级的技能包括：(i) 构建和部署AI应用，(ii) 软件工程基础，(iii) 使用代码代理，(iv) 定义构建方向。在本文中，我将详细阐述第一个技能。

精通构建和部署AI应用意味着掌握以下能力：

大语言模型基础

通过数据锚定模型

构建智能体系统

以评估为导向的开发

生产环境运维

机器学习基础

该技能图谱是通过分析大量职位招聘信息、结构化专家访谈和调查反馈形成的。

AI应用与非AI软件的关键区别在于，前者输出结果更具不确定性。你无法预先知道大语言模型会输出什么内容，也无法预知监督学习算法会做出什么预测。由于这种不确定性，构建AI系统比传统软件开发更加迭代化——提前规划流程的难度更大。熟练的AI工程师会反复构建软件、进行评估，并根据中间结果决定下一步尝试的方向，采取的步骤高度依赖于阶段性成果。能够熟练判断下一步行动，使你能够基于不可靠的AI组件构建可靠的软件系统。这需要掌握：

大语言模型基础。理解大语言模型如何对输入进行分词并生成输出，能让你判断何时可以依赖模型、何时可能失效。这也能帮助你理解何时使用多模态模型、如何在上下文窗口中取舍内容、推断缓存命中率、知识截止时间、推理努力程度、采样参数，以及何时使用工具调用等特殊功能。掌握这些基础，能帮助你选择合适的模型或模型组合，并在需要时应用专门技术，如微调或自托管模型。

通过数据锚定模型。大语言模型需要良好的输入上下文才能生成有用输出。使用向量搜索的RAG是早期为大语言模型提供相关上下文的尝试，但通过数据锚定模型的技术体系已显著扩展。例如，你需要判断哪些内容应包含在提示中，哪些应让大语言模型通过工具按需检索，以及哪种表示方式最适合数据和搜索查询：向量索引、知识图谱，或结构化数据（如客户记录）上的语义层。你还需要将文档（文本、PDF、HTML、图片）转化为大语言模型可用的输入，并构建管道保持数据的清洁和更新。当你理解获取数据的各种技术选项时，就能更好地为你的大语言模型提供相关上下文。

构建智能体系统。智能体系统范围从执行预定义LLM调用序列的工作流，到基于智能体控制结构的工作流，后者允许LLM反复决定自身下一步操作。你需要选择系统架构——确定哪些步骤需要串联、哪些可以并行、何时使用代码、何时使用LLM——并构建包含后备方案的工作流或控制结构。在设计智能体循环时，还需决定模型可调用的工具（包括MCP、CLI和沙箱执行环境）、采用的内存架构、如何管理长会话中的上下文，以及何时需要多智能体编排而非单智能体架构。你还需要将有前景的原型转化为可靠、安全且适用于生产的智能体；这需要理解防护机制、对抗性输入，识别并规避关键风险（如数据泄露），并制定治理策略。

智能体工作流正在快速演进，你还需要了解与自身应用领域相关的前沿技术，例如语音代理、计算机使用代理或生成式用户界面。

以评估驱动的开发。根据我的经验，区分AI系统构建能力的重要特质在于是否能够建立严谨的评估/错误分析循环来推动开发。这使你能够持续聚焦于更可能取得成果的方向。我发现这是一项难以掌握的技能，因为正确的方法因项目而异，甚至在项目不同阶段也会变化。

构建有效的评估是一项深度技术能力。你可能需要分析系统的追踪记录和输出结果，进行探索性数据分析，并结合产品和商业洞察来决定评估指标。你也应了解评估的多种选择，例如何时使用确定性（基于代码）评估、何时采用LLM作为裁判、何时需要人工介入，以及如何评估自身评估体系以持续优化。这些评估将进入一个迭代流程，推动进一步开发，使进展系统化而非随机化。

生产环境中的运营。由于不可预测性、成本和延迟，AI软件的运营与传统软件存在差异。首先，你需要知道如何构建可观测性机制以理解系统在真实使用场景中的表现。你将跟踪性能、检测数据漂移，并快速响应模型故障和安全事件（如对抗性提示注入）。实施回归测试和持续集成/持续交付（CI/CD）需要比传统软件更多的统计评估，测试工作量应根据出错风险进行调整。此外，还需要了解如何选择合适的技术组合——如模型选择优化、蒸馏与微调、智能体工作流简化等——以优化成本和延迟，特别是当你的应用面向大量用户时。

机器学习基础。现代大语言模型（LLMs）的构建依赖于机器学习技术，包括监督学习和强化学习。我认识的每一位擅长使用LLMs进行构建的工程师，都对机器学习和深度学习有一定程度的理解。此外，许多应用仍然需要掌握如何使用机器学习——无论是使用他人训练好的模型还是自行训练模型。这要求了解主流的机器学习和深度学习模型，以及在准确性、训练速度、推理速度等方面的权衡，并理解如何构建用于训练和评估这些模型所需的数据。机器学习中的偏差/方差、误差分析以及数据工程等概念——这些都是应对系统不确定输出的核心思维框架——在AI系统开发的广泛决策中依然至关重要。

要精通构建和部署AI系统需要学习大量知识。这是一个具有显著技术深度的领域。但你掌握的每一点知识都会帮助你成为更优秀的AI工程师，并构建出更令人兴奋的应用。这些技能的强补充是软件工程。我将在未来的文章中详细探讨这一点。

/$

4:37 PM · Aug 21, 2026

2M

Views

220

2K

12K

25K