EP231: AI Terms You Need to Know

EP231: AI 术语你需要知道 - ByteByteGo 电子报

EP231: AI 术语你需要知道

ByteByteGo

2026年10月31日

全栈智能云（赞助）

你的应用，秒级上线，完全免费。Railway 的一键式计算、存储和网络服务，注册即可立即使用。

人类和智能体都在同一垂直整合系统中运行，该系统包含硬件、软件以及从提示到生产的全流程体验。

点击下方链接免费注册，获取云资源额度，让你的智能体开始工作。

立即开始免费使用

本周系统设计速览：

• AI 术语你需要知道
• 从 GPT-2 到 GPT-6：究竟发生了什么变化
• 面试前需要掌握的 AI/ML 相关主题
• GPU 高层次工作原理
• AI 成本优化课程今日开课（电子报订阅者专属 20% 折扣）

你需要知道的 AI 术语

智能体 AI：这是一种描述整个系统行为的 AI 系统。智能体理解并解释目标，制定计划并调用工具和 API 以获取结果。智能体会评估结果并修正错误，持续改进直至达成目标。

大型推理模型：这是一种经过训练以解决需要大量逻辑步骤问题的模型。它将问题分解为更小的问题，并通过推理得出正确答案。

向量数据库：正如名称所示，这是一种存储向量的数据库。这些向量实际上是代表文本、音频、视频或其他数据含义和特征的数字列表。

检索增强生成（RAG）：这是一种在需要时向模型提供相关信息的技术。相关信息通常存储在向量数据库中，但也可以通过 API、SQL 或混合搜索进行检索。

模型上下文协议（MCP）：它为 AI 应用程序提供标准接口，用于连接和访问外部工具和 API。通信通过 MCP 客户端进行，AI 应用程序通过 MCP 服务器进行交互。

从 GPT-2 到 GPT-6：究竟发生了什么变化

从 GPT-2 到 GPT-6 已经过去七年，许多方面都发生了变化。

下图基于我们掌握的公开信息，展示了每一代模型及其关键亮点。

GPT-2（2019）：更像是一个验证解码器-only 变压器潜力的原型。这是一个 15 亿参数的模型，仅通过预训练进行下一个 token 预测。训练后的模型只能继续文本，而无法回答问题。

GPT-3（2020）：与 GPT-2 使用相同的方法，但规模更大，训练数据更多，用于测试仅靠规模扩展能走多远。GPT-3 有 1750 亿参数，是 GPT-2 的 100 多倍，但仍仅经过预训练。规模使其展现出上下文学习能力，当看到示例时，模型能够模仿这些示例。

GPT-4（2023）：在预训练基础上，OpenAI 使用人类反馈强化学习（RLHF）进行微调，因此它不仅是补全模型，还能真正回答问题。它还是多模态模型，可以处理图像和文本输入，并支持高达 32K token 的上下文长度。

GPT-5（2025）：首个内置推理能力的GPT版本。在给定提示、工具和努力等级后，训练后的模型可以在生成答案前生成推理标记。其上下文窗口扩展至400K个标记，ChatGPT中的路由器会决定何时需要启用思考模式。

GPT-6（2026）：这个新模型拥有更大的上下文窗口（1.05M），支持异步工具调用，整体安全性更高。一个有趣的特性称为"中途转向"，它可以在思考过程中接收新指令。

AI面试前需要掌握的六大主题

AI面试通常考察基础原理而非工具。这个可视化图表将其分为两个反复出现的类别：传统AI和现代AI。

传统AI聚焦于基础机器学习主题，主要涉及神经网络成为主流前的内容。

现代AI侧重于神经网络基础及新概念，如Transformer、RAG和后训练技术。

面试官通常期望你掌握两者。他们希望你能够解释它们的工作原理、失效场景及权衡取舍。

将此作为检查清单，在下一次AI面试前确保能清晰解释每个主题。

轮到你了：在面试压力下，你发现哪个主题最难解释？还有哪些内容需要补充？

GPU高层工作原理

当人们说GPU强大时，实际上是指：GPU从底层架构就设计用于大规模并行处理。

让我们拆解其内部工作机制。

在顶层，GPU芯片由多个流式多处理器（Streaming Multiprocessors，SMs）组成。可将SMs视为芯片上复制的微型并行引擎。与一个大型大脑不同，你获得的是数十个小型引擎同时工作。

每个SM内部：

• 战略调度器（Warp Scheduler）决定下一批线程（warp）的执行顺序
• 数十个CUDA核心并行执行指令
• 寄存器文件以超低延迟存储线程局部数据
• 加载/存储单元在寄存器与内存间传输数据
• 纹理单元处理专用内存操作
• L1缓存提供SM级快速数据访问

每个SM独立工作，但通过片上互连进行通信。互连下方是所有SM共享的L2缓存，这是协调层。当某个SM在L1缓存未命中时，会先检查L2缓存再访问全局内存。

随后是内存控制器，负责与全局内存接口。这里特别值得关注：

• 极其高的带宽
• 比片上内存高得多的延迟

这就是GPU依赖大规模并行处理的原因。当某些线程等待内存时，数千个其他线程仍能持续执行。

AI成本优化课程今日开课

学习如何在不牺牲性能或质量的前提下降低AI基础设施和推理成本。作为订阅用户，你可享受专属20%折扣，点击链接时将自动应用。

立即查看课程内容

你将学到：

• 理解你的AI账单：分解标记使用情况，计算每个请求的真实成本
• 跟踪AI支出：跨团队、功能和用户监控成本，识别账单驱动因素
• 优化提示和缓存：减少冗余模型调用，避免不必要的标记消耗
• 管理代理上下文：保持上下文窗口精简，防止昂贵的代理循环
• 使用小型模型：在适当场景用小型模型替代高成本的大模型调用

• 构建智能模型路由器：在保证质量的前提下，将请求路由到最具成本效益的模型。

• 控制多智能体成本：预估支出、检测失控的重试并优化智能体工作流程。