ByteByteGo Newsletter

EP218: The Typical AI Agent Stack, Explained

8.5内容质量
EP218: The Typical AI Agent Stack, Explained

TL;DR · AI 摘要

AI代理系统由多个关键层组成,包括运行时、模型、工具、记忆和可观测性与安全层,共同支撑其功能。

核心要点

  • AI代理的核心是运行时,它通过ReAct循环执行任务。
  • 工具层负责与真实世界交互,如搜索、API调用和代码执行。
  • 可观测性与安全层确保代理在生产环境中的安全性与可调试性。

结构提纲

按章节快速跳转。

  1. AI代理不仅仅是LLM和提示,其背后有复杂的架构支撑。

  2. 运行时通过ReAct循环执行任务,包括选择工具、观察结果和反思下一步。

  3. 模型层是代理的“大脑”,负责推理和决策。

  4. 工具层是代理的“手”,负责与真实世界交互,如搜索、API调用和代码执行。

  5. 记忆层包括短期工作记忆、长期语义记忆和事务记忆,用于存储和检索信息。

  6. 这一层确保代理在生产环境中的安全性、可调试性和成本控制。

思维导图

用一张图看清主题之间的关系。

查看大纲文本(无障碍 / 无 JS 友好)
  • AI代理架构
    • 运行时
      • ReAct循环
      • 任务执行
    • 模型层
      • LLM推理
      • 决策
    • 工具层
      • 搜索
      • API调用
      • 代码执行
    • 记忆层
      • 短期工作记忆
      • 长期语义记忆
      • 事务记忆
    • 可观测性与安全层
      • 安全性
      • 可调试性
      • 成本控制

金句 / Highlights

值得收藏与分享的关键句。

#AI代理#系统设计#LLM#工具层
打开原文

EP218:详解典型的AI代理架构

ByteByteGo

2026年6月13日

使用AI代理运行客户认证(赞助)

编码代理已经在这里了,但进行“氛围编码”认证是危险的业务。请将你的AI助手连接到Descope MCP服务器上!

这个远程MCP服务器将代理连接到Descope身份平台,使它们能够阅读文档、检查项目配置、管理用户和租户、配置认证流程、查看审计日志,并修改你的身份基础设施。这一切都可以通过自然语言,并且在一个会话中完成。

Descope已被GoFundMe、GoodRx、Linktree和Databricks等数千家企业所信任。

使用100多个提示示例开始

本周的系统设计复习:

  • 如何本地运行LLM(YouTube视频)
  • 详解典型的AI代理架构
  • 了解Git重置模式
  • NAT是如何工作的
  • 最后一周报名:使用Claude代码构建
  • 我们正在ByteByteGo招聘

如何本地运行LLM(适合学习和隐私保护)

详解典型的AI代理架构

大多数人认为AI代理只是一个聪明的提示和一个LLM。但现实要复杂得多。实际上,有一个完整的架构在幕后运行,以确保一切顺利进行。

下面的图表展示了完整的AI代理架构。核心是运行ReAct循环的代理运行时,另外三个层次为其提供支持。

AI代理运行时:LLM思考该做什么,选择一个工具,观察结果,然后进行反思并决定下一步。这个循环重复进行,直到目标达成。

模型层(大脑):用于推理的底层LLM。

工具层(手):代理如何与现实世界互动:搜索、API、代码执行、数据访问。

记忆层(笔记本):当前任务的短期工作记忆,知识的长期语义记忆,以及状态的事务记忆。

围绕所有的是可观测性与安全层。这是使代理在生产环境中可调试、可评估、成本意识和安全的关键。

轮到你了:你认为在生产环境中,哪一层最难正确实现?

2026年FeatureOps峰会 - AI时代的特性管理(赞助)

没有控制的速度是一种虚假的经济。随着AI代码生成加速软件交付,2026年FeatureOps峰会旨在确保我们发货更多时,破坏更少。这个领先的虚拟活动汇集了来自Wayfair、Visa、Mintlify、Lloyds等公司的工程师、架构师和产品领导者,探讨无惧交付的基础设施。

主要主题:

AI安全网:自动化代码洪流的防护措施。边缘弹性:在大规模下毫秒级评估。持续流动:超越“固定发布”的思维模式。今天注册,掌握构建安全发布环境所需工具和模式。

立即注册

了解Git重置模式

git reset有三种模式。每种模式都会移动HEAD,但它们对索引和工作目录的影响不同。

  • git reset --soft:仅移动HEAD。索引和工作目录保持不变。当你想要用不同的更改或不同的信息重新提交时使用此模式。
  • git reset --mixed(默认):移动HEAD并清除索引,但保留工作目录。你的更改变为未暂存,仍然存在,但不再排队提交。
  • git reset --hard:将 HEAD 移动到目标提交,清除索引,并将工作目录重置为与目标提交一致。任何未提交的更改都会被删除。

轮到你了:你最常使用哪种 reset 模式?“--hard”是否曾经让你损失了一天的工作时间?

NAT 的工作原理

你家中的每个设备可能都共享同一个公共 IP 地址,但每个设备都能独立地浏览网页、流媒体播放和连接网络。这是由 NAT(网络地址转换)实现的,它几乎在每家网络的后台默默运行。

这是 IPv4 地址尚未完全耗尽的原因,也是你的路由器能够将数十个设备隐藏在单个公共 IP 地址背后的原因。

  • 核心思想:在本地网络中,设备使用私有 IP 地址,这些地址不会离开你的家庭或办公室。然而,你的路由器在与外部世界通信时使用的是单个公共 IP 地址。

NAT 会修改每个出站请求,使其看起来像是从该公共 IP 地址发出的,并为每个内部连接分配一个唯一的端口映射。

出站 NAT(本地到互联网):当设备发送请求时,

  • NAT 将私有 IP 地址替换为公共 IP 地址
  • 分配一个唯一端口以便跟踪连接
  • 将数据包发送到互联网,仿佛它来自路由器

反向 NAT(互联网到本地):当响应返回时,

  • NAT 检查其转换表
  • 恢复原始的私有 IP 地址和端口
  • 将数据包交付到本地网络上的正确设备

轮到你了:你是否曾经遇到过棘手的 NAT 边界情况?端口转发?双 NAT?视频通话中断?在线游戏问题?

最后一周报名:使用 Claude Code 进行构建

我们即将推出一项为期两天的密集型、基于小组的课程,名为 Build with Claude Code,由 John Kim 教授,他曾培训了数百名 Meta 工程师在实际生产流程中使用 Claude Code。

课程于 6 月 18 日开课,报名截止时间还剩不到一周。如果你一直在考虑提升你和团队使用 Claude Code 的方式,现在就是最好的时机。

立即查看课程详情

你将学到以下内容:

  • 使 Claude Code 对实际项目有用的关键要素:代理循环、上下文工程和记忆层
  • 如何使用 Claude Code 技能、MCPs 和钩子构建,为 Claude 提供所需的工具和反馈循环,以便其自我纠正
  • 使用 Git 工作树、子代理和代理团队进行并行开发
  • 一个最终项目,你将基于自己的技术栈构建一个实际的产品

课程包括现场授课、作业和办公时间,因此你有充足的机会提问并解决遇到的难题。

第一期课程将在几天后开始:2026 年 5 月 28 日至 29 日。如果你想从 Claude Code 的基础学到高级生产工作流程,包括处理大型代码库,这将是一个提升自己的绝佳方式。

ByteByteGo 招聘

我们正在寻找多名兼职讲师,教授人工智能和工程领域的基于小组的实时课程。

如果你热爱教学,喜欢分享你的知识,并希望在主要工作之外拥有一项有意义的副业,这将是一个非常适合你的机会。

这个角色需要一些前期的时间投入,以熟悉课程内容并进行准备,但之后,它被设计为有限的承诺(每两周 2-5 小时)。它提供稳定的收入、良好的收益潜力,并有机会与有抱负的学习者一起分享你的知识。

我们特别寻找以下领域的讲师:

  • 构建生产级 AI 系统
  • 系统设计
  • AI 安全与大语言模型红队演练
  • AI 评估强化训练
  • AI 成本优化
  • 代理式 AI 编程
  • 使用 Codex 进行开发
  • 面向工程领导者的 AI
  • AI 自动化
  • 其他,请提出建议

理想的讲师应具备实践经验,能够清晰沟通,并对教学充满热情。

如果这符合你的特点,请将你的背景、你有兴趣教授的主题,以及任何教学、写作或演讲的样例发送至 jobs@bytebytego.com。