EP217: Latency vs Throughput vs Bandwidth

EP217: 延迟 vs 吞吐量 vs 带宽

ByteByteGo

2026年6月6日

绘制工作流程，自动化端到端测试，使用 QA Wolf 提升效率（赞助）

QA Wolf 的 AI 代理可以绘制并测试你应用中最复杂的用户流程。

它将你的提示转换为真实的 Playwright 和 Appium 代码，运行速度比其他计算机使用代理快 12 倍，且更加可靠。

我们 AI 的独特之处：

• 几分钟内可以绘制 200 多个测试用例，而不是手动规划数周。

• 比计算机使用代理快 12 倍执行测试。

• 整个测试套件可以 100% 并行运行，并且结果一致。

• 生成开源测试，你的团队拥有这些测试，没有供应商锁定。

立即开始使用

本周的系统设计复习：

• CPU vs GPU vs TPU（YouTube 视频）

• 延迟 vs 吞吐量 vs 带宽

• 什么是 Google 的 TPU？

• 每个 Claude Code 用户应了解的 7 种权限模式

• 2026 年值得关注的 7 大 AI 趋势

• ByteByteGo 正在招聘

CPU vs GPU vs TPU

延迟 vs 吞吐量 vs 带宽

你是否曾疑惑为什么你的应用在带宽看起来正常的情况下仍然感觉很慢？延迟、吞吐量和带宽经常被互换使用，但它们各自讲述的是关于性能的不同故事。

延迟是延迟时间。一个数据包从发送方到接收方所需的时间。如果你的 ping 显示往返时间为 40 毫秒，那就是延迟。

吞吐量是实际传输速率。每秒成功传输的数据量。如果你的下载速度显示为 62 Mbps，那就是吞吐量。

带宽是链路的最大容量。例如，100 Mbps 的连接在理想条件下是上限。

吞吐量总是小于带宽。网络拥塞、数据包丢失和协议开销都会影响吞吐量，这就是为什么在实践中你永远无法真正达到最大带宽容量。

同样，低延迟并不一定意味着高吞吐量。小数据负载、单连接和狭窄的窗口大小都可能导致吞吐量较低，这就是为什么快速响应并不保证你发送了大量数据。

理解这三个概念的另一种方式：带宽是高速公路的宽度。吞吐量是交通流量。延迟是汽车从 A 到 B 所需的时间。

三者都很重要，但它们解决的是不同的问题。

轮到你了：你如何以一种真正预测系统何时会出问题的方式测量这些指标？

什么是 Google 的 TPU？

TPU（Tensor Processing Unit）是 Google 自己设计的 AI 芯片，专门为现代模型所依赖的大规模矩阵乘法而设计。GPU 最初是为图形处理而设计的。

TPU 从一开始就是为深度学习而设计的。

在 Cloud Next ’26 上，Google 揭示了其第八代 TPU，并且首次以两种型号发布。TPU 8t 专为训练而设计，在这种情况下，原始吞吐量是关键。TPU 8i 专为推理而设计，在这种情况下，延迟和芯片间的速度最为重要。

两者仍然共享相同的 Axion CPU、液体冷却和软件堆栈，因此为其中一个编写的代码可以在另一个上运行。

该图表是基于我们对 Google 发布文章的理解，快速了解哪些是相同的、哪些是不同的以及原因的简明学习指南。

每个 Claude Code 用户应了解的 7 种权限模式

• plan：模型起草一个计划。在用户批准之前，不会执行任何操作。

• default：标准交互使用。大多数工具调用需要用户批准。

• acceptEdits：工作目录中的编辑自动批准。其他 shell 命令仍然会提示。

• auto：一个机器学习分类器决定那些未通过快速路径的请求。

• dontAsk: 不显示任何提示。拒绝规则仍然生效。

• bypassPermissions: 跳过大部分提示。安全关键的防护措施仍然适用。

• bubble: 子代理将其权限请求升级到父代理。

只有 5 种模式是用户可选择的。“auto” 模式受功能标志控制，“bubble” 模式为内部使用。

轮到你了：你最常使用哪种模式，是什么促使你选择它？

2026 年值得关注的 AI 趋势

2026 年的进展速度已经超出了所有人的预期。Anthropic 发布了 Opus 4.7，OpenAI 推出了 GPT5.5-Codex，而开源模型如 Kimi K2.5 和 GLM-5 则展示了令人印象深刻的代理性能。

这些发布预示着更大的趋势。以下是 2026 年需要密切关注的五个类别。

1. 高效推理：RLVR 风格的训练通过自动检查数学和代码来扩展推理能力。在 2026 年，我们预计将看到更多自适应推理和极其稀疏的架构。早期迹象包括 Gemini 的自适应思考和 Qwen3.5 的稀疏 MoE 架构。

1. 持续代理：代理现在可以使用工具和记忆进行循环规划，而不仅仅是聊天。在 2026 年，我们预计将看到全天候的个人代理，它们可以跨天运行，访问你的文件，并能安全地完成任务。OpenClaw 是这一方向的早期示例。

1. 仓库级编码：编码已经从自动补全发展到多文件编辑，包括测试、构建和终端工具。在 2026 年，我们预计将看到能够理解非常大仓库的代理，并且默认可以提交安全感知的 PR。

1. 无处不在的开放权重：开放权重模型现在已经足够强大，可以与封闭模型竞争。在 2026 年，我们预计将看到更多这样的模型变得更轻量、更适合代理，并且更容易部署。GLM5 和 Kimi K2.5 等模型已经在这一方向上推进。

1. 世界模型 + 物理 AI：多模态模型在视觉、图像和视频生成方面已经达到了令人印象深刻的质量。在 2026 年，我们预计将看到这些模型成为物理 AI 和世界模型的基础，早期的示例包括 Google Genie 3 和人形机器人。

轮到你了：你认为哪一项变化将在 2026 年最显著地改变团队构建产品的方式？

我们在 ByteByteGo 招聘

我们正在寻找多位兼职讲师，教授 AI 和工程领域的基于小组的实时课程。

如果你喜欢教学，乐于分享你的知识，并希望在主要工作之外有一个有意义的副业，这将是一个绝佳的匹配。

这个角色需要一些前期时间投入，以熟悉课程内容并进行准备，但之后它被设计为有限的承诺（每两周 2-5 小时）。它提供稳定的收入、良好的回报，并有机会与有抱负的学习者一起分享你的知识。

我们特别在寻找以下领域的讲师：

• 构建生产级 AI 系统

• 系统设计

• AI 安全与 LLM 红队

• AI 评估深入

• AI 成本优化

• 代理 AI 编码

• 使用 Codex 进行构建

• 工程领导者的 AI

• AI 自动化

• 其他，请提出建议

理想的讲师是动手能力强、沟通清晰且热衷于教学的人。

如果你觉得这符合你，请将你的背景、你有兴趣教授的主题以及任何教学、写作或演讲样本发送至 jobs@bytebytego.com。