ChatGPT vs Gemini vs Claude: How They Differ

ChatGPT 与 Gemini 与 Claude：它们的差异

ByteByteGo

2026年7月7日

新书 – 《延迟：减少软件系统的延迟》（赞助）

学习实用技术，让你的软件在每一层架构中都更快

正在开发对延迟敏感的应用程序？这本书将帮助你发现、理解并解决应用程序和基础设施中的延迟问题。书中分享了此前主要以“部落知识”形式存在的低延迟技术。你将学习全栈方法，涉及软件工程、分布式系统、数据库和操作系统等多个领域的技术。

• 理解并权衡缓存的取舍（延迟 vs. 复杂性）
• 探索两种主要的并发模型（线程和事件驱动架构）
• 识别并应用并行化机会以提高吞吐量并减少延迟
• 应用异步处理策略，降低感知延迟并提升系统整体响应性

获取这3章节选，开始阅读这本已成为严格性能SLA从业者必备的书籍。

免费下载

如果我们向ChatGPT、Gemini和Claude发送相同的提示，得到的答案会明显不同。Claude可能会更频繁地提出异议。Gemini能够轻松处理两小时的视频文件，就像处理一段文字一样。ChatGPT会将某些提示路由到较慢的推理模式，而对其他提示则立即回答，但不会告诉用户它选择了哪条路径。

为什么每个模型的行为方式都如此不同，且表现得如此一致？

每种模式都可以追溯到这些前沿模型开发者在架构决策点上做出的不同设计选择，而用户可见的行为直接源于这些选择。

要清晰理解这些差异，我们需要研究架构和设计，因为架构决策在不同版本中保持一致，为理解模型行为随时间的变化提供了可靠的框架。

在本文中，我们将探讨构建这些模型的团队遇到的各种架构分叉，以及他们做出的决策。

免责声明：本文基于来自各种来源的公开信息。如果您发现任何不准确之处，请在评论中指出。

基础架构

这三个模型共享相同的底层架构，即基于Transformer的生成式神经网络。

Transformer架构在2017年的论文《Attention Is All You Need》中首次提出，其核心是一种称为自注意力的机制，允许序列中的每个标记（一个标记是文本的一个小片段，大约是单词的四分之三）衡量其与序列中其他每个标记的关系。这种结构在三个模型中是共通的，而围绕它构建的组件以及塑造它的训练过程则存在显著差异。

训练过程本身包含两个阶段：

• 预训练阶段，模型通过预测下一个标记，从大量文本和其他数据中学习，这一过程重复数十亿次。
• 后训练阶段，基础模型通过人类反馈强化学习（RLHF）和宪法AI等方法，被塑造成一个有用的助手。我们将在后续部分更详细地讨论这些内容。

每个架构分叉都遵循一致的模式，不同公司面临相同的设计问题，各自做出特定的架构选择，而每个选择都产生了今天可以观察到的用户可见行为。

第一个问题涉及如何在不按比例增加处理每个查询成本的情况下扩大模型的总容量。

密度

为模型添加的每个参数都会带来计算成本。在标准的密集神经网络中，每个参数都会为每个处理的标记激活，这意味着参数数量翻倍会使每个查询的计算成本大致翻倍。

前沿开发者需要一种方法来摆脱这种限制，而架构问题则转化为如何在不为每个标记支付全额成本的情况下扩大总容量。

谷歌采用了一种称为专家混合（Mixture of Experts，MoE）的技术。Gemini 1.5技术报告将该模型描述为“一种稀疏的专家混合（MoE）Transformer模型”，该模型“建立在谷歌长期以来的MoE研究基础之上”，而Gemini 3 Pro模型则延续了同样的方法。

在MoE层中，网络包含许多较小的专家，而不是一个所有参数都为每个标记激活的大型计算块。一个小的路由器决定每个标记应发送给哪两个或三个专家。总参数数量可以非常庞大，但每个标记仅激活其中一小部分，尽管要实现稳定的结果，需要在训练过程中仔细注意负载均衡和专家专业化。

OpenAI尚未明确确认GPT-4是否使用MoE，而GPT-4技术报告刻意省略了架构细节。GPT-5系统细节描述了一种不同的效率方法，我们将在推理部分探讨，其中路由器在运行时在不同的子模型之间进行选择。

然而，这些架构选择会对用户体验产生实质性影响。

MoE模型可以在每单位计算成本下封装更多知识，这有助于Gemini在广泛领域中表现出色。权衡是增加的方差，因为不同提示会路由到不同专家，而训练期间的负载均衡不完善可能导致某些专家使用不足，从而削弱模型在这些主题上的能力。密集模型通常在每个标记的行为预测性方面表现更一致，但代价是难以扩展到极端参数数量。

请参见下图：

将云日志转化为真正的安全信号（赞助）

Datadog的这份指南提供了最佳实践，介绍如何使用云SIEM来检测威胁、调查事件，并减少云和Kubernetes环境中的盲点。

您将学习如何：

• 分析CloudTrail、GCP审计日志和Azure日志中的可疑活动
• 检测身份验证异常和常见攻击模式
• 监控Kubernetes审计日志中的横向移动和滥用行为
• 跨服务关联信号以加速调查

获取指南

多模态

“多模态”一词根据架构方法的不同具有不同的含义，在分析设计选择之前，明确区分这一点很有帮助。

处理图像、音频和视频等非文本输入有两种根本不同的方法：

• 顺序方法：首先训练一个强大的语言模型，然后添加一个单独的编码器，将非文本输入转换为语言模型可以关注的嵌入表示。
• 原生方法：从一开始就同时在所有模态上训练单个网络，使得文本标记、图像块和音频帧共存于同一序列中，并由相同的Transformer层进行处理。

以下是翻译后的 Markdown 内容：

如下图所示，两种方法之间的差异清晰可见：

这两种方法产生了不同的能力。

Google 从一开始就采用了原生方法。Gemini 1.0 的发布设计为原生多模态，而 1.5 技术报告展示了模型在单个输入中处理“10.5 小时每秒 1 帧的视频”的能力，当前的 Gemini 3 Pro 模型延续了这一设计，提供“对文本、视觉和音频输入的原生多模态支持”。

OpenAI 最初选择了不同的路径，最初的 GPT-4 通过单独的管道支持视觉。2024 年 5 月发布的 GPT-4o 转向了统一架构，而 OpenAI 自己关于 GPT-5.5 的公告承认“OpenAI 之前的多模态模型本质上是通过拼接多个模型实现的”。

最后，Anthropic 始终坚持以文本为主的方法，同时具备强大的视觉能力，Claude Opus 4.8 继续支持 Opus 4.7 中引入的 3.75 兆像素高分辨率图像输入，特别适用于文档、截图和密集图表。Anthropic 目前选择专注于文本和视觉作为主要输入模态，而将原生音频和视频暂时搁置。

对于用户来说，这种架构差异在处理视频时最为明显。Gemini 可以直接处理长视频文件，ChatGPT 的较新模型也具备相同能力。Claude 在处理文档、截图和高保真图像时表现最佳。

上下文

上下文窗口表示模型在单次处理中可以关注的输入量，以 tokens 为单位。

更大的窗口允许模型一次性处理更多原始材料，但长上下文引入了两个重要挑战：

• 计算成本：注意力机制的计算成本大致呈二次方增长，因此更长的窗口会使每次查询的计算消耗显著增加。

• 质量下降：随着窗口填满，模型通常会丢失早期提到的信息，长对话过程中早期上下文的相关性会逐渐降低。

Google 在原始窗口大小上投入最大。Gemini 1.5 技术报告展示了高达 1000 万 tokens 的上下文，Gemini 3 Pro 和 3.1 Pro 在生产环境中继续提供 100 万 tokens 的上下文。

Anthropic 在 Claude Opus 4.8 和 Sonnet 5 上提供 100 万 tokens 的上下文，公司自己的文档使用“上下文腐化”（context rot）这一术语来描述长会话中的质量下降问题，并通过自动压缩功能对早期对话内容进行摘要来解决。

OpenAI 在窗口大小上采取了更为保守的立场，GPT-4 Turbo 的窗口大小为 128K，重点通过推理部分提到的路由架构来提升效率。

三种模型的实际体验存在差异。由于窗口较大，Gemini 和 Claude 在单次会话中加载整个代码库或数小时的转录文本表现良好。ChatGPT 的结构更多围绕子模型之间的高效路由，而非接受大规模单次提示输入。

长上下文扩展了可提问的范围，而检索增强生成（retrieval-augmented generation）在查询时获取相关外部数据，仍然在需要新鲜度和成本控制时具有相关性。

对齐

预训练生成了一个基础模型，该模型已处理了大量文本并学习预测下一个标记。在此阶段，基础模型表现为一个复杂的模式补全器，但对诚实性、安全性和有用性关注有限。

微调阶段是将该基础模型塑造成用户交互的助手的过程，三家公司在这一工作上采取了截然不同的方法。

OpenAI在GPT-3和GPT-4的开发过程中始终采用基于人类反馈的强化学习（RLHF）。该方法包含三个主要步骤：

• 人类评估者比较模型输出的成对结果，并选择更优的一个。
• 这些比较用于训练奖励模型以捕捉人类偏好。
• 然后利用奖励模型对语言模型进行微调，使其输出更符合人类偏好。

GPT-4产品页面描述了RLHF中新增的安全奖励信号，用于减少有害输出。对于推理模型，OpenAI增加了称为深思对齐（deliberative alignment）的方法，使模型在推理时对安全策略进行推理。公开的模型规格文档详细描述了预期行为。

Anthropic开发了一种替代方法，称为宪法AI（Constitutional AI，CAI）。与每一步都依赖人类评估者不同，CAI使用明确的书面宪法，让模型根据这些原则自我批评和修改输出，然后应用AI生成的反馈进一步优化模型。2026年1月，Anthropic发布了23000字的宪法，指导Claude在合成数据生成、响应排序和行为优化方面的训练。

Google在Gemini的微调流程中使用带有学习奖励模型的RLHF，其公开表述的明确性略低于另外两家公司。Gemini技术报告描述了一个多阶段训练流程，从单模态预训练过渡到多模态对齐。

这一架构领域也反映了三家公司在透明度选择上的更广泛差异。2023年GPT-4技术报告刻意省略了架构细节，而2025年GPT-5系统卡片则以显著细节描述了路由机制、子模型和安全缓解措施。Anthropic公开发布其宪法，提供了塑造Claude行为原则的详细视图。这三家公司对透明度做出了不同的选择，这些选择也随着时间演变。

对用户而言，这些训练差异表现为模型的个性。Claude在边缘案例上更倾向于反驳，因为宪法明确训练了这种行为。ChatGPT通常更倾向于直接尝试任务而不加质疑。Gemini的响应则因领域不同而呈现更大差异。

请参见下图：

在价值观层面达成共识后，最新的架构维度涉及模型如何思考，这是三家公司在不同方向上达成共识的领域。

推理

当前一代模型最重要的架构进展之一，是模型是否直接生成答案，还是在回答前通过标记进行显式推理。

标准聊天模型接收提示后会立即开始生成回复。推理模型则首先生成内部思考标记，逐步分析问题，之后才输出最终答案。相同的提示、相同的底层权重和相同上下文窗口，根据采用的处理方式不同，可能在推理时产生截然不同的计算特征。

OpenAI 专门开发了推理模型，从 2024 年底推出的 o1 开始，随后在 2025 年 8 月推出 o3，并延续至 2026 年 4 月 23 日发布的 GPT-5.5。该架构包含三个主要组件：

• GPT-5-Main，一个快速且吞吐量高的模型，是 GPT-4o 的继任者。
• GPT-5-Thinking，一个深度推理模型，是 o3 的继任者。
• 实时路由器，根据对话类型、复杂度、工具需求和提示中的明确意图在两者之间进行选择。

OpenAI 计划未来将这些能力整合到单一模型中，但当前架构仍作为多模型系统运行，而非统一的单一模型。

Anthropic 采取了不同方法。Claude Opus 4.8 和 Sonnet 5 在单一模型中采用自适应思考机制，同一 Claude 会自行决定每个请求的思考时长，并将总结后的推理结果呈现给开发者进行检查。

Google 通过 Gemini 3 的 Deep Think 模式和 Gemini 3.1 Pro 的三级思考系统，将推理能力整合到 Gemini 3 中，使模型能够在单次推理过程中处理文本、图像、音频和视频。

对于用户而言，这种架构差异比预期更明显。由于路由器可能将两个相似提示导向不同子模型，ChatGPT 在不同会话中可能显得不一致；Claude 则因同一模型根据请求调整推理深度而显得更一致；Gemini 的行为则更多受领域和模态影响。

在架构分叉处出现了一个趋同现象。三家公司此前在每个维度（包括 MoE 与密集架构、原生与附加多模态、RLHF 与宪法 AI）都选择了截然不同的路径，但最终都得出了相似结论：推理时显式推理标记能显著提升模型在复杂问题上的表现。

结论

在本文中，我们探讨了五个架构维度，每个维度都代表了三家前沿开发者在构建模型时必须回答的问题。

• 密度：Google 公开采用专家混合（MoE），OpenAI 通过不同机制构建路由效率，Anthropic 保持架构选择的私密性。
• 多模态：Google 从一开始就采用原生融合，OpenAI 从附加视觉能力向统一架构演进，Anthropic 保持以文本为主、具备强大视觉能力的策略。
• 上下文：Google 推动了最大上下文窗口，Anthropic 投资于长会话并明确处理退化问题，OpenAI 强调路由效率而非原始窗口大小。
• 对齐：OpenAI 的 RLHF 结合模型规范，Anthropic 的宪法 AI 结合其发布的宪法，Google 的 RLHF 方法代表了三种不同的塑造流程。
• 推理：尽管在所有先前维度的架构选择上存在差异，三家公司最终都收敛于显式推理标记。

当我们观察到这些模型表现出某种特定行为时，我们现在有了一个框架，可以用来探讨是哪种架构维度导致了这种行为。

参考文献：

• GPT-4技术报告
• GPT-4研究页面
• GPT-5系统卡片
• 介绍GPT-5.5
• 使用大语言模型进行推理学习
• 介绍OpenAI o3和o4-mini
• OpenAI模型规格
• 推理模型文档
• Claude宪法
• Claude新宪法
• 宪法AI：通过AI反馈实现无害性
• Claude Opus 4.7
• Claude Opus 4.7新特性
• 上下文窗口
• 自适应思维
• 基于扩展思维的构建
• Gemini 1.5技术报告
• Gemini 2.5技术报告
• 介绍Gemini 1.5
• 注意力就是一切（Attention Is All You Need）
• Gemini 3技术报告
• 介绍Claude Opus 4.8