freeCodeCamp.org

Build and Train a GLM-5.3-Flash Model From Scratch with Python

8.5内容质量

TL;DR · AI 摘要

本文展示了如何用Python从零构建并训练一个简化版的GLM-5.3-Flash模型,适合在标准CPU上运行。

核心要点

  • GLM-5.3-Flash模型结合了线性注意力、稀疏注意力和专家混合设计。
  • 2500万参数的简化模型可在标准CPU上训练。
  • 强化学习后,模型在24个Python任务中的正确率从0提升至16。

结构提纲

按章节快速跳转。

  1. 介绍了GLM-5.3-Flash模型及其简化版本的训练方法。

  2. GLM-5.3-Flash结合了线性注意力、稀疏注意力和专家混合设计。

  3. 展示了如何用Python从零构建并训练一个2500万参数的简化模型。

  4. 介绍了如何通过强化学习提升模型在Python任务中的表现。

  5. 强化学习后,模型在24个Python任务中的正确率从0提升至16。

思维导图

用一张图看清主题之间的关系。

查看大纲文本(无障碍 / 无 JS 友好)
  • GLM-5.3-Flash模型训练
    • 模型架构
      • 线性注意力
      • 稀疏注意力
      • 专家混合设计
    • 训练方法
      • Python实现
      • 强化学习
    • 训练效果
      • 24个Python任务正确率从0提升至16

金句 / Highlights

值得收藏与分享的关键句。

  • GLM-5.3-Flash combines linear and sparse attention, a mixture-of-experts design, and manifold constrained hyperconnections.

    — 第 1 段

    ⬇︎ 下载 PNG𝕏 分享到 X
  • A scaled-down version with 25 million parameters can be built in Python and trained on a standard CPU.

    — 第 1 段

    ⬇︎ 下载 PNG𝕏 分享到 X
  • After reinforcement learning, the model goes from solving 0 of 24 Python tasks to 16 of 24.

    — 第 5 段

    ⬇︎ 下载 PNG𝕏 分享到 X
#GLM-5.3-Flash#Python#模型训练#强化学习
打开原文

从零开始使用 Python 构建和训练 GLM-5.3-Flash 模型

2026 年 11 月 14 日

/

#llm

Beau Carnes

GLM-5.3-Flash 结合了线性注意力和稀疏注意力、专家混合设计以及流形约束超连接。一个参数数量为 2500 万的简化版本可以在 Python 中构建,并在标准 CPU 上进行训练。

我们刚刚在 freeCodeCamp.org YouTube 频道上发布了一门课程,将教你如何从零开始构建和训练一个多模态语言模型,涵盖预训练和后训练。这门课程由 @vukrosic 提供,所有代码、幻灯片和实验都可以在视频描述中链接的 GitHub 仓库中找到。

该模型使用一个 260 个标记的字节级词汇表、一个 192 个标记的上下文长度,以及一个小型视觉编码器,将 32×32 的图像转换为 16 个标记。

在这门课程中,你将学习:

  • 标记化与嵌入:为什么小型模型需要一个小型的字节级词汇表,以及权重绑定如何在嵌入层和输出头之间共享一个矩阵。
  • 线性与稀疏注意力:线性注意力如何保持对最近标记的固定大小记忆,而每第四个层使用稀疏注意力,并通过索引器查找远距离细节。
  • 专家混合:标记如何被路由到少数选定的专家以及一个共享专家,该共享专家学习所有标记共有的信息。
  • 添加视觉:图像如何通过 2D RoPE 分割成块并合并为图像标记,从而使模型能够识别数字。
  • 预训练实验:数据多样性、交错和课程如何影响学习,包括交错如何帮助防止灾难性遗忘。
  • 强化学习:如何设计奖励函数、计算优势(如 GRPO 中的那样)、仅更新最终层,以及测试组大小、温度和种子。

经过强化学习后,模型从 24 个 Python 任务中解决 0 个提升到解决 16 个。

在 freeCodeCamp.org YouTube 频道上观看完整的课程(44 分钟)。

来自我们合作伙伴的推荐课程(侧边栏)

(在新标签页中打开)

ADVERTISEMENT

  • 在 Coursera 上:使用 YouTube 的小型企业营销 Julia Arteno 4.7 星(1,442 个评分) 1 小时 55 分钟 初学者 证书 查看课程(在新标签页中打开)
  • 在 Udemy 上:YouTube 营销:通过 YouTube 增长你的业务 Phil Ebiner 和 Video School 4.6 星(1,460 个评分) 4 小时 58 分钟 初学者 证书 查看课程(在新标签页中打开)
  • 在 Udemy 上:LLMs、Transformers 和现代计算机视觉背后的数学 Patrik Szepesi 4.5 星(1,198 个评分) 6 小时 57 分钟 初学者 证书 查看课程(在新标签页中打开)
  • 在 Udemy 上:YouTube 营销 2026:YouTube SEO 与算法 Alex Genadinik 4.6 星(4,130 个评分) 13 小时 34 分钟 初学者 证书 查看课程(在新标签页中打开)

更多 YouTube 营销与频道增长课程请访问 Class Central

→

我是 freeCodeCamp.org 的教师和开发者,我运营 freeCodeCamp.org YouTube 频道。

如果这篇文章对你有帮助,请分享它。

免费学习编程。freeCodeCamp 的开源课程已帮助超过 40,000 人成为开发者。立即开始

来自我们合作伙伴的推荐课程