freeCodeCamp.org
Build and Train a GLM-5.3-Flash Model From Scratch with Python
8.5内容质量
TL;DR · AI 摘要
本文展示了如何用Python从零构建并训练一个简化版的GLM-5.3-Flash模型,适合在标准CPU上运行。
核心要点
- GLM-5.3-Flash模型结合了线性注意力、稀疏注意力和专家混合设计。
- 2500万参数的简化模型可在标准CPU上训练。
- 强化学习后,模型在24个Python任务中的正确率从0提升至16。
结构提纲
按章节快速跳转。
思维导图
用一张图看清主题之间的关系。
查看大纲文本(无障碍 / 无 JS 友好)
- GLM-5.3-Flash模型训练
- 模型架构
- 线性注意力
- 稀疏注意力
- 专家混合设计
- 训练方法
- Python实现
- 强化学习
- 训练效果
- 24个Python任务正确率从0提升至16
金句 / Highlights
值得收藏与分享的关键句。
GLM-5.3-Flash combines linear and sparse attention, a mixture-of-experts design, and manifold constrained hyperconnections.
A scaled-down version with 25 million parameters can be built in Python and trained on a standard CPU.
After reinforcement learning, the model goes from solving 0 of 24 Python tasks to 16 of 24.
#GLM-5.3-Flash#Python#模型训练#强化学习
打开原文从零开始使用 Python 构建和训练 GLM-5.3-Flash 模型
2026 年 11 月 14 日
/
#llm
Beau Carnes
GLM-5.3-Flash 结合了线性注意力和稀疏注意力、专家混合设计以及流形约束超连接。一个参数数量为 2500 万的简化版本可以在 Python 中构建,并在标准 CPU 上进行训练。
我们刚刚在 freeCodeCamp.org YouTube 频道上发布了一门课程,将教你如何从零开始构建和训练一个多模态语言模型,涵盖预训练和后训练。这门课程由 @vukrosic 提供,所有代码、幻灯片和实验都可以在视频描述中链接的 GitHub 仓库中找到。
该模型使用一个 260 个标记的字节级词汇表、一个 192 个标记的上下文长度,以及一个小型视觉编码器,将 32×32 的图像转换为 16 个标记。
在这门课程中,你将学习:
- 标记化与嵌入:为什么小型模型需要一个小型的字节级词汇表,以及权重绑定如何在嵌入层和输出头之间共享一个矩阵。
- 线性与稀疏注意力:线性注意力如何保持对最近标记的固定大小记忆,而每第四个层使用稀疏注意力,并通过索引器查找远距离细节。
- 专家混合:标记如何被路由到少数选定的专家以及一个共享专家,该共享专家学习所有标记共有的信息。
- 添加视觉:图像如何通过 2D RoPE 分割成块并合并为图像标记,从而使模型能够识别数字。
- 预训练实验:数据多样性、交错和课程如何影响学习,包括交错如何帮助防止灾难性遗忘。
- 强化学习:如何设计奖励函数、计算优势(如 GRPO 中的那样)、仅更新最终层,以及测试组大小、温度和种子。
经过强化学习后,模型从 24 个 Python 任务中解决 0 个提升到解决 16 个。
在 freeCodeCamp.org YouTube 频道上观看完整的课程(44 分钟)。
来自我们合作伙伴的推荐课程(侧边栏)
(在新标签页中打开)
ADVERTISEMENT
- 在 Coursera 上:使用 YouTube 的小型企业营销 Julia Arteno 4.7 星(1,442 个评分) 1 小时 55 分钟 初学者 证书 查看课程(在新标签页中打开)
- 在 Udemy 上:YouTube 营销:通过 YouTube 增长你的业务 Phil Ebiner 和 Video School 4.6 星(1,460 个评分) 4 小时 58 分钟 初学者 证书 查看课程(在新标签页中打开)
- 在 Udemy 上:LLMs、Transformers 和现代计算机视觉背后的数学 Patrik Szepesi 4.5 星(1,198 个评分) 6 小时 57 分钟 初学者 证书 查看课程(在新标签页中打开)
- 在 Udemy 上:YouTube 营销 2026:YouTube SEO 与算法 Alex Genadinik 4.6 星(4,130 个评分) 13 小时 34 分钟 初学者 证书 查看课程(在新标签页中打开)
更多 YouTube 营销与频道增长课程请访问 Class Central
→
我是 freeCodeCamp.org 的教师和开发者,我运营 freeCodeCamp.org YouTube 频道。
如果这篇文章对你有帮助,请分享它。
免费学习编程。freeCodeCamp 的开源课程已帮助超过 40,000 人成为开发者。立即开始
来自我们合作伙伴的推荐课程