MuP 还有哪些别名？

MuP 也被称为：Maximal Update Parametrization。

MuP 最近有什么新动态？

traeai 已收录 1 篇与 MuP 相关的内容。最新一篇是「为什么官方版Muon比MuP版多出一个max(1, ⋅)？」，由科学空间发布。

概念

也叫：Maximal Update Parametrization

最大更新参数化方法，用于指导大模型超参数迁移及优化器缩放因子设计。

为什么官方版Muon比MuP版多出一个max(1, ⋅)？

科学空间 · 9.2 分

已收录 1 篇与「MuP」相关的 AI 资讯和分析。

科学空间今天1705 字 (约 7 分钟)

Muon优化器官方版引入max(1,⋅)截断是为了在训练初期输入特征各向同性时稳定更新幅度，但在中后期特征呈现各向异性时，MuP版缩放因子更符合最速下降原理。工程上建议优先使用MuP版或采用从KellerJordan版到MuP版的动态衰减策略以兼顾收敛速度与稳定性。

入选理由：KellerJordan版Muon的max(1,⋅)源于din>dout且输入各向同性时的RMS近似推导。

精选文章#Muon优化器#MuP#深度学习优化#特征缩放#大模型训练中文

与「MuP」经常一起出现的 AI 术语。

💡 想追踪「MuP」的长期趋势？去实体雷达 · MuP 查看详细分析和跨材料问答。