MuP之上：4. 坚守参数的稳定性

通过前几篇文章的推导和计算，我们可以发现，第一篇《MuP之上：1. 好模型的三个特征》所提的三个稳定性指标通常可以分为“参数稳定性”和“增量稳定性”两部分，而在《MuP之上：2. 线性层与最速下降》和《MuP之上：3. 特殊情况特殊处理》中，我们演示了将增量稳定性与最速下降结合来获得新的更新规则（优化器）的过程.

然而，对于参数稳定性，我们之前只是停留在初始化上。这篇文章的任务，正是探讨如何在整个训练过程中维持参数的稳定性，将理论的实践补充完整。

问题背景[#](https://spaces.ac.cn/archives/11729#%E9%97%AE%E9%A2%98%E8%83%8C%E6%99%AF)

以《MuP之上：2. 线性层与最速下降》为例，三个稳定性指标分别是：

$$ (\text{1}) 前向稳定性: \underset{\parallel \mathbf{\mathit{x}} \parallel_{R M S} = 1}{max} \parallel \mathbf{\mathit{x}} \mathbf{\mathit{W}} \parallel_{R M S} = \sqrt{\frac{d_{i n}}{d_{o u t}}} \parallel \mathbf{\mathit{W}} \parallel_{2} \\ (\text{2}) 依赖稳定性: \underset{\parallel \mathbf{\mathit{x}}_{1} \parallel_{R M S} = \parallel \mathbf{\mathit{x}}_{2} \parallel_{R M S} = 1}{max} \parallel \mathbf{\mathit{x}}_{1} \mathbf{\mathit{W}} - \mathbf{\mathit{x}}_{2} \mathbf{\mathit{W}} \parallel_{R M S} = 2 \sqrt{\frac{d_{i n}}{d_{o u t}}} \parallel \mathbf{\mathit{W}} \parallel_{2} \\ (\text{3}) 更新稳定性: \underset{\parallel \mathbf{\mathit{x}} \parallel_{R M S} = 1}{max} \parallel \mathbf{\mathit{x}} \left(\right. \mathbf{\mathit{W}} + \Delta \mathbf{\mathit{W}} \left.\right) - \mathbf{\mathit{x}} \mathbf{\mathit{W}} \parallel_{R M S} = \sqrt{\frac{d_{i n}}{d_{o u t}}} \parallel \Delta \mathbf{\mathit{W}} \parallel_{2} $$

其中$\mathbf{\mathit{W}} \in \mathbb{R}^{d_{i n} \times d_{o u t}}$是线性层的参数。我们希望这三个指标都是$\Theta \left(\right. 1 \left.\right)$，那么就是希望参数及其增量分别满足$\parallel \mathbf{\mathit{W}} \parallel_{2} = \Theta \left(\right. \sqrt{d_{o u t} / d_{i n}} \left.\right)$和$\parallel \Delta \mathbf{\mathit{W}} \parallel_{2} = \Theta \left(\right. \sqrt{d_{o u t} / d_{i n}} \left.\right)$。在《MuP之上：3. 特殊情况特殊处理》中我们对Embedding、LM Head等层做了计算，结论也是类似的，只不过对应的范数有所不同。 增量条件我们作为稳定性指标，基于“稳中求快”的最速下降原则，来推导理论最优的更新规则，比如线性层对应的是Muon优化器：

$$ (\text{4}) \underset{\parallel \Delta \mathbf{\mathit{W}} \parallel_{2} \leq \eta \sqrt{\frac{d_{o u t}}{d_{i n}}}}{\text{argmin}} ⁡ \text{tr} ⁡ \left(\right. \mathbf{\mathit{G}}^{\top} \Delta \mathbf{\mathit{W}} \left.\right) \Rightarrow \Delta \mathbf{\mathit{W}} = - \eta \sqrt{\frac{d_{o u t}}{d_{i n}}} \text{msign} ⁡ \left(\right. \mathbf{\mathit{G}} \left.\right) $$

而对于参数稳定性部分，我们之前只是要求参数的初始化满足$\parallel \mathbf{\mathit{W}} \parallel_{2} = \Theta \left(\right. \sqrt{d_{o u t} / d_{i n}} \left.\right)$，如何保证模型在整个训练过程中都维持同样的参数稳定性，尚不得而知。

一般框架[#](https://spaces.ac.cn/archives/11729#%E4%B8%80%E8%88%AC%E6%A1%86%E6%9E%B6)

如何保证$\mathbf{\mathit{W}}$能保持$\parallel \mathbf{\mathit{W}} \parallel_{2} = \Theta \left(\right. \sqrt{d_{o u t} / d_{i n}} \left.\right)$呢？更一般地，给定一个参数$\mathbf{\mathit{\omega}}$，它可能是向量、矩阵甚至高阶张量，然后再给定一个范数$\parallel \cdot \parallel$，它通常是由前向稳定性或依赖稳定性诱导出来的指标，最后指定一个标度$\tau$，问：如何让$\mathbf{\mathit{\omega}}$能在训练过程中维持$\parallel \mathbf{\mathit{\omega}} \parallel = \Theta \left(\right. \tau \left.\right)$呢？

初步思考[#](https://spaces.ac.cn/archives/11729#%E5%88%9D%E6%AD%A5%E6%80%9D%E8%80%83)

一个朴素的想法是直接让$\parallel \mathbf{\mathit{\omega}} \parallel = \tau$（$\tau$也可以换成它的常数倍，但这不影响接下来的讨论），最简单的实现是每一步优化后通过归一化将范数重新缩放成$\tau$（例如Hyperball和Nemotron-Flash）。还有一种思路是直接用归一化去重参数原本的模型，即$\mathbf{\mathit{f}} \left(\right. \mathbf{\mathit{x}} ; \mathbf{\mathit{\omega}} \left.\right)$改为$\mathbf{\mathit{f}} \left(\right. \mathbf{\mathit{x}} ; \tau \mathbf{\mathit{\omega}} / \parallel \mathbf{\mathit{\omega}} \parallel \left.\right)$，这样理论上也能起到类似效果。

更进一步的做法是结合最速下降思想来调整更新规则，正如文章《流形上的最速下降：1. SGD + 超球面》、《流形上的最速下降：4. Muon + 谱球面》和论文《Controlled LLM Training on Spectral Sphere》所讨论的。这样做从方法上看更为优雅，但实践上更加复杂，通常需要求解一个非线性方程才能获得准确的更新量。

然而，我们真的应该将一个参数的某种范数严格控制成某个值吗？直观来想，参数的范数应该由训练过程自行决定，我们顶多为其设置一个先验范围。尽管有一些工作表明，设置得当的情况下，固定参数范数为预设值并不会影响效果，但这仍然会破坏原本的训练动力学，可能需要花上更多的努力去理解和适应它。

因此，本文要提出的观点是，我们只需保证$\parallel \mathbf{\mathit{\omega}} \parallel = \mathcal{O} \left(\right. \tau \left.\right)$，具体来说，就是设法保证每一步都满足$\parallel \mathbf{\mathit{\omega}} \parallel \leq \tau$，至于具体是什么值，是否能保证达到$\Theta \left(\right. \tau \left.\right)$，则交由训练算法自己决定，不做进一步干预。

事后裁剪[#](https://spaces.ac.cn/archives/11729#%E4%BA%8B%E5%90%8E%E8%A3%81%E5%89%AA)

接下来的问题自然是：如何实现$\parallel \mathbf{\mathit{\omega}} \parallel \leq \tau$呢？更具体地说，假设$\mathbf{\mathit{\omega}}$原本的更新规则是

$$ (\text{5}) \mathbf{\mathit{\omega}}_{t} = \mathbf{\mathit{\omega}}_{t - 1} - \eta \mathbf{\mathit{\phi}}_{t} $$

那么要如何修改，才能保证$\mathbf{\mathit{\omega}}_{t}$始终满足$\parallel \mathbf{\mathit{\omega}}_{t} \parallel \leq \tau$呢？方法当然有很多，比如上一节提到的归一化其实也算是一种方案。既然如此，我们希望从中选出对优化过程 影响最小 的方案，即给定参数$\mathbf{\mathit{\omega}}$和范数$\parallel \cdot \parallel$，我们希望以最小的改动，将它的范数变得不超过$\tau$，形式定义为

$$ (\text{6}) \lfloor \mathbf{\mathit{\omega}} \rfloor_{\parallel \cdot \parallel \leq \tau} = \underset{\parallel \overset{\sim}{\mathbf{\mathit{\omega}}} \parallel \leq \tau}{\text{argmin}} ⁡ \parallel \mathbf{\mathit{\omega}} - \overset{\sim}{\mathbf{\mathit{\omega}}} \parallel_{R M S} $$

熟悉凸优化的读者应该容易看出，这其实就是将$\mathbf{\mathit{\omega}}$投影到某种范数半径不超过$\tau$的超球内的投影运算。这里最关键的地方在于，我们希望达到范数不超过$\tau$的目标，但又希望对原始参数$\mathbf{\mathit{\omega}}$的影响降低到最小，所以最小化差异指标$\parallel \mathbf{\mathit{\omega}} - \overset{\sim}{\mathbf{\mathit{\omega}}} \parallel_{R M S}$，由此诱导出特定的投影或者说裁剪操作。 至于$\lfloor \mathbf{\mathit{\omega}} \rfloor_{\parallel \cdot \parallel \leq \tau}$如何计算，需要具体范数具体分析，我们等会再展开。有了这个运算，我们可以考虑的一种方案是每一步更新之后，通过这个运算将参数范数进行截断，即将式$(\text{5})$改为

$$ (\text{7}) \mathbf{\mathit{\omega}}_{t} = \lfloor \mathbf{\mathit{\omega}}_{t - 1} - \eta \mathbf{\mathit{\phi}}_{t} \rfloor_{\parallel \cdot \parallel \leq \tau} $$

这种方案我们暂且称为“事后裁剪（Post Clip）”，特点是简单直观，但可能会给人一种“不光滑”的感觉。这个不难理解，假设我们初始化的半径小于$\tau$，然后开始训练的时候参数半径在缓慢增加，达到$\tau$之后，裁剪“突然”就触发了，这个过程虽然连续，但不光滑，类似$max \left(\right. x , 0 \left.\right)$函数。

事前衰减[#](https://spaces.ac.cn/archives/11729#%E4%BA%8B%E5%89%8D%E8%A1%B0%E5%87%8F)

如果介意这种不光滑性，那么可以考虑模仿权重衰减，将惩罚分摊到每一步更新上。仍然从更新规则$(\text{5})$出发，假设$\mathbf{\mathit{\phi}}_{t}$满足$\parallel \mathbf{\mathit{\phi}}_{t} \parallel \leq \tau$，那么按照三角不等式有$\parallel \mathbf{\mathit{\omega}}_{t} \parallel = \parallel \mathbf{\mathit{\omega}}_{t - 1} - \eta \mathbf{\mathit{\phi}}_{t} \parallel \leq \parallel \mathbf{\mathit{\omega}}_{t - 1} \parallel + \eta \tau$，也就是说极端情况下范数每步增加$\eta \tau$，长期累积之下便会“失控”。

为了预防这种现象，我们可以在$- \eta \mathbf{\mathit{\phi}}_{t}$之前，对$\mathbf{\mathit{\omega}}_{t - 1}$做一点预处理，让它范数变小，刚好能抵消更新带来的增长。按照权重衰减的经验，我们可以考虑的是

$$ (\text{8}) \mathbf{\mathit{\omega}}_{t} = \lfloor \mathbf{\mathit{\omega}}_{t - 1} \rfloor_{\parallel \cdot \parallel \leq \left(\right. 1 - \eta \left.\right) \parallel \mathbf{\mathit{\omega}}_{t - 1} \parallel} - \eta \mathbf{\mathit{\phi}}_{t} $$

也就是说，先设法将$\mathbf{\mathit{\omega}}_{t - 1}$的范数降低到原来的$1 - \eta$倍，然后再进行更新，这样一来

$$ (\text{9}) \parallel \mathbf{\mathit{\omega}}_{t} \parallel \leq \left(\right. 1 - \eta \left.\right) \parallel \mathbf{\mathit{\omega}}_{t - 1} \parallel + \eta \tau \leq max \left(\right. \parallel \mathbf{\mathit{\omega}}_{t - 1} \parallel , \tau \left.\right) $$

那么一直传递下去有$\parallel \mathbf{\mathit{\omega}}_{t} \parallel \leq max \left(\right. \parallel \mathbf{\mathit{\omega}}_{t - 1} \parallel , \tau \left.\right) \leq \hdots \leq max \left(\right. \parallel \mathbf{\mathit{\omega}}_{0} \parallel , \tau \left.\right)$，即只要初始化满足$\parallel \mathbf{\mathit{\omega}}_{0} \parallel \leq \tau$，那么整个更新链自动满足$\parallel \mathbf{\mathit{\omega}}_{t} \parallel \leq \tau$。这个结论跟具体哪种范数无关，它只依赖于范数的三角不等式。而降低范数的最小改动的操作，正是式$(\text{6})$定义的裁剪算子，所以用它来降低范数就顺理成章了。 这种方案我们称为“事前衰减（Pre Decay）”，跟“事后裁剪”的不同点在于，后者的阈值是静态的$\tau$，所以裁剪不一定会触发，但前者的阈值是动态的$\left(\right. 1 - \eta \left.\right) \parallel \mathbf{\mathit{\omega}}_{t - 1} \parallel$，并且裁剪一定会触发，这个过程更加平滑，所以我们称之为衰减而不是裁剪，它是权重衰减的一般推广。

基本结果[#](https://spaces.ac.cn/archives/11729#%E5%9F%BA%E6%9C%AC%E7%BB%93%E6%9E%9C)

到目前为止，我们建立了约束参数范数的一般框架，分“事后裁剪”和“事前衰减”两种方案，其中的核心运算是$(\text{6})$定义的裁剪算子$\lfloor \mathbf{\mathit{\omega}} \rfloor_{\parallel \cdot \parallel \leq \tau}$，目前只有形式化的定义，实际情况下需要具体范数具体计算，下面给出一些基本的计算结果。

简单例子[#](https://spaces.ac.cn/archives/11729#%E7%AE%80%E5%8D%95%E4%BE%8B%E5%AD%90)

这一节我们先算一个简单例子，它选择的范数是$\parallel \cdot \parallel_{R M S}$，对向量来说它等价于L2范数，对矩阵来说它等价于F范数。不难得到

$$ (\text{10}) \lfloor \mathbf{\mathit{\omega}} \rfloor_{\parallel \cdot \parallel_{R M S} \leq \tau} = \underset{\parallel \overset{\sim}{\mathbf{\mathit{\omega}}} \parallel_{R M S} \leq \tau}{\text{argmin}} ⁡ \parallel \mathbf{\mathit{\omega}} - \overset{\sim}{\mathbf{\mathit{\omega}}} \parallel_{R M S} = min \left(\right. 1 , \frac{\tau}{\parallel \mathbf{\mathit{\omega}} \parallel_{R M S}} \left.\right) \mathbf{\mathit{\omega}} $$

证明就留给读者了（如果实在想不出来可以问Kimi）。特别地，代入$\tau = \left(\right. 1 - \eta \left.\right) \parallel \omega \parallel_{R M S}$得

$$ (\text{11}) \lfloor \mathbf{\mathit{\omega}} \rfloor_{\parallel \cdot \parallel_{R M S} \leq \left(\right. 1 - \eta \left.\right) \parallel \omega \parallel_{R M S}} = min \left(\right. 1 , \frac{\left(\right. 1 - \eta \left.\right) \parallel \omega \parallel_{R M S}}{\parallel \mathbf{\mathit{\omega}} \parallel_{R M S}} \left.\right) \mathbf{\mathit{\omega}} = \left(\right. 1 - \eta \left.\right) \mathbf{\mathit{\omega}} $$

然后代入到式$(\text{8})$得

$$ (\text{12}) \mathbf{\mathit{\omega}}_{t} = \left(\right. 1 - \eta \left.\right) \mathbf{\mathit{\omega}}_{t - 1} - \eta \mathbf{\mathit{\phi}}_{t} $$

容易看出，这就是常规的权重衰减（Weight Decay）。换言之，RMS范数下的Pre Decay就是我们常用的权重衰减，它是保持RMS范数（等价地，向量的L2范数或矩阵的F范数）约束下，对原始参数改动最Minimal的Pre Decay方案。

奇异裁剪[#](https://spaces.ac.cn/archives/11729#%E5%A5%87%E5%BC%82%E8%A3%81%E5%89%AA)

现在开始进入到本文的“主节目”——矩阵参数与Muon。这里我们用回记号$\mathbf{\mathit{W}}$，将Muon原本的更新规则写成

$$ (\text{13}) \mathbf{\mathit{W}}_{t} = \mathbf{\mathit{W}}_{t - 1} - \eta \lambda \mathbf{\Phi}_{t} , \mathbf{\Phi}_{t} = \frac{1}{\lambda} \sqrt{\frac{d_{o u t}}{d_{i n}}} \text{msign} ⁡ \left(\right. \mathbf{\mathit{G}}_{t} \left.\right) $$

记$\tau = \frac{1}{\lambda} \sqrt{\frac{d_{o u t}}{d_{i n}}}$，那么有$\parallel \mathbf{\Phi}_{t} \parallel_{2} = \tau$，想让$\mathbf{\mathit{W}}_{t}$满足$\parallel \mathbf{\mathit{W}}_{t} \parallel_{2} \leq \tau$的两种方案是：

$$ (\text{14}) \text{Post Clip}: \mathbf{\mathit{W}}_{t} = \lfloor \mathbf{\mathit{W}}_{t - 1} - \eta \lambda \mathbf{\Phi}_{t} \rfloor_{\parallel \cdot \parallel_{2} \leq \tau} \\ (\text{15}) \text{Pre Decay}: \mathbf{\mathit{W}}_{t} = \lfloor \mathbf{\mathit{W}}_{t - 1} \rfloor_{\parallel \cdot \parallel_{2} \leq \left(\right. 1 - \eta \lambda \left.\right) \parallel \mathbf{\mathit{W}}_{t - 1} \parallel_{2}} - \eta \lambda \mathbf{\Phi}_{t} $$

接下来的任务是要计算$\lfloor \mathbf{\mathit{W}} \rfloor_{\parallel \cdot \parallel_{2} \leq \tau}$，根据RMS和F范数的等价性，它又等于

$$ (\text{16}) \lfloor \mathbf{\mathit{W}} \rfloor_{\parallel \cdot \parallel_{2} \leq \tau} = \underset{\parallel \overset{\sim}{\mathbf{\mathit{W}}} \parallel_{2} \leq \tau}{\text{argmin}} ⁡ \parallel \mathbf{\mathit{W}} - \overset{\sim}{\mathbf{\mathit{W}}} \parallel_{F} $$

这个问题的最优解对部分读者来说应该不陌生，它是我们在《高阶MuP：更简明但更高明的谱条件缩放》提到过的“奇异值裁剪（Singular Value Clipping，SVC）”，在《通过msign来计算奇异值裁剪mclip（上）》和《通过msign来计算奇异值裁剪mclip（下）》中则称之为$\text{mclip}$：

$$ (\text{17}) \lfloor \mathbf{\mathit{W}} \rfloor_{\parallel \cdot \parallel_{2} \leq \tau} = \text{mclip} ⁡ \left(\right. \mathbf{\mathit{W}} ; \tau \left.\right) = \mathbf{\mathit{U}} min \left(\right. \mathbf{\Sigma} , \tau \left.\right) \mathbf{\mathit{V}}^{\top} $$

其中$\mathbf{\mathit{U}} \mathbf{\Sigma} \mathbf{\mathit{V}}^{\top}$是$\mathbf{\mathit{W}}$的SVD，$min \left(\right. \mathbf{\Sigma} , \tau \left.\right)$是将奇异值阶段到不超过$\tau$，证明过程我们下节再演示。有了这个记号，两种方案可以分别写成

$$ (\text{18}) \text{Post Clip}: \mathbf{\mathit{W}}_{t} = \text{mclip} ⁡ \left(\right. \mathbf{\mathit{W}}_{t - 1} - \eta \lambda \mathbf{\Phi}_{t} ; \tau \left.\right) \\ (\text{19}) \text{Pre Decay}: \mathbf{\mathit{W}}_{t} = \text{mclip} ⁡ \left(\right. \mathbf{\mathit{W}}_{t - 1} ; \left(\right. 1 - \eta \lambda \left.\right) \parallel \mathbf{\mathit{W}}_{t - 1} \parallel_{2} \left.\right) - \eta \lambda \mathbf{\Phi}_{t} $$

推导过程[#](https://spaces.ac.cn/archives/11729#%E6%8E%A8%E5%AF%BC%E8%BF%87%E7%A8%8B)

这一节我们来证明结论$(\text{17})$。设$\mathbf{\mathit{W}}$的SVD是$\mathbf{\mathit{U}} \mathbf{\Sigma} \mathbf{\mathit{V}}^{\top}$，其中$\mathbf{\mathit{U}} \in \mathbb{R}^{d_{i n} \times d_{i n}}$、$\mathbf{\Sigma} \in \mathbb{R}^{d_{i n} \times d_{o u t}}$、$\mathbf{\mathit{V}} \in \mathbb{R}^{d_{o u t} \times d_{o u t}}$，那么

$$ (\text{20}) \parallel \mathbf{\mathit{W}} - \overset{\sim}{\mathbf{\mathit{W}}} \parallel_{F} = \parallel \mathbf{\mathit{U}} \mathbf{\Sigma} \mathbf{\mathit{V}}^{\top} - \overset{\sim}{\mathbf{\mathit{W}}} \parallel_{F} = \parallel \mathbf{\mathit{U}} \left(\right. \mathbf{\Sigma} - \mathbf{\mathit{U}}^{\top} \overset{\sim}{\mathbf{\mathit{W}}} \mathbf{\mathit{V}} \left.\right) \mathbf{\mathit{V}}^{\top} \parallel_{F} = \parallel \mathbf{\Sigma} - \mathbf{\mathit{U}}^{\top} \overset{\sim}{\mathbf{\mathit{W}}} \mathbf{\mathit{V}} \parallel_{F} $$

最后一个等号是因为正交矩阵不改变F范数。同时，正交矩阵也不改变谱范数，所以设$\overset{\sim}{\mathbf{\Sigma}} = \mathbf{\mathit{U}}^{\top} \overset{\sim}{\mathbf{\mathit{W}}} \mathbf{\mathit{V}}$，目标$(\text{16})$可以等价地简化成

$$ (\text{21}) \underset{\parallel \overset{\sim}{\mathbf{\Sigma}} \parallel_{2} \leq \tau}{\text{argmin}} ⁡ \parallel \mathbf{\Sigma} - \overset{\sim}{\mathbf{\Sigma}} \parallel_{F} $$

注意，这里的$\mathbf{\Sigma}$是对角阵，设其对角线元素为$\sigma_{1} , \sigma_{2} , \hdots \geq 0$，但$\overset{\sim}{\mathbf{\Sigma}}$暂时是不确定的，证明时要设它为一般矩阵。用分量写法得

$$ (\text{22}) \parallel \mathbf{\Sigma} - \overset{\sim}{\mathbf{\Sigma}} \parallel_{F}^{2} = \underset{i}{\sum} \sigma_{i}^{2} + \underset{i , j}{\sum} \overset{\sim}{\Sigma}_{i , j}^{2} - 2 \underset{i}{\sum} \sigma_{i} \overset{\sim}{\Sigma}_{i , i} \geq \underset{i}{\sum} \sigma_{i}^{2} + \underset{i}{\sum} \left(\right. \overset{\sim}{\Sigma}_{i , i}^{2} - 2 \sigma_{i} \overset{\sim}{\Sigma}_{i , i} \left.\right) $$

逐项来看，$\overset{\sim}{\Sigma}_{i , i}^{2} - 2 \sigma_{i} \overset{\sim}{\Sigma}_{i , i}$只不过是关于$\overset{\sim}{\Sigma}_{i , i}$的一元二次函数，最小值在$\overset{\sim}{\Sigma}_{i , i} = \sigma_{i}$取到。但我们还有约束$\parallel \overset{\sim}{\mathbf{\Sigma}} \parallel_{2} \leq \tau$，由于谱范数大于等于矩阵任意元素的绝对值，所以至少有约束$\overset{\sim}{\Sigma}_{i , i} \leq \tau$，在该约束下，$\overset{\sim}{\Sigma}_{i , i}^{2} - 2 \sigma_{i} \overset{\sim}{\Sigma}_{i , i}$的最小值在$\overset{\sim}{\Sigma}_{i , i}^{*} = min \left(\right. \sigma_{i} , \tau \left.\right)$取到。 考虑到让所有等号同时成立，我们得到$\overset{\sim}{\Sigma}_{i , j}^{*} = 0 \left(\right. i \neq j \left.\right)$，由此可见$\overset{\sim}{\mathbf{\Sigma}}^{*}$也是一个对角阵，它正好可以简写成$\overset{\sim}{\mathbf{\Sigma}}^{*} = min \left(\right. \mathbf{\Sigma} , \tau \left.\right)$，这又对应于$\overset{\sim}{\mathbf{\mathit{W}}}^{*} = \mathbf{\mathit{U}} min \left(\right. \mathbf{\Sigma} , \tau \left.\right) \mathbf{\mathit{V}}^{\top}$，至此结论$(\text{17})$得证。

裁剪主项[#](https://spaces.ac.cn/archives/11729#%E8%A3%81%E5%89%AA%E4%B8%BB%E9%A1%B9)

那么，$\text{mclip}$该如何高效计算呢？每步训练都执行一次SVD显然过于昂贵了。在文章《通过msign来计算奇异值裁剪mclip（上）》和《通过msign来计算奇异值裁剪mclip（下）》中，我们其实系统探讨过这个问题，当时的提法是借助$\text{msign}$来实现，但需要2～3次$\text{msign}$，代价不菲。例如下篇发现的一个恒等式是

$$ (\text{23}) \text{mclip} ⁡ \left(\right. \mathbf{\mathit{W}} ; \tau \left.\right) = \frac{1}{2} \left{\right. \mathbf{\mathit{W}} + \tau \text{msign} ⁡ \left(\right. \mathbf{\mathit{W}} \left.\right) - \left(\right. \tau \mathbf{\mathit{I}} - \mathbf{\mathit{W}} \text{msign} ⁡ \left(\right. \mathbf{\mathit{W}} \left.\right)^{\top} \left.\right) \text{msign} ⁡ \left(\right. \tau \text{msign} ⁡ \left(\right. \mathbf{\mathit{W}} \left.\right) - \mathbf{\mathit{W}} \left.\right) \left.\right} $$

它需要两次$\text{msign}$，由于参数的计算往往是在FP32下进行的，所以执行两次$\text{msign}$还是比较昂贵的，因此还不算特别可行。 这里我们主要考虑在《基于流式幂迭代的Muon实现：5. 延伸》讨论过的逐项裁剪思路。具体来说，$\text{mclip}$是将所有大于$\tau$的奇异值都变成$\tau$，那么必要的操作是将主奇异值变成$\tau$（如果它大于$\tau$），裁剪掉主奇异值后，如果还存在大于$\tau$的奇异值，那么其中的最大者就会变成新的主奇异值。所以，只要反复“裁剪主奇异值到$\tau$”，就可以实现$\text{mclip}$。

由于主奇异值和主奇异向量可以通过幂迭代高效求出（记为$\text{SVD1}$），所以主奇异值裁剪可以认为是高效的。进一步，我们假设训练足够平缓，每一步可以只执行一次主奇异值裁剪，这样也能近似地实现同样的效果。基于这个策略，两种限制奇异值的方案可以进一步写成

$$ (\text{24}) \text{Post Clip}: \mathbf{\mathit{W}}_{t} = \overset{\sim}{\mathbf{\mathit{W}}}_{t} - max \left(\right. \sigma_{1} - \tau , 0 \left.\right) \mathbf{\mathit{u}}_{1} \mathbf{\mathit{v}}_{1}^{\top} , \sigma_{1} , \mathbf{\mathit{u}}_{1} , \mathbf{\mathit{v}}_{1} = \text{SVD1} ⁡ \left(\right. \overset{\sim}{\mathbf{\mathit{W}}}_{t} \left.\right) , \overset{\sim}{\mathbf{\mathit{W}}}_{t} = \mathbf{\mathit{W}}_{t - 1} - \eta \mathbf{\Phi}_{t} \\ (\text{25}) \text{Pre Decay}: \mathbf{\mathit{W}}_{t} = \mathbf{\mathit{W}}_{t - 1} - \lambda \eta \sigma_{1} \mathbf{\mathit{u}}_{1} \mathbf{\mathit{v}}_{1}^{\top} - \eta \mathbf{\Phi}_{t} , \sigma_{1} , \mathbf{\mathit{u}}_{1} , \mathbf{\mathit{v}}_{1} = \text{SVD1} ⁡ \left(\right. \mathbf{\mathit{W}}_{t - 1} \left.\right) $$

其中“Pre Decay”版，正是《从谱范数梯度到新式权重衰减的思考》引入的谱权重衰减，时隔一年多，我们从另一条途径得到了相同的结果；至于“Post Clip”版，@_arohan_ 曾在X上提过，当时称为“Wion”。实践中，由于每步只裁剪一个奇异值，所以可能会存在一些比较“上进”的矩阵，其谱范数明显偏离设定的阈值，这是正常的，在LR Decay阶段会慢慢降下来。

其他细节[#](https://spaces.ac.cn/archives/11729#%E5%85%B6%E4%BB%96%E7%BB%86%E8%8A%82)

如果想要裁剪得更精准，我们也可以用幂迭代同时求Top-$k$个奇异值和奇异向量，每步至多裁剪$k$个奇异值，代价是幂迭代的L2 Normalize要换成QR分解，而QR分解也有一些加速手段，相关原理可以参考流式幂迭代系列文章，如《基于流式幂迭代的Muon实现：1. 初识》。

除了线性层矩阵的谱范数外，在《MuP之上：3. 特殊情况特殊处理》中我们遇到了另外一些层的不同范数，比如Embedding、LM Head分别对应最大行、列RMS，而RMS Norm层的gamma参数，对应的是最大绝对值，也称为向量的无穷范数。

幸运的是，这些范数下的裁剪算子$\lfloor \mathbf{\mathit{\omega}} \rfloor_{\parallel \cdot \parallel \leq \tau}$都比较好算。比如Embedding层的范数是行RMS的最大者，裁剪算子就是将每行向量的RMS都裁剪到不超过$\tau$；LM Head同理，只不过行换成列；至于gamma参数就更简单了，直接就是主项裁剪$\text{clip} ⁡ \left(\right. \mathbf{\mathit{\gamma}} ; - \tau , \tau \left.\right) = max \left(\right. min \left(\right. \mathbf{\mathit{\gamma}} , \tau \left.\right) , - \tau \left.\right)$。

这些结论都很直观，而且证明也比较简单，我们就不展开了，权当是留给读者的练习题。

必要保证[#](https://spaces.ac.cn/archives/11729#%E5%BF%85%E8%A6%81%E4%BF%9D%E8%AF%81)

可能有读者疑问，非要做得这么复杂吗？直接像《Training Deep Learning Models with Norm-Constrained LMOs》那样用普通的权重衰减不行吗？比如

$$ (\text{26}) \mathbf{\mathit{W}}_{t} = \left(\right. 1 - \eta \lambda \left.\right) \mathbf{\mathit{W}}_{t - 1} - \eta \sqrt{\frac{d_{o u t}}{d_{i n}}} \text{msign} ⁡ \left(\right. \mathbf{\mathit{G}}_{t} \left.\right) $$

同样也可以将谱范数限制成$\tau = \frac{1}{\lambda} \sqrt{\frac{d_{o u t}}{d_{i n}}}$内，为什么不用这种简单的形式呢？ 答案是：避免过度干预。从定义$(\text{6})$可以看成，我们定义的裁剪算子是在实现同样效果的前提下对原始参数改动最小的操作，对于谱范数来说，直接乘以$1 - \eta \lambda$虽然也能将$\mathbf{\mathit{W}}_{t - 1}$的谱范数变得不超过$\left(\right. 1 - \eta \lambda \left.\right) \parallel \mathbf{\mathit{W}}_{t - 1} \parallel_{2}$，但它既然不同于最小改动的$\text{mclip}$，那么它必然存在某种程度上的“过度干预”。

过度干预的后果有两种：要不为了保证效果，选取较小的$\lambda$，此时$\tau$过大，即无法保证谱范数载我们期望的范围内；要不为了保证控制谱范数，选取较大的$\lambda$，但这样就会明显降低效果。比如$d_{i n} = d_{o u t}$的情况下希望谱范数不超过$5$，那么根据公式$\lambda = 0.2$，对于式$(\text{26})$的Muon，0.2的权重衰减系数是极大的（一般数值是0.01左右）。

注意我们多次强调“保证”，这是很关键的。假设我们用权重衰减，系数设为0.01，理论上谱范数最多能达到100，但在小模型上做实验发现可能5都不到，这是很常见的。然而，小模型安全不代表大模型安全，之前我们就说过，大模型很强，强到可以放大任何细微的Bug，如果理论上界是100，小模型没机会达到，但大模型真的是可能达到的。

所以，让参数的关键范数在理论上保持有一个合理的界是非常必要的，这也是“稳中求快”原则中“稳”的体现。而式$(\text{6})$定义的裁剪算子，则是保证有界的最“轻量”运算，换言之它可能是在保证同样界限的前提下对效果损失最小的操作。

文章小结[#](https://spaces.ac.cn/archives/11729#%E6%96%87%E7%AB%A0%E5%B0%8F%E7%BB%93)

本文基于最小改动思想，提出了在训练过程中维持参数稳定性的一般框架，包含Post Clip与Pre Decay两种方案。在谱范数下，它们进一步可以演化成奇异值裁剪与谱权重衰减。这些操作旨在保证参数关键范数有界的同时，尽可能降低对训练动力学的干预。

_转载到请包括本文地址：[https://spaces.ac.cn/archives/11729](https://spaces.ac.cn/archives/11729 "MuP之上：4. 坚守参数的稳定性")_

_更详细的转载事宜请参考：_[《科学空间FAQ》](https://spaces.ac.cn/archives/6508#%E6%96%87%E7%AB%A0%E5%A6%82%E4%BD%95%E8%BD%AC%E8%BD%BD/%E5%BC%95%E7%94%A8 "《科学空间FAQ》")