矩阵参数的奇异值熵越高越好吗?
科学空间3839 字 (约 16 分钟)
92
奇异值熵并非越高越好;通过几何建模与平均场近似,发现最优熵值约为 log(n) - 1(n为矩阵维度),对应有效秩约 e·n,该值在自由度与表达能力间取得平衡。
入选理由:奇异值熵最大值为 log(n),但最优值约为 log(n) - 1,对应有效秩 ≈ e·n(e≈2.718)
精选文章#奇异值熵#有效秩#矩阵分解#信息论#深度学习优化中文
概念
参数为1的指数分布,用于生成单纯形上的均匀随机概率分布。
已收录 1 条与 Exp(1) 相关的内容,按评分排序。
奇异值熵并非越高越好;通过几何建模与平均场近似,发现最优熵值约为 log(n) - 1(n为矩阵维度),对应有效秩约 e·n,该值在自由度与表达能力间取得平衡。
入选理由:奇异值熵最大值为 log(n),但最优值约为 log(n) - 1,对应有效秩 ≈ e·n(e≈2.718)