矩阵参数的奇异值熵越高越好吗？
科学空间3839 字 (约 16 分钟)
92
奇异值熵并非越高越好；通过几何建模与平均场近似，发现最优熵值约为 log(n) - 1（n为矩阵维度），对应有效秩约 e·n，该值在自由度与表达能力间取得平衡。
入选理由：奇异值熵最大值为 log(n)，但最优值约为 log(n) - 1，对应有效秩 ≈ e·n（e≈2.718）
精选文章#奇异值熵#有效秩#矩阵分解#信息论#深度学习优化中文
产品
什么是 Adam？
主流自适应优化器，文中作为低熵训练基线对比。
📰 Adam 最新动态
已收录 1 篇与「Adam」相关的 AI 资讯和分析。
🔗 相关术语
与「Adam」经常一起出现的 AI 术语。
💡 想追踪「Adam」的长期趋势？去 实体雷达 · Adam 查看详细分析和跨材料问答。