A super long overdue (3+ years?) post on scaling laws. Compute is expensive. Scaling laws are a way...
Lilian Weng(@lilianweng)185 字 (约 1 分钟)
85
扩展定律是深度学习中最重要的实证发现之一，它帮助我们预测模型规模和数据量对训练损失的影响。
入选理由：扩展定律表明，随着模型规模和数据量的增加，训练损失会以可预测的方式下降。
精选推文#深度学习#扩展定律#模型优化#计算资源英文