什么是 Stochastic Gradient Descent？

梯度下降演变为随机梯度下降（SGD）的核心动因是：当数据规模增大时，传统批量梯度下降（BGD）计算成本过高，而SGD通过每次仅用单个样本或小批量更新参数，显著降低计算开销并引入噪声扰动，反而有助于跳出局部极小值；文章以线性回归为例，从MSE损失函数推导出解析解，并自然引出梯度下降的必要性。