批量梯度下降使用整个训练集计算梯度，计算量大但稳定性好；而随机梯度下降每次只使用一个样本，小批量则使用一个小样本集合。