小批量

是什么

一次前向、损失聚合和梯度估计共同使用的一组样本；batch有时泛指小批量。 [1]

为何出现

逐样本更新噪声大，全数据更新又昂贵；小批量在计算并行、内存和梯度噪声间折中。

如何工作

批内损失常取平均，再由优化器做一次step；尾批、梯度累积和多设备会改变表面批量口径。

能做什么与不能做什么

能提高硬件利用率并控制梯度估计；批量更大不自动更准确，且需报告有效批量与采样规则。

在本书中

见第12章batch、epoch与step区分。