优化器

是什么

把当前梯度、学习率和可选历史状态转换成参数更新的算法。 [1]

为何出现

深网目标高维且通常非凸，需要在有限计算预算内逐步寻找低损失参数。

如何工作

普通SGD沿负批梯度更新；动量累计方向；Adam用梯度矩估计按坐标缩放。

能做什么与不能做什么

可改变收敛速度、稳定性与所得解；不能修复错误目标、泄漏数据或保证训练损失低就能部署。

在本书中

见第12章学习率、初始化、优化与正则化。