反向传播

是什么

从标量损失出发，对计算图逐节点应用链式法则以计算参数梯度。 [1]

为何出现

多层复合函数直接逐参数重算代价高；复用中间局部导数可高效求全部梯度。

如何工作

反向遍历节点，把上游梯度乘局部导数；参数被多路径使用时将贡献求和。

能做什么与不能做什么

能计算给定可微或分段可微计算的梯度；它本身不选择学习率、不执行更新，也不保证泛化或全局最优。

在本书中

见第12章逐节点链式法则。