激活函数

是什么

对层的预激活值进行变换的函数，如ReLU、sigmoid或tanh。 [1]

为何出现

若各层只有仄射变换，多层复合仍等价于一个仄射变换；非线性扩大可表示函数。

如何工作

ReLU逐项取 $\max(0,z)$；sigmoid把标量映射到$(0,1)$。反向传播需要其导数或次梯度约定。

能做什么与不能做什么

能改变表达与优化性质；不存在脱离任务、初始化和数值条件而始终最佳的激活，也不是生物放电的等价模型。

在本书中

见第12章激活函数。