损失函数

简明解释

损失函数（loss function）把预测与目标之间某种不合意程度编码为数值，让训练算法比较参数。梯度下降据损失在当前位置的变化方向调整参数。[1, Gradient descent] 例如平方误差会更重地惩罚大的数值偏差。损失是设计者选定的代理目标：训练损失低不自动表示测试表现好、公平、因果正确或现实代价低。

别和什么混淆

损失、代价和目标函数在不同教材里边界不同：有时分别指单样本误差、聚合误差和含正则项的优化目标，阅读时应以作者定义为准。

在本书中

见第 4 章：读懂 AI 所需的计算、数据与数学直觉。