核心概念

正则化

训练时加入偏好、约束或代价,以限制模型对训练细节敏感度的一类方法。

简明解释

正则化(regularization)是训练时加入偏好、约束或代价,以限制模型对训练细节敏感度的一类方法。 限制过大的参数可降低模型对噪声的敏感度;强度太大也会欠拟合,因此应在验证流程中选择。[1, Chapter 13]

别和什么混淆

正则化不等于特征归一化或数据清洗。它通过约束或代价改变训练偏好;强度过小可能无效,过大则可能欠拟合,不能说“越强越好”。

在本书中

第9章:机器学习的基本逻辑

本页参考来源

  1. Shalev-Shwartz S, Ben-David S. Understanding Machine Learning — From Theory to Algorithms [M]. Cambridge University Press, 2014. 定位:Chapter 13. 稳定来源(访问 )。

相关概念