核心概念
正则化
训练时加入偏好、约束或代价,以限制模型对训练细节敏感度的一类方法。
规则化 regularisation
简明解释
正则化(regularization)是训练时加入偏好、约束或代价,以限制模型对训练细节敏感度的一类方法。 限制过大的参数可降低模型对噪声的敏感度;强度太大也会欠拟合,因此应在验证流程中选择。[1, Chapter 13]
别和什么混淆
正则化不等于特征归一化或数据清洗。它通过约束或代价改变训练偏好;强度过小可能无效,过大则可能欠拟合,不能说“越强越好”。
在本书中
本页参考来源
- Shalev-Shwartz S, Ben-David S. Understanding Machine Learning — From Theory to Algorithms [M]. Cambridge University Press, 2014. 定位:Chapter 13. 稳定来源(访问 )。