概率校准

简明解释

概率校准（probability calibration）要求给出约0.2预测的一批可比样本中，正类经验频率也约为20%。校准曲线常按预测值分箱比较预测均值与正类比例；有限样本、分箱和分布变化都会影响判断。校准器应在未用于拟合基础模型的数据上训练。[1, §1.16, especially §1.16.1]

别和什么混淆

排序好不等于概率准：严格递增变换可保持ROC AUC，却改变概率数值；概率准也不保证某个阈值的决策代价最小。

在本书中

见第10章：监督学习。