自监督学习

是什么

自监督学习（self-supervised learning，SSL）是一类从数据本身构造代理目标、再用该目标训练模型或表示的方法。综述将其共同点概括为无需逐条人工任务标签而从数据结构构造监督信号。[1, §§I–III] BERT的掩码语言模型选择部分token位置作目标，并从整个变换后序列预测其原token；选中位置按80/10/10分别替换为[MASK]、随机token或保留原token，因此不能简化成只看“未遮住上下文”。[2, §3.1; Appendix A.2]

为何出现

逐条人工标签昂贵，而文本、图像和声音的不同部分或变换视图可彼此提供训练信号，自监督因而可利用大量未人工标注数据预训练。

如何工作

系统先按人为规则掩码、裁剪或配对样本，再以恢复或对比损失更新编码器；之后用冻结探测或微调，在独立下游任务上检验迁移。

能做什么与不能做什么

它能减少某些下游任务从零训练和人工标注的需求；不能保证代理目标学到部署所需能力，也不会自动消除数据偏见、隐私或版权问题。它有明确监督信号，只是目标不是逐条人工给出。广义口径常把它归入无监督学习；本书为凸显这种自动构造目标的机制而将其单列。

在本书中

见第11章的掩码学习与BERT案例。