对比学习

是什么

对比学习（contrastive learning）是通过比较样本对或视图，使指定正对的表示相近、负对相对远离的一类表示学习方法。SimCLR把同一图像的两种增强视作正对，并使用批内其他视图作候选负例。[1, §§2–3 and Figure 2]

为何出现

不依赖人工类别标签时，数据增强和配对规则仍可提供“哪些表示应一致”的信号，用于预训练可迁移编码器。

如何工作

系统生成相关视图，经共享编码器和投影头得到向量，再用温度缩放的对比损失提高正对相似度相对于其他候选的比例；随后冻结或微调编码器做下游评价。

能做什么与不能做什么

它能学习对所选增强较稳定的表示；不能保证正负构造符合真实语义。过强增强会删掉任务信息，假负例会推远相似对象，批次与采样也会改变结果。它常用于自监督，但也可使用标签定义正对，因而两者不是同义词。

在本书中

见第11章对比损失及其条件。