嵌入

是什么

嵌入（embedding）是把离散对象或高维对象映射到连续向量空间的一种表示。词、句子、用户或图像都可由编码器得到固定或上下文相关向量。[1, §§I–II and IV]

为何出现

许多算法需要数值输入，而对象ID、token或复杂媒体本身没有可直接用于学习的连续坐标；嵌入让模型学习可供比较和预测的表示。

如何工作

编码器或向量表由监督、掩码、重构或对比损失训练；下游系统再用点积、余弦、距离或另一模型读取向量。

能做什么与不能做什么

嵌入可支持检索、分类和迁移；不能保证几何距离符合人类全部语义，也不保证不同训练运行的坐标轴对齐。嵌入是表示产物，降维则是减少坐标的过程，二者可能重叠但不等同。

在本书中

见第11章：从坐标到表示。