注意力机制

是什么

注意力（attention）用查询$Q$与键$K$计算匹配，再以行归一化权重汇聚值$V$。若$Q,K\in\mathbb R^{n\times d_k}$、$V\in\mathbb R^{n\times d_v}$，则

$\operatorname{softmax}_{\rm row}(QK^{\mathsf T}/\sqrt{d_k})V\in\mathbb R^{n\times d_v}.$

$QK^{\mathsf T}$为$n\times n$；缩放用于控制点积随$d_k$增长的尺度。[1, §3.2, eq. (1)]

边界

掩码决定可访问位置。权重反映这一运算怎样混合值，不自动等于人类注意、因果贡献或事实来源。Transformer包含多头注意力，也包含位置表示、前馈层、残差与归一化，所以二者不是同义词。

在本书中

见第14章14.6。本页为编辑初稿，独立事实复核待完成。