QiuQiu

Transformer 01 - Casual Mask

讨论限定:

autoregressive Transformer (自回归) Transformer

这一段我自己开始不知道, gpt对话之后给我加上.

希望模型只通过之前的信息预测下一个token, 再把生成的token接到序列后, 并且继续预测下一个token, 就是autoregressive Transformer

已有内容 接下来预测
I love
I love pineapple
I love pineapple and
I love pineapple and apples

Given previous context

Predict next token

————————

Causal Mask 的出现在于 [transformer 训练时] (动机), 希望不要通过输入还没有得到的未来信息给模型, 使其“作弊”提前获得答案, 比如 I love pineapple and apples. 在预测 pineapple的时候, 输入的信息是 I love 的信息, 而不包括 and apples的信息. (例子)

Causal Mask是一个作用在[Score Matrix] (对象)的[矩阵] (类型), 在lean上可以把他看成是一个 Rn×m→Rn×mR^{n\times m} \rightarrow R^{n\times m}这样的映射. 它的目的是消除输入 Rn×mR^{n\times m} 从给定index [i] 开始的未来信息. 所以给定当前index,

Casual Mask是确定的. 那么我们考虑它如何消除未来信息, 就要考虑它的输入输出, 输入如上, 那么输出是因为下一步是softmax. 我们只需要让后面使用未来信息的人, 感觉不到未来信息, 从这个角度(根据下游任务构造和上游使用场景)去构造. 所以构造方式就是, 将不需要的项, 给一个负无穷, 并且将它加到对应的位置.

S=QK⊤/dk​

当前查询位置 ↓ / 被读取位置 → 第 1 列:I 第 2 列:love 第 3 列:pineapple
第 1 行:I S_{11} −∞ −∞
第 2 行:love S21S_{21} S22S_{22} −∞
第 3 行:pineapple S31S_{31} S32S_{32} S33S_{33}

S=dk​​QK⊤​∈Rn×n

其中 SijS_{ij} 是位置 ii 对位置 jj 的注意力分数。我们定义掩码矩阵:

Mij={0,j≤i−∞,j>iM_{ij}= \begin{cases} 0,&j\le i\ -\infty,&j>i \end{cases}

再定义施加掩码的操作:

TM​(S)=S+M

TM​:Rn×n⟶(R∪{−∞})n×n

所以,MM 是矩阵,TMT_M 才是作用于矩阵的映射。固定序列长度和位置顺序后,整个标准因果掩码就确定了,无须另外指定一个全局的“当前 ii”;每一行都有自己的截止位置。

Aij​=⎩⎨⎧​∑k=1i​exp(Sik​)exp(Sij​)​,0,​j≤ij>i​

这个合并操作才可以写成 Rn×n→Rn×n

掩码阻断的是这些位置之间的注意力连接。如果上游已经把未来信息混入了过去位置的表示,仅屏蔽当前层的未来列无法消除它,所以标准自回归模型需要在每一层维持因果约束。