Transformer 01 - Casual Mask
讨论限定:
autoregressive Transformer (自回归) Transformer
这一段我自己开始不知道, gpt对话之后给我加上.
希望模型只通过之前的信息预测下一个token, 再把生成的token接到序列后, 并且继续预测下一个token, 就是autoregressive Transformer
| 已有内容 | 接下来预测 |
|---|---|
I |
love |
I love |
pineapple |
I love pineapple |
and |
I love pineapple and |
apples |
Given previous context
Predict next token
————————
Causal Mask 的出现在于 [transformer 训练时] (动机), 希望不要通过输入还没有得到的未来信息给模型, 使其“作弊”提前获得答案, 比如 I love pineapple and apples. 在预测 pineapple的时候, 输入的信息是 I love 的信息, 而不包括 and apples的信息. (例子)
Causal Mask是一个作用在[Score Matrix] (对象)的[矩阵] (类型), 在lean上可以把他看成是一个 这样的映射. 它的目的是消除输入 从给定index [i] 开始的未来信息. 所以给定当前index,
Casual Mask是确定的. 那么我们考虑它如何消除未来信息, 就要考虑它的输入输出, 输入如上, 那么输出是因为下一步是softmax. 我们只需要让后面使用未来信息的人, 感觉不到未来信息, 从这个角度(根据下游任务构造和上游使用场景)去构造. 所以构造方式就是, 将不需要的项, 给一个负无穷, 并且将它加到对应的位置.
S=QK⊤/dk
- 行 ii:谁在查询、读取信息。
- 列 jj:读取谁的信息。
- 元素 SijS_{ij}:位置 ii 对位置 jj 的注意力分数。
| 当前查询位置 ↓ / 被读取位置 → | 第 1 列:I | 第 2 列:love | 第 3 列:pineapple |
|---|---|---|---|
| 第 1 行:I | S_{11} | −∞ | −∞ |
| 第 2 行:love | S21S_{21} | S22S_{22} | −∞ |
| 第 3 行:pineapple | S31S_{31} | S32S_{32} | S33S_{33} |
S=dkQK⊤∈Rn×n
其中 SijS_{ij} 是位置 ii 对位置 jj 的注意力分数。我们定义掩码矩阵:
Mij={0,j≤i−∞,j>iM_{ij}= \begin{cases} 0,&j\le i\ -\infty,&j>i \end{cases}
再定义施加掩码的操作:
TM(S)=S+M
TM:Rn×n⟶(R∪{−∞})n×n
所以,MM 是矩阵,TMT_M 才是作用于矩阵的映射。固定序列长度和位置顺序后,整个标准因果掩码就确定了,无须另外指定一个全局的“当前 ii”;每一行都有自己的截止位置。
Aij=⎩⎨⎧∑k=1iexp(Sik)exp(Sij),0,j≤ij>i
这个合并操作才可以写成 Rn×n→Rn×n
掩码阻断的是这些位置之间的注意力连接。如果上游已经把未来信息混入了过去位置的表示,仅屏蔽当前层的未来列无法消除它,所以标准自回归模型需要在每一层维持因果约束。