Rope 精读
我理解到的直觉:
- 信息要进入Q, K (V?) 矩阵里
explain: 如果位置信息要影响“当前 token 应该读取哪个 token”，它必须影响 Q/K 产生的匹配分数, V 是被读取的内容, 不一定要直接旋转
信息分类
a. 内容信息 - 这个token 表达什么
b. 位置信息 - 它位于哪里, 与另一个token相隔多远
S=QK^\top
$$
A=\operatorname{softmax}(S)
$$
O=AV
$$
- Q/K 决定“读谁”；
- (S) 是匹配分数；
- (A) 是读取权重；
- V 是“读到什么内容”
因此，如果希望位置改变“读谁”，最直接的地方就是 Q/K：
$$
\tilde Q\tilde K^\top
$$
RoPE 不旋转 V，因为位置已经通过 Q/K 改变了读取权重：
$$
O_{m}
\sum_n A_{m,n}V_n
$$
位置决定从哪个 (V_n) 读取多少，但被搬运的内容本身不必再旋转。
不过还有一个细节：在深层 Transformer 中，V 的输入 hidden state 已经经过前面的 Attention 层，因此可能间接含有位置信息。
所谓“RoPE 不作用于 V”，只是说当前层不对 V 额外施加 RoPE 旋转。
### 2.相对位置重要, 绝对位置没那么重要? (猜的)
这可以作为一种语言建模直觉，但不能说成普遍事实。
例如：
猫 吃 鱼
假设它出现在位置：
10 11 12
或者：
100 101 102
“吃”与“猫”之间的语法关系通常没有因为整个短语向后移动 90 个位置而改变：
$$
10-11=-1
$$
$$
100-101=-1
$$
两组绝对位置不同，但相对关系相同。
因此，对“吃应该关注前一个位置的猫”来说，重要的通常是：
$$
m-n=-1
$$
而不是“猫恰好在第 10 个位置”。
但绝对位置并非完全不重要。例如：
- 第一个 token 可能是 BOS；
- 文档开头可能是标题；
- 序列边界会改变可访问内容；
- causal mask 区分过去和未来；
- 某些任务确实依赖段落或页面中的绝对位置。
所以 RoPE 的主张不是：
> 绝对位置没有用。
而是：
> 对 Q/K 的两两匹配来说，采用“相对位移决定位置效应”通常是一种合适的归纳偏置。
“归纳偏置”在这里就是：我们预先规定模型应该优先用怎样的结构理解位置。
读论文的人关注到但是我没关注到的点
1. 为什么会区分绝对位置和相对位置
这个是建模问题,
根本原因是：
> “一个 token 在哪里”与“两个 token 之间是什么位置关系”是两个不同的问题。
**## 绝对位置回答“我在哪里”**
假设序列是：
位置： 0 1 2 3
token：我 很 喜欢 苹果
“喜欢”的绝对位置是：
$$
m=2
$$
绝对位置以整个序列的起点为参照：
这是第几个 token？
类似于地址：
某人住在 102 号。
———
**## 相对位置回答“另一个 token 在我的哪里”**
“喜欢”在位置 2，“我”在位置 0：
$$
n-m=0-2=-2
$$
表示“我”位于“喜欢”前面两个位置。
相对位置回答的是：
另一个 token 在我前面还是后面？
相隔几个位置？
类似于：
另一个人住在我左边两户。
所以：
- 绝对位置：102 号；
- 相对位置：左边两户。
这是两种不同的信息。
———
**## 为什么不能只把它们都叫“位置”？**
看两组位置：
$$
(m,n)=(2,5)
$$
和：
$$
(m,n)=(102,105)
$$
绝对位置不同：
2、5
102、105
但相对位置相同：
$$
5-2=3
$$
$$
105-102=3
$$
也就是说，这两个位置对都表达：
> Key 在 Query 后面三个位置。
如果不区分绝对位置和相对位置，就无法讨论下面这个关键问题：
> 模型应该把 (2,5) 和 (102,105) 看成相同的位置关系，还是不同的位置关系？
这正是论文关注的设计选择。
———
**## 为什么语言模型通常特别关心相对位置？**
语言中的很多关系可以在不同绝对位置重复出现。
例如：
我 喜欢 苹果
可能出现在序列开头：
位置 0、1、2
也可能出现在一篇长文中间：
位置 100、101、102
“喜欢”与“苹果”的关系并没有因为整句话出现在第 100 个位置而完全改变：
苹果在“喜欢”后面一个位置
两种情况下都是：
$$
n-m=1
$$
如果模型主要依赖绝对位置，它可能需要分别学习：
位置 1 如何关注位置 2
位置 101 如何关注位置 102
位置 1001 如何关注位置 1002
如果模型能直接使用相对位置，它可以复用一个关系：
关注后面一个位置
因此相对位置提供了一种很有价值的归纳偏置：
> 相同的局部结构可以出现在序列中的不同地方。
———
**## 但绝对位置是不是没用？**
不是。
有些信息确实依赖绝对位置：
- 第一个 token 可能是 BOS；
- 文档开头可能是标题；
- 最后一个 token 靠近序列边界；
- 某些表格、图像或页面区域具有固定含义；
- “第一个步骤”与“最后一个步骤”可能不同。
所以不是：
相对位置重要
绝对位置不重要
而是：
绝对位置回答“在哪里”
相对位置回答“彼此怎么排列”
不同任务需要的比例不同
———
**## 为什么 Attention 更自然地关心相对位置？**
因为 Attention score 本来就在描述两个 token 之间的关系：
$$
S_{m,n}=q_m^\top k_n
$$
这个单元格不是只描述位置 (m)，也不是只描述位置 (n)。
它描述的是：
> 位置 (m) 的 Query 与位置 (n) 的 Key 有多匹配？
既然它是一个两两关系，位置部分最自然的问题就是：
Key 相对于 Query 在哪里？
也就是：
$$
n-m
$$
因此论文希望：
$$
S_{m,n}=g(q_m,k_n,n-m)
$$
注意，这不是说分数只包含相对位置。分数还包含内容：
$$
q_m,\quad k_n
$$
准确说是：
> Attention score 中的位置影响，通过相对位置 (n-m) 表达。
———
**## 绝对位置编码和相对位置编码的真正区别**
**_### 绝对位置编码_**
先告诉每个 token：
你在位置 2
你在位置 5
然后让模型自己从两个绝对位置中学出：
5 - 2 = 3
抽象地说：
$$
x_m+p_m
$$
每个 token 获得自己的坐标。
**_### 相对位置编码_**
直接告诉一对 token：
Key 在 Query 后面三个位置
也就是直接让 Attention score 使用：
$$
n-m
$$
**_### RoPE_**
RoPE 很巧妙地站在两者中间：
1. 分别使用绝对 position id (m,n) 旋转 Q、K；
2. 不直接计算或查表 (n-m)；
3. 点积时，公共的绝对位置部分自动抵消；
4. 最后的位置影响只通过 (n-m) 出现。
即：
$$
R_m^\top R_n=R_{n-m}
$$
所以苏剑林所说的：
> “通过绝对位置编码的方式实现相对位置编码”
具体就是：
单个向量的变换使用 m、n
↓
两个向量比较时只出现 n-m
**## 为什么 shift 能区分二者**
现在就能看到 shift 测试的真正作用了。
从：
$$
(m,n)=(2,5)
$$
共同 shift 100：
$$
(m,n)=(102,105)
$$
- 绝对位置改变了；
- 相对位置没有改变。
因此：
- 如果 score 改变，说明它还依赖绝对位置；
- 如果 score 不变，说明位置部分只依赖相对位置。
所以共同 shift 是一个“鉴别实验”：
$$
\boxed{
\text{改变绝对位置，同时保持相对位置不变}
}
$$
然后观察分数是否变化。
最终一句话：
> 之所以区分绝对位置和相对位置，是因为两个 token 可以出现在完全不同的序列坐标上，却保持相同的排列关系；Attention 是两
> 两匹配机制，因此我们需要决定它应该依赖“这两个 token 分别在哪里”，还是依赖“它们彼此相隔多远、方向如何”。RoPE 选择让
> Q/K 各自使用绝对坐标旋转，但让点积中的位置效应
1. 点积的结果带有相对位置信息 (“我们希望的内积的结果带有相对位置信息” -- su, 然后提出同一个恒等关系)
2. “If we shift both the query and key by the same amount … the dot product will also remain unchanged.” 它change 不change 有什么区别呢, 这里为什么要考虑shift, 这个跟那个m-n是有关系的
> 假设序列位置 (m) 的 token 产生 Query 向量 (q_m)，位置 (n) 的 token 产生 Key 向量 (k_n)。如果把它们的位置编号同时增加
> (c)，变成 (m+c,n+c)，那么经过 RoPE 后的点积不变。
这里 shift 的是两个 token 的位置编号，不是把整个 Q、K 矩阵在内存里移动。
**## 为什么同时 shift？**
原来两个 token 位于：
$$
m,\qquad n
$$
同时向后移动 (c)：
$$
m\rightarrow m+c
$$
$$
n\rightarrow n+c
$$
移动后，它们的绝对位置变了，但相对位置没变：
$$
(n+c)-(m+c)=n-m
$$
例如：
Query token 的位置：10
Key token 的位置：7
相对位置：7 - 10 = -3
整体向后移动 100：
Query token 的位置：110
Key token 的位置：107
相对位置：107 - 110 = -3
绝对位置不同，但 Key 仍然在 Query 前面三个位置。
这就是为什么要考虑共同 shift：它是一种检测方法，用来判断 Attention score 究竟依赖绝对位置，还是只依赖相对位置。
**## 不 change 表示什么？**
RoPE 后的点积为：
$$
S_{m,n}
(R_mq_m)^\top(R_nk_n)
$$
同时 shift 后：
$$
S_{m+c,n+c}
(R_{m+c}q_m)^\top(R_{n+c}k_n)
$$
展开：
$$
\begin{aligned}
S_{m+c,n+c}
&=q_m^\top R_{m+c}^\top R_{n+c}k_n\
&=q_m^\top R_{-(m+c)}R_{n+c}k_n\
&=q_m^\top R_{n-m}k_n
\end{aligned}
$$
原来的分数也是：
$$
S_{m,n}=q_m^\top R_{n-m}k_n
$$
所以：
$$
\boxed{
S_{m+c,n+c}=S_{m,n}
}
$$
这表示：
> 在 Q/K 内容保持相同的前提下，只要两个 token 的相对距离相同，RoPE 的位置部分就不会因为它们整体出现在不同位置而改变匹
> 配分数。
例如模型学会了：
一个 Query 应该关注前面一个位置的 Key
那么这个关系可以出现在：
位置 10 关注位置 9
位置 100 关注位置 99
位置 1000 关注位置 999
RoPE 都把它们表示成：
$$
n-m=-1
$$
模型不需要分别学习三个不同的绝对位置组合。
**## 如果点积 change，表示什么？**
如果：
$$
S_{m+c,n+c}\ne S_{m,n}
$$
那么即使：
- Query 内容相同；
- Key 内容相同；
- 二者距离相同；
仅仅因为它们整体出现在序列的另一个地方，匹配分数就改变了。
这表示分数仍然依赖绝对位置。
例如：
$$
S_{10,9}\ne S_{100,99}
$$
模型可能认为：
位置 10 关注前一个位置
与：
位置 100 关注前一个位置
是两种不同的位置关系。
这不一定永远是坏事——标题、文档开头、结尾等场景可能确实需要绝对位置。但 RoPE 选择的归纳偏置是：
> 对 token 之间的 Q/K 匹配而言，相对距离通常比整个关系发生在序列的哪个绝对位置更值得直接编码。
**## 它与 (m-n) 是什么关系？**
二者几乎是同一个性质。
如果分数只依赖相对位置：
$$
S_{m,n}=g(q_m,k_n,n-m)
$$
那么共同 shift 后：
$$
\begin{aligned}
S_{m+c,n+c}
&=g(q_m,k_n,(n+c)-(m+c))\
&=g(q_m,k_n,n-m)\
&=S_{m,n}
\end{aligned}
$$
反过来，如果对任意 (c) 都满足：
$$
S_{m+c,n+c}=S_{m,n}
$$
选择：
$$
c=-m
$$
就得到：
$$
\begin{aligned}
S_{m,n}
&=S_{0,n-m}\
&=g(q_m,k_n,n-m)
\end{aligned}
$$
因此：
$$
\boxed{
\text{共同 shift 后不变}
\quad\Longleftrightarrow\quad
\text{位置依赖只通过 }n-m\text{ 出现}
}
$$
**## 如果只 shift 一个，会怎样？**
假设只移动 Key：
$$
n\rightarrow n+c
$$
相对位置就变成：
$$
(n+c)-m=(n-m)+c
$$
此时点积可以改变：
$$
S_{m,n+c}
q_m^\top R_{n-m+c}k_n
$$
这正是我们希望的：
- 两者一起移动：相对关系没变，位置效应不变；
- 只移动一个：相对关系变了，位置效应可以改变。
最后需要保留一个边界：这里保持 (q_m,k_n) 的内容向量不变，只研究 RoPE 位置变换。现实中如果通过插入很多 token 把一段文字
移到别处，前面新增的上下文可能改变 hidden state，所以整套模型的输出不一定完全不变。该恒等式保证的是 RoPE 的位置部分具
有共同平移不变性。
**›** shift 的是position id?
• 对，准确地说：
> shift 的是 Query 和 Key 所对应 token 的 position id。
不是移动 Q/K 矩阵，也不是改变向量的特征维度。
如果原来：
$$
\operatorname{pos}(q)=m,\qquad
\operatorname{pos}(k)=n
$$
共同 shift (c) 后：
$$
m\rightarrow m+c,\qquad n\rightarrow n+c
$$
RoPE 使用新的 position id 计算旋转：
$$
\tilde q=R_{m+c}q,\qquad
\tilde k=R_{n+c}k
$$
但相对位置不变：
$$
(n+c)-(m+c)=n-m
$$
所以：
$$
(R_{m+c}q)^\top(R_{n+c}k)
(R_mq)^\top(R_nk)
$$
这里还有一个重要区分：
- row index：token 在当前张量里的第几行；
- position id：token 在完整序列坐标系里的位置。
完整序列处理中，两者通常相同。但 KV-cache 解码时，新张量可能只有一行，row index 是 0，而真实 position id 可能是 1024。
所以那句话最准确的版本是：
> If we shift the position IDs associated with both the query vector and the key vector by the same amount, their
> RoPE-rotated dot product remains unchanged.
**›** Explain this codebase
1. Q 在位置 (m)，K 在位置 (n) 什么东西?
> “Q 在位置 (m)”这个说法不够准确。
准确说法应该是：
> 序列位置 (m) 的 token，产生了一个 Query 向量 (q_m)；序列位置 (n) 的 token，产生了一个 Key 向量 (k_n)。
大写 (Q,K) 是矩阵；小写 (q_m,k_n) 是矩阵中的某一行。
**## 从输入序列开始看**
假设输入是：
位置 0 1 2
token 我 喜欢 苹果
每个 token 先变成一个向量：
$$
x_0,\quad x_1,\quad x_2
$$
把它们按行排列，就得到输入矩阵：
$$
X=
\begin{bmatrix}
x_0^\top\
x_1^\top\
x_2^\top
\end{bmatrix}
\in\mathbb{R}^{3\times d_{\text{model}}}
$$
这里矩阵的两个轴分别是：
**轴 含义**
━━━━━ ━━━━━━━━━━━━━━━━━━━━━━━━━━
行 序列中的 token 位置
───── ──────────────────────────
列 token 向量内部的特征维度
所以“位置”来自矩阵的行轴。
———
**## Q、K 矩阵怎样产生**
每个 token 向量都分别经过三个投影：
$$
q_i=x_iW_q
$$
$$
k_i=x_iW_k
$$
$$
v_i=x_iW_v
$$
矩阵形式是：
$$
Q=XW_q,\qquad K=XW_k,\qquad V=XW_v
$$
因此：
$$
Q=
\begin{bmatrix}
q_0^\top\
q_1^\top\
q_2^\top
\end{bmatrix}
,\qquad
K=
\begin{bmatrix}
k_0^\top\
k_1^\top\
k_2^\top
\end{bmatrix}
$$
所以并不是“整个 Q 矩阵位于位置 (m)”。
而是：
$$
q_m=Q[m,:]
$$
表示 Q 的第 (m) 行，也就是序列位置 (m) 的 token 产生的 Query。
同理：
$$
k_n=K[n,:]
$$
是序列位置 (n) 的 token 产生的 Key。
———
**## 为什么要取 (q_m) 和 (k_n)？**
Attention 要让每个 token 询问所有 token。
例如，“喜欢”位于位置 (m=1)。它产生：
$$
q_1
$$
这个 Query 会分别与三个 Key 比较：
$$
q_1^\top k_0
$$
$$
q_1^\top k_1
$$
$$
q_1^\top k_2
$$
它们可以理解为：
“喜欢”与“我”有多匹配？
“喜欢”与“喜欢”有多匹配？
“喜欢”与“苹果”有多匹配？
矩阵乘法：
$$
S=QK^\top
$$
一次性计算所有这种组合：
$$
S=
\begin{bmatrix}
q_0^\top k_0&q_0^\top k_1&q_0^\top k_2\
q_1^\top k_0&q_1^\top k_1&q_1^\top k_2\
q_2^\top k_0&q_2^\top k_1&q_2^\top k_2
\end{bmatrix}
$$
其中：
$$
S_{m,n}=q_m^\top k_n
$$
Attention score 矩阵的含义是：
**轴 含义**
━━━━━━━━━━━━━━━━━━ ━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━
第 (m) 行 哪个位置正在发起查询
────────────────── ────────────────────────────────────────────────
第 (n) 列 正在被查询的哪个位置
────────────────── ────────────────────────────────────────────────
单元格 (S_{m,n}) 位置 (m) 的 Query 与位置 (n) 的 Key 的匹配分数
所以论文一直谈 (m,n)，是因为 Attention 本质上在比较序列中的所有位置对。
———
**## 同一个 token 为什么既有 Q 又有 K？**
在 self-attention 中，每个 token 同时扮演三种角色。
例如“喜欢”：
$$
x_1
\longrightarrow
\begin{cases}
q_1=x_1W_q\
k_1=x_1W_k\
v_1=x_1W_v
\end{cases}
$$
可以把它理解为：
- (q_1)：当“喜欢”主动寻找信息时，它在问什么；
- (k_1)：当别的 token 寻找信息时，“喜欢”用什么特征接受匹配；
- (v_1)：如果“喜欢”被读取，实际搬走什么内容。
因此：
Query：我想找什么？
Key：我可以通过什么特征被找到？
Value：找到我之后，可以读走什么？
它们来自同一个 token，但经过不同的投影矩阵，因此数值不同。
———
**## RoPE 在哪里加入位置？**
普通投影得到：
$$
q_m=x_mW_q,\qquad k_n=x_nW_k
$$
RoPE 再根据各自行对应的序列位置旋转：
$$
\tilde q_m=R_mq_m
$$
$$
\tilde k_n=R_nk_n
$$
然后计算：
**# $$**
**S_{m,n}**
\tilde q_m^\top\tilde k_n
$$
也就是说，RoPE 的完整操作是：
第 m 个 token
↓
x_m
↓ W_q
q_m
↓ 使用位置 m 旋转
R_m q_m
以及：
第 n 个 token
↓
x_n
↓ W_k
k_n
↓ 使用位置 n 旋转
R_n k_n
最后：
**# $$**
**(R_mq_m)^\top(R_nk_n)**
q_m^\top R_{n-m}k_n
$$
所以真正的意思是：
> 第 (m) 个 token 的 Query，与第 (n) 个 token 的 Key 进行比较；RoPE 让这次比较受到二者相对距离 (n-m) 的影响。
———
**## 还有一个更精确的细节**
通常情况下：
$$
m=\text{矩阵中的行号}
$$
但不永远如此。
在 KV-cache 增量解码中，一个张量可能只有一行：
$$
Q\in\mathbb{R}^{1\times d_k}
$$
虽然它是张量的第 0 行，但它可能代表整段序列中的第 1024 个 token。
因此真正传给 RoPE 的不是简单的“当前数组行号”，而是：
$$
\text{positionId}=1024
$$
这也是为什么实现中需要 position_ids 或 startPos。
所以最准确的区分是：
- row index：token 在当前张量中的行号；
- position id：token 在完整序列坐标系中的位置；
- 普通完整序列中，两者通常相同；
- 分块和 KV-cache 解码中，两者可能不同。
最后，把原来那句话改写成这样就不会奇怪了：
> 对于序列位置 (m) 的 token 所产生的 Query 向量 (q_m)，以及序列位置 (n) 的 token 所产生的 Key 向量 (k_n)，RoPE 分别用
> 位置编号 (m,n) 旋转它们，使对应的 Attention 单元格 (S_{m,n}) 的位置依赖只通过相对位移 (n-m) 出现。
5. position id 在哪出现的, 我没看到
• 你没看到是因为论文里没有写名为 position_id 的变量。position id 是实现术语；论文使用的 (m,n) 就是它。
例如苏剑林写：
$$
\tilde q_m=f(q,m),\qquad
\tilde k_n=f(k,n)
$$
这里：
- (q)：Query 的内容向量；
- (m)：这个 Query 对应 token 的位置编号；
- (k)：Key 的内容向量；
- (n)：这个 Key 对应 token 的位置编号。
也就是说：
$$
m=\operatorname{positionId}(q)
$$
$$
n=\operatorname{positionId}(k)
$$
原论文写得更完整：
$$
f_q(x_m,m),\qquad f_k(x_n,n)
$$
其中 (x_m) 表示序列位置 (m) 的 token 表示，第二个参数 (m) 则显式交给位置编码函数。tmp/pdfs/roformer/roformer-
numbered.txt:225
**## 为什么代码中也可能看不到** position_ids
处理完整序列时，位置通常直接由行号生成：
token row: 0 1 2 3
position id: 0 1 2 3
代码可能只是：
positions = arange(seq_len)
甚至直接在循环里用 pos，不创建名为 position_ids 的张量。
然后计算角度：
$$
\text{angle}_{m,i}=m\theta_i
$$
对应代码结构：
positions = [0, 1, 2, ..., seq_len - 1]
angles = positions[:, None] * inv_freq[None, :]
cos = cos(angles)
sin = sin(angles)
RoPE 再使用它：
q_rot = q * cos + rotate(q) * sin
k_rot = k * cos + rotate(k) * sin
因此 position id 最终出现在：
$$
\cos(m\theta_i),\qquad\sin(m\theta_i)
$$
和：
$$
\cos(n\theta_i),\qquad\sin(n\theta_i)
$$
里面。
**## 在本地实现中的具体位置**
TorchLean 使用：
posNat := startPos + pos.val
其中：
- pos.val：当前张量中的行号；
- startPos：当前张量第一行对应的全局位置；
- posNat：实际 position id。
对应源码在 /Users/kafuuaki/Projects/StartUpProjects/TorchLean/NN/Spec/Layers/PositionalEncoding.lean:225。
所以数据流是：
当前行号 pos
+
全局偏移 startPos
↓
position id
↓
position id × 频率 θᵢ
↓
cos / sin
↓
旋转这一行的 Q 或 K
例如 KV-cache 已有 1024 个 token，新张量只有一行：
row index = 0
startPos = 1024
position id = 1024 + 0 = 1024
因此最准确的对应关系是：
$$
\boxed{
\text{论文中的 }m,n
\text{实现中的 position id}
}
$$
你没看到 position_id，只是因为论文用数学符号 (m,n) 表示，代码也可能直接从行号和偏移量生成它。
6. 我以为只编码了相对位置信息, 但其实不是?
• 对了一半。关键要区分“单个 Q/K 向量”和“Q/K 点积”两个层级。
**## 单个 Q、K：使用了绝对位置**
RoPE 对位置 (m) 的 Query 做：
$$
\tilde q_m=R_mq_m
$$
对位置 (n) 的 Key 做：
$$
\tilde k_n=R_nk_n
$$
所以单独看旋转后的向量：
- (\tilde q_m) 依赖绝对位置 (m)；
- (\tilde k_n) 依赖绝对位置 (n)。
这也是原论文为什么说：
> “encodes the absolute position with a rotation matrix”
也就是通过旋转矩阵编码绝对位置。/Users/kafuuaki/.personalized-ai/knowledge/papers/paper-e9a481fbe1c8a20b/2104.09864
**## Q/K 点积：位置效应只剩相对位置**
进入 Attention score 后：
$$
\begin{aligned}
\tilde q_m^\top\tilde k_n
&=(R_mq_m)^\top(R_nk_n)\
&=q_m^\top R_{n-m}k_n
\end{aligned}
$$
此时 (m,n) 不再分别出现，只剩：
$$
n-m
$$
因此最准确的说法是：
> RoPE 使用绝对 position id 分别构造 Q、K，但让 Q/K 点积中的位置效应只通过相对位置出现。
不是简单地说：
> RoPE 只编码相对位置。
因为在计算过程的中间层，绝对位置 (m,n) 确实被使用了。
**## 论文是不是认为相对位置尤其重要？**
是的，但这是一个针对 Attention 匹配机制的设计判断，不是说所有任务中绝对位置都不重要。
论文的思路大致是：
1. Attention score 描述两个 token 的匹配关系；
2. 两两关系通常更自然地与方向和距离有关；
3. 相同关系可能出现在序列中的不同绝对位置；
4. 因此希望 Q/K 匹配对共同平移不敏感。
比如：
位置 10 的 Query 关注位置 9 的 Key
位置 100 的 Query 关注位置 99 的 Key
它们表达的都是：
$$
n-m=-1
$$
论文希望模型可以复用“关注前一个位置”这个关系，而不必分别学习每一组绝对位置。
**## 但论文没有证明绝对位置不重要**
绝对位置可能仍然有价值，例如：
- 是否位于文档开头；
- 是否接近结尾；
- 是否是第一个 token；
- 标题和正文所在区域；
- 特殊 token 的固定位置。
RoPE 的选择只是：
> 在当前 Q/K 的点积中，不让绝对位置 (m,n) 分别影响分数。
而整个 Transformer 仍可能通过其他结构获得绝对位置信号：
- BOS 等特殊 token；
- causal mask 和序列边界；
- 前面层产生的上下文化 hidden states；
- 额外的位置编码或位置 bias；
- 上下文中其他 token 的分布。
**## 最后分成三个层级就很清楚了**
**层级 使用什么位置信息**
━━━━━━━━━━━━━━━━━━━━━━━ ━━━━━━━━━━━━━━━━━━━━
构造单个旋转后 Query 绝对位置 (m)
─────────────────────── ────────────────────
构造单个旋转后 Key 绝对位置 (n)
─────────────────────── ────────────────────
Q/K 点积的位置效应 相对位置 (n-m)
─────────────────────── ────────────────────
整个 Transformer 模型 不一定只有相对位置
所以你的理解可以修正成：
> RoFormer 认为，对于 Attention 中两个 token 的匹配关系，相对位置特别重要。因此 RoPE 用各自的绝对 position id 旋转 Q、
> K，但刻意让点积中的位置依赖只保留相对位置。它没有宣称绝对位置在所有层面都不重要。