旋转位置编码 | Swift's Blog

旋转位置编码具有良好的外推性，即模型在预测时可以处理比训练时更长的序列。

想要获得良好的外推性，必须使用相对位置编码。Transformer使用的是绝对位置编码，外推性不强。

pos

那么，如何使用绝对位置编码来实现相对位置编码呢？

推导过程

$<f_q\left(x_m, m\right), f_k\left(x_n, n\right)>=g\left(x_m, x_n, m-n\right)$

欧拉公式：$e^{i x}=\cos x+i \sin x$

$\begin{gathered} f_q\left(x_m, m\right)=\left(W_q x_m\right) e^{i m \theta}=q_m e^{i m \theta} \\ =\left[q_m^{(1)} \cos (m \theta)-q_m^{(2)} \sin (m \theta), q_m^{(2)} \cos (m \theta)+q_m^{(1)} \sin (m \theta)\right] \\ =\left(\begin{array}{cc} \cos (m \theta) & -\sin (m \theta) \\ \sin (m \theta) & \cos (m \theta) \end{array}\right)\binom{q_m^{(1)}}{q_m^{(2)}} \end{gathered}$ $\begin{gathered} <f_q\left(x_m, m\right), f_k\left(x_n, n\right)> \\ =\left(\left(\begin{array}{cc} \cos (m \theta) & -\sin (m \theta) \\ \sin (m \theta) & \cos (m \theta) \end{array}\right)\binom{q_m^{(1)}}{q_m^{(2)}}\right)^T\left(\left(\begin{array}{cc} \cos (n \theta) & -\sin (n \theta) \\ \sin (n \theta) & \cos (n \theta) \end{array}\right)\binom{k_n^{(1)}}{k_n^{(2)}}\right) \\ =\left(\begin{array}{cc} q_m^{(1)} & q_m^{(2)} \end{array}\right)\left(\begin{array}{cc} \cos (m \theta) & \sin (m \theta) \\ -\sin (m \theta) & \cos (m \theta) \end{array}\right)\left(\begin{array}{cc} \cos (n \theta) & -\sin (n \theta) \\ \sin (n \theta) & \cos (n \theta) \end{array}\right)\binom{k_n^{(1)}}{k_n^{(2)}} \\ = \left(\begin{array}{cc} q_m^{(1)} & q_m^{(2)} \end{array}\right)\left(\begin{array}{cc} \cos (m \theta) \cos (n \theta)+\sin (m \theta) \sin (n \theta) & -\cos (m \theta) \sin (n \theta)+\sin (m \theta) \cos (n \theta) \\ -\sin (m \theta) \cos (n \theta)+\cos (m \theta) \sin (n \theta) & \sin (m \theta) \sin (n \theta)+\cos (m \theta) \cos (n \theta) \end{array}\right)\left(\begin{array}{cc} \cos (n \theta) & -\sin (n \theta) \\ \sin (n \theta) & \cos (n \theta) \end{array}\right) \\ =\left(\begin{array}{ll} q_m^{(1)} & q_m^{(2)} \end{array}\right)\left(\begin{array}{cc} \cos ((m-n) \theta) & -\sin ((m-n) \theta) \\ \sin ((m-n) \theta) & \cos ((m-n) \theta) \end{array}\right)\binom{k_n^{(1)}}{k_n^{(2)}} \\ = g\left(x_m, x_n, m-n\right) \end{gathered}$

其中，$m$ 就是位置下标，$\theta_j=10000^{-2(j-1) / d}, j \in[1,2, \ldots, d / 2]$，跟transformer基本一致。

https://zhuanlan.zhihu.com/p/642884818

下面这是极简的证明：

prove

推导过程

参考