为什么需要位置嵌入？

Transformer 原论文中的位置嵌入：正弦余弦嵌入

具体公式

• 当 i 为偶数时：PE(pos, 2i) = sin(pos / 10000^(2i/d_model))
• 当 i 为奇数时：PE(pos, 2i+1) = cos(pos / 10000^(2i/d_model))

• d_model 是嵌入向量的维度（与词嵌入维度一致，原论文中为 512）；
• 10000 是一个缩放常数，控制周期变化的速率。

设计优势

1. 相对位置可捕捉：对于任意固定偏移 Δ，PE(pos+Δ) 可以表示为 PE(pos) 的线性变换（利用三角函数的和角公式），这让模型能轻松学习到 “相对位置” 信息（如 “距离为 Δ 的两个词” 的关系）。
2. 无需训练：是固定计算的，不增加模型参数，也无需通过数据学习。
3. 泛化到长序列：理论上可支持任意长度的序列（即使长于训练时的序列长度），而可学习的位置嵌入在超长序列上泛化能力较差。

位置嵌入的使用方式

1. 每个词通过词嵌入层映射为 d_model 维的词向量（如 Token Embedding）；
2. 每个位置（如第 0 个词、第 1 个词）对应一个 d_model 维的位置嵌入向量（Position Embedding）；
3. 将词向量与对应位置的位置嵌入向量相加，得到最终的输入向量（Input Embedding = Token Embedding + Position Embedding），再输入到 Transformer 的编码器 / 解码器中。

其他常见的位置嵌入变体

1. 可学习的位置嵌入（Learned Position Embeddings）
   
   
   • 思路：随机初始化一个与序列长度、嵌入维度匹配的位置嵌入矩阵（形状为 [max_seq_len, d_model]），将其作为可学习的参数，通过训练更新。
   • 优势：能自适应具体任务（如 BERT、GPT 等模型均采用），在训练数据覆盖的序列长度内效果较好。
   • 缺陷：对超出训练长度的序列泛化能力差（需截断或插值）。
   
   
2. 相对位置嵌入（Relative Position Embeddings）
   
   
   • 思路：不在输入层添加位置信息，而是在自注意力计算时直接引入 “相对位置” 参数。例如，计算注意力权重时，不仅考虑两个词的内容相似度，还考虑它们之间的相对距离（如 “距离 1”“距离 2” 等）。
   • 优势：更直接地建模相对位置关系，避免绝对位置对长序列的限制（如 T5、Transformer-XL 等模型使用）。
   
   
3. 旋转位置嵌入（Rotary Position Embedding, RoPE）
   
   
   • 思路：通过 “旋转矩阵” 对词向量进行旋转，将位置信息编码到向量的相位中。其核心是利用复数域的旋转特性，让位置 pos 的向量通过旋转矩阵与位置 pos+Δ 的向量产生关联。
   • 优势：同时支持绝对位置和相对位置建模，且对超长序列的泛化能力极强（被 LLaMA、GPT-4 等大模型广泛采用）。
   
   

总结