RoFormer: Enhanced Transformer with Rotary Position Embedding

RoFormer：使用旋转位置编码增强Transformer.

Your Transformer May Not be as Powerful as You Expect

使用通用相对位置编码改进Transformer的通用近似性.

Encoding word order in complex embeddings

在复数域空间中构造词嵌入.

Self-Attention with Relative Position Representations

自注意力机制中的相对位置编码.

Learning to Encode Position for Transformer with Continuous Dynamical Model

FLOATER：基于连续动力系统的递归位置编码.

Transformer中的位置编码(Position Encoding)

Position Encoding in Transformer.Transformer中的自注意力机制无法捕捉位置信息，这是因为其计算过程具有置换不变性(permutation invariant)，导致打乱输入序列的顺序对输出结果不会产生...