You could have designed state of the art positional encoding を読んだ。
- LLMに利用される位置エンコーディングについて解説した記事である
- 整数位置エンコーディング、バイナリー位置エンコーディング、正弦位置エンコーディングが紹介されている
- 文章内の単語の位置は絶対位置よりも相対位置が重要である
- RoFormer: Enhanced Transformer with Rotary Position Embedding | Abstract が紹介されている
- 4つの位置エンコーディングにアニメーションが利用されている