Apa itu RoPE (Rotary Position Embedding)?

Apa itu RoPE?

RoPE (Rotary Position Embedding) adalah metode penyematan posisi (positional encoding) pada arsitektur Transformer yang merepresentasikan posisi token dalam urutan teks melalui rotasi sudut pada ruang vektor fitur. Metode ini diperkenalkan oleh Jianlin Su dkk. pada tahun 2021 melalui makalah ilmiah "RoFormer: Enhanced Transformer with Rotary Position Embedding".

Model bahasa Transformer pada dasarnya memproses seluruh token secara serentak tanpa memiliki pemahaman intrinsik tentang urutan kata. Tanpa informasi posisi, kalimat "kucing mengejar tikus" dan "tikus mengejar kucing" akan terbaca identik oleh model. Sebelum RoPE populer, Transformer menggunakan penyematan posisi absolut (menambahkan vektor angka posisi langsung ke vektor kata) atau posisi relatif konvensional. RoPE menggabungkan keunggulan keduanya: menyuntikkan informasi posisi absolut pada setiap token secara lokal, namun interaksi perkalian titik antar-token secara alami menghasilkan informasi jarak relatif (relative positional distance).

Cara kerja matematis Rotary Position Embedding

RoPE bekerja dengan membagi vektor representasi kata (vektor dimensi $d$) menjadi pasangan-pasangan nilai dua dimensi, lalu memutar setiap pasangan vektor tersebut pada bidang kompleks berdasarkan indeks posisi token ($m$):

1. Rotasi Berdasarkan Indeks Posisi: Jika suatu token berada di posisi urutan ke-$m$, vektor fiturnya dikalikan dengan matriks rotasi ortogonal $R_{\Theta, m}^d$. Sudut putaran bertambah besar seiring bertambahnya jarak posisi token dalam kalimat.

2. Interaksi Perhatian Mandiri (Self-Attention): Saat menghitung perkalian titik (dot product) antara Query di posisi $m$ dan Key di posisi $n$, sifat aljabar rotasi memastikan bahwa hasil perkalian hanya bergantung pada selisih jarak relatifnya:

   $$\langle R_m q, R_n k \rangle = g(q, k, m - n)$$

   Artinya, perhatian antar-token melemah secara alami dan mulus seiring makin jauhnya jarak posisi kata dalam satu paragraf, mencerminkan intuisi tata bahasa alami manusia.

Mengapa RoPE menjadi standar LLM modern?

Mayoritas arsitektur model bahasa besar mutakhir seperti Llama (Meta), Mistral, Qwen, Gemma, dan DeepSeek mengadopsi RoPE karena dua keunggulan utama:

• Eksplorasi Konteks Fleksibel: Memungkinkan teknik interpolasi posisi (RoPE position interpolation) dan penskalaan frekuensi (YaRN) untuk memperluas kapasitas jendela konteks model dari yang semula hanya 4.096 token menjadi 32.000 hingga 128.000 token tanpa perlu melatih ulang model dari nol.
• Kompatibilitas Komputasi: Struktur perkalian rotasi dapat diimplementasikan secara efisien tanpa menambah parameter bobot baru yang perlu dipelajari, sehingga hemat memori GPU.

Batasan dan salah paham umum

• Bukan bobot parameter yang dilatih: RoPE adalah transformasi matematis deterministik tetap berbasis fungsi trigonometri sinus dan kosinus. RoPE tidak memiliki bobot angka yang diubah oleh optimizer selama pelatihan.
• Penurunan performa di luar batas pelatihan awal: Meskipun secara teoretis RoPE mendukung urutan teks yang sangat panjang, jika model diuji pada teks yang jauh melebihi panjang latihan tanpa penyesuaian penskalaan frekuensi sudut (base frequency scaling), model dapat kehilangan koherensi logika.
• Perlu penyesuaian presisi numerik: Perhitungan trigonometri pada urutan token ratusan ribu memerlukan perhatian khusus pada presisi floating-point (FP16/BF16) agar sudut putaran tidak mengalami pembulatan ekstrem.

Rujukan resmi

• Su et al.: RoFormer: Enhanced Transformer with Rotary Position Embedding (Makalah resmi perintis RoPE, Pengecekan: 1 Oktober 2026, rujukan resmi: arxiv.org/abs/2104.09864).
• Hugging Face Transformers Documentation: Rotary Position Embedding Implementation Guide (Pengecekan: 1 Oktober 2026, rujukan resmi: huggingface.co/docs/transformers).
• Meta AI: Llama 2 & Llama 3 Technical Architecture Reports (Pengecekan: 1 Oktober 2026, rujukan resmi: ai.meta.com/research/).