Apa itu Self-Attention (Mekanisme Perhatian Mandiri)?

Apa itu Self-Attention?

Self-Attention (perhatian mandiri), atau sering disebut Scaled Dot-Product Attention, adalah mekanisme komputasi inti pada arsitektur jaringan saraf Transformer yang memungkinkan model menimbang tingkat kepentingan relatif antara satu kata dengan seluruh kata lainnya di dalam satu kalimat secara bersamaan.

Mekanisme ini diperkenalkan oleh tim peneliti Google Brain dan Google Research dalam makalah revolusioner "Attention Is All You Need" pada tahun 2017. Sebelum hadirnya Self-Attention, sistem pemrosesan bahasa alami mengandalkan jaringan berulang (Recurrent Neural Networks / RNN atau LSTM) yang memproses kata demi kata secara berurutan dari kiri ke kanan. Pola sekuensial tersebut lambat untuk dilatih secara paralel dan sering kehilangan konteks ketika kalimat terlalu panjang. Self-Attention mengatasi keterbatasan itu dengan memproses seluruh kata sekaligus dan memetakan keterkaitan tata bahasa secara instan.

Cara kerja perkalian matriks Query, Key, dan Value

Untuk memahami cara kerja Self-Attention secara matematis, bayangkan setiap token kata yang telah diubah menjadi vektor penyematan (embedding) diproyeksikan menjadi tiga vektor representasi berbeda:

1. Query (Q): Vektor yang mewakili token saat mencari kata lain yang relevan dengannya.
2. Key (K): Vektor label atau penanda dari kata-kata lain yang akan dicocokkan dengan Query.
3. Value (V): Informasi isi atau makna substantif dari kata tersebut.

Proses perhitungannya dirumuskan dalam persamaan baku Transformer:

$$\text{Attention}(Q, K, V) = \text{softmax}\left(\frac{QK^T}{\sqrt{d_k}}\right)V$$

Langkah-langkah perhitungannya:

• Perkalian Titik (Dot Product): Matriks Query ($Q$) dikalikan dengan transposisi Key ($K^T$). Semakin mirip arah kedua vektor, semakin tinggi skor kesesuaiannya.
• Penskalaan (Scaling): Hasil perkalian dibagi dengan $\sqrt{d_k}$ (akar dari dimensi kunci) untuk menstabilkan varians nilai agar gradien tidak hilang saat fungsi aktivasi dievaluasi.
• Normalisasi Softmax: Angka kesesuaian diubah menjadi persentase probabilitas (jumlah total seluruh bobot bernilai 1).
• Pembobotan Nilai (Value): Bobot probabilitas tersebut dikalikan dengan matriks Value ($V$) untuk menghasilkan representasi kontekstual baru bagi token tersebut.

Contoh konkret pemahaman konteks kalimat

Perhatikan kata "itu" pada dua kalimat berikut:

• Kalimat A: "Kucing itu tidak mau makan ikan karena itu sudah basi."
• Kalimat B: "Kucing itu tidak mau makan ikan karena itu sedang kenyang."

Mekanisme Self-Attention menghitung skor korelasi tinggi antara kata "itu" dengan "ikan" pada Kalimat A berkat konteks kata "basi". Sebaliknya pada Kalimat B, kata "itu" memiliki bobot perhatian paling besar ke kata "kucing" berkat keberadaan kata "kenyang". Tanpa aturan tata bahasa buatan manusia, model secara otomatis memahami kata ganti (coreference resolution) murni dari perhitungan vektor.

Batasan dan salah paham umum

• Kompleksitas Kuadratik $O(N^2)$: Jika panjang teks masukan berlipat ganda, beban komputasi dan konsumsi memori untuk menyimpan matriks perhatian membengkak empat kali lipat. Keterbatasan inilah yang memicu lahirnya teknik akselerasi seperti FlashAttention.
• Tidak memiliki orientasi urutan bawaan: Self-Attention murni menghitung korelasi matematis antar-vektor tanpa mengetahui kata mana yang ditulis lebih dulu. Oleh sebab itu, Transformer wajib menyertakan penyematan posisi (positional encoding seperti RoPE) agar urutan kata dapat dibedakan.
• Berbeda dengan Multi-Head Attention: Self-Attention adalah mekanisme dasar satu kepala (single head). Pada model modern, mekanisme ini digandakan menjadi puluhan kepala (Multi-Head Attention) agar model bisa memperhatikan aspek sintaksis, gaya bahasa, dan logika kalimat dalam beberapa dimensi sudut pandang sekaligus.

Rujukan resmi

• Vaswani et al. (Google Brain & Google Research): Attention Is All You Need (Makalah resmi perintis Transformer dan Scaled Dot-Product Attention, Pengecekan: 2 Oktober 2026, rujukan resmi: arxiv.org/abs/1706.03762).
• PyTorch Documentation: torch.nn.MultiheadAttention & Scaled Dot Product Implementation (Pengecekan: 2 Oktober 2026, rujukan resmi: pytorch.org/docs/stable/generated/torch.nn.MultiheadAttention.html).
• Stanford University CS224N: Natural Language Processing with Deep Learning - Lecture 10: Transformers and Self-Attention (Pengecekan: 2 Oktober 2026, rujukan resmi: web.stanford.edu/class/cs224n/).