Apa itu Cross-Attention (Mekanisme Perhatian Lintas Modalitas & Urutan)?

Apa itu Cross-Attention?

Cross-Attention (perhatian silang) adalah salah satu variasi mekanisme attention pada arsitektur jaringan Transformer yang memungkinkan sebuah rangkaian token memperhatikan dan menyerap informasi dari rangkaian token lain yang terpisah.

Jika pada Self-Attention sebuah kalimat hanya memetakan hubungan antar-kata di dalam dirinya sendiri, Cross-Attention bekerja sebagai jembatan dua arah atau lintas urutan data. Mekanisme ini merupakan fondasi utama pada model penerjemahan bahasa (sequence-to-sequence), model multimodal yang menghubungkan teks dengan gambar (seperti Vision Transformer dan generator gambar diffusion), serta asisten suara multimodal.

Perbedaan Self-Attention vs Cross-Attention

Mekanisme perhatian Transformer selalu melibatkan tiga matriks utama: Query (Q), Key (K), dan Value (V):

1. Self-Attention: Matriks Query, Key, dan Value seluruhnya berasal dari sumber data yang sama.
   • Contoh: Sebuah kalimat bahasa Indonesia menganalisis keterkaitan kata "apel" dengan kata "buah" di dalam kalimat yang sama.
2. Cross-Attention: Matriks Query berasal dari urutan target (decoder), sedangkan matriks Key dan Value berasal dari urutan konteks luar (encoder).
   • Contoh: Dalam penerjemahan bahasa Inggris ke Indonesia, Query berasal dari kata-kata bahasa Indonesia yang sedang disusun, sedangkan Key dan Value diambil dari representasi kalimat utuh bahasa Inggris yang sudah diolah encoder.

Cara kerja dalam model AI modern

Mekanisme Cross-Attention berjalan melalui tahapan matematis berikut:

1. Pengiriman Representasi Konteks Luar: Rangkaian sumber (misalnya gambar beresolusi tinggi atau teks instruksi prompt) diproses oleh encoder menjadi vektor representasi semantik sebagai Key dan Value.
2. Proyeksi Target Generasi: Lapisan decoder menghasilkan vektor Query dari token yang sedang diproduksi secara bertahap.
3. Perhitungan Matriks Perhatian Silang: Skor kesesuaian dihitung menggunakan perkalian dot berskala (scaled dot-product) antara Query decoder dengan seluruh Key encoder: $$\text{Attention}(Q, K, V) = \text{softmax}\left(\frac{QK^T}{\sqrt{d_k}}\right)V$$
4. Penyuntikan Konteks: Bobot probabilitas hasil softmax menentukan seberapa kuat bagian gambar atau teks sumber memandu pemilihan kata berikutnya pada decoder.

Contoh pemakaian nyata

• Model Teks-ke-Gambar (Diffusion Models / Stable Diffusion): Teks prompt Anda ("kucing tidur di bawah payung merah") diubah menjadi matriks teks melalui CLIP encoder. Melalui lapisan Cross-Attention pada jaringan U-Net, fitur teks tersebut disuntikkan langsung ke dalam matriks piksel noise gambar sehingga generator mengetahui di area mana bentuk payung dan kucing harus dibentuk.
• Model Multimodal (Vision-Language Models / VLM): Saat Anda bertanya "Berapa total tagihan pada foto struk ini?", Cross-Attention memungkinkan token pertanyaan teks memeriksa koordinat visual dan angka pada struk belanja secara presisi.
• Penerjemahan Mesin (Machine Translation): Mengaitkan subjek dan kata kerja antar dua bahasa yang memiliki struktur gramatikal berlawanan.

Batasan dan salah paham umum

• Bukan pengganti Self-Attention: Cross-Attention tidak bekerja sendirian. Sebagian besar arsitektur menggabungkan Self-Attention (untuk memahami konteks internal) dan Cross-Attention (untuk menyerap konteks luar) secara berlapis.
• Beban komputasi memori meningkat: Menghubungkan ribuan token teks dengan jutaan piksel gambar melalui Cross-Attention membutuhkan bandwidth memori GPU yang besar, sehingga memerlukan optimasi seperti FlashAttention atau pemangkasan resolusi token visual.
• Hanya ada bila terdapat dua aliran data berbeda: Pada model teks autoregresif decoder-only seperti GPT-4 atau Llama yang hanya memproses teks searah, lapisan Cross-Attention standar ditiadakan demi efisiensi dan digantikan murni oleh Causal Self-Attention.

Rujukan resmi

• Vaswani et al.: Attention Is All You Need (Makalah perintis arsitektur Transformer dan Cross-Attention, Pengecekan: 4 Oktober 2026, rujukan resmi: arxiv.org/abs/1706.03762).
• Google Research: Transformer Model Architecture Guide (Pengecekan: 4 Oktober 2026, rujukan resmi: ai.google.dev/gemma/docs/architecture).
• Anthropic Claude Multimodal Documentation: Vision & Cross-Modal Context Processing (Pengecekan: 4 Oktober 2026, rujukan resmi: docs.anthropic.com/en/docs/build-with-claude/vision).