Apa itu Grouped-Query Attention (GQA / Atensi Kueri Terkelompok)?

Apa itu Grouped-Query Attention (GQA)?

Grouped-Query Attention (GQA) adalah teknik optimasi mekanisme atensi pada arsitektur model Transformer yang dirancang untuk mempercepat proses inferensi dan menekan kebutuhan memori VRAM GPU, terutama saat menangani dokumen teks panjang.

Metode ini diperkenalkan oleh tim peneliti Google Research dalam makalah riset yang dipublikasikan pada Mei 2023 (Ainslie et al., arXiv:2305.13245). GQA hadir sebagai solusi jalan tengah antara dua pendekatan arsitektur sebelumnya: Multi-Head Attention (MHA) dan Multi-Query Attention (MQA).

Latar belakang masalah: Beban KV Cache

Saat model bahasa menghasilkan teks kata demi kata selama fase inferensi, model harus mengingat representasi token-token terdahulu agar tidak menghitung ulang seluruh kalimat dari awal. Data representasi ini disimpan ke dalam memori VRAM sebagai KV Cache (Key-Value Cache).

Pada arsitektur standar Multi-Head Attention (MHA), setiap kepala atensi query (query head) memiliki kepala key dan value masing-masing dengan rasio 1:1. Ketika jendela konteks bertambah panjang hingga puluhan ribu token dan ukuran batch pengguna meningkat, ukuran KV Cache membengkak hingga puluhan gigabyte, membatasi kapasitas server dan memperlambat waktu inferensi.

Perbandingan MHA, MQA, dan GQA

Tiga varian arsitektur atensi ini dibedakan berdasarkan rasio pembagian head:

1. Multi-Head Attention (MHA): Setiap query head memiliki 1 key head dan 1 value head mandiri.
   • Kelebihan: Kualitas pemahaman representasi dan akurasi paling tinggi.
   • Kekurangan: Ukuran KV cache sangat besar, konsumsi bandwidth memori tinggi.
2. Multi-Query Attention (MQA): Seluruh query head (misalnya 32 head) berbagi hanya 1 key head dan 1 value head yang sama.
   • Kelebihan: Ukuran KV cache menyusut drastis, inferensi sangat cepat.
   • Kekurangan: Akurasi menurun pada model besar dan tugas penalaran yang membutuhkan representasi kompleks.
3. Grouped-Query Attention (GQA): Query head dibagi menjadi beberapa kelompok (misalnya 8 grup berisi masing-masing 4 query head). Setiap grup berbagi 1 key head dan 1 value head.
   • Kelebihan: Menurunkan konsumsi VRAM KV cache secara signifikan (sering kali hingga 4–8 kali lebih hemat) dengan tingkat akurasi yang hampir setara dengan MHA penuh.

Penggunaan pada model modern

Karena efisiensinya yang tinggi, GQA telah menjadi standar industri untuk model bahasa open-weights maupun komersial modern, termasuk:

• Meta Llama 3 & Llama 2 (varian 70B): Menggunakan GQA dengan 8 KV head untuk memfasilitasi throughput tinggi dan konteks panjang.
• Mistral 7B & Mixtral 8x7B: Mengadopsi GQA untuk mendukung pemrosesan cepat pada perangkat keras yang hemat daya.
• Google Gemma 2: Menerapkan arsitektur atensi terkelompok untuk memaksimalkan performa di lingkungan edge dan cloud.

Batasan dan salah paham umum

• Bukan akselerator pelatihan utama: Keuntungan terbesar GQA dirasakan pada fase inferensi (decoding teks). Pada fase pra-pelatihan (pre-training), operasi komputasi matriks tetap membutuhkan daya pemrosesan floating-point yang setara.
• Perlu ditentukan sejak awal arsitektur: Model MHA yang sudah dilatih tidak bisa langsung diubah menjadi GQA saat runtime tanpa melalui proses pelatihan ulang ringan (uptraining) atau pelatihan dari awal.

Rujukan resmi

• Ainslie et al. (Google Research) — GQA: Training Generalized Multi-Query Transformer Models from Multi-Head Checkpoints: arxiv.org/abs/2305.13245 (Pengecekan: 11 Oktober 2026)
• Meta AI — The Llama 3 Herd of Models: ai.meta.com/research/publications/the-llama-3-herd-of-models/ (Pengecekan: 11 Oktober 2026)