Apa itu PagedAttention (Manajemen Memori KV Cache GPU)?

Apa itu PagedAttention?

PagedAttention adalah algoritma manajemen memori dan pengoptimalan mekanisme attention yang dirancang khusus untuk menangani penyimpanan Key-Value (KV) Cache pada saat penyajian (serving / inference) model bahasa besar secara bersamaan (concurrent LLM serving).

Algoritma ini diciptakan oleh Woosuk Kwon dan tim peneliti dari UC Berkeley bersama LMSYS Organization pada tahun 2023, yang kemudian diimplementasikan sebagai fondasi utama di dalam sistem penyajian model sumber terbuka terpopuler di dunia, yaitu vLLM. PagedAttention terinspirasi langsung dari konsep memori virtual (virtual memory) dan teknik paging yang telah puluhan tahun digunakan oleh sistem operasi komputer untuk mengelola memori fisik RAM secara dinamis.

Masalah fragmentasi memori KV Cache konvensional

Pada model Transformer autoregresif, setiap token teks baru yang dihasilkan membutuhkan penyimpanan vektor kunci (Key) dan nilai (Value) dari seluruh token sebelumnya di dalam memori VRAM GPU. Vektor-vektor ini disimpan di dalam KV Cache agar model tidak perlu menghitung ulang representasi kata lama dari nol.

Sebelum ditemukannya PagedAttention, sistem inferensi konvensional mengalokasikan memori GPU secara berurutan dan bersebelahan (contiguous memory allocation):

• Sistem harus mencadangkan ruang VRAM berukuran maksimal (misalnya untuk panjang konteks 2048 token) sejak awal sebelum permintaan selesai diproses.
• Akibatnya, terjadi dua jenis pemborosan memori parah: fragmentasi internal (memori yang dicadangkan tetapi tidak terpakai karena jawaban pengguna pendek) dan fragmentasi eksternal (memori GPU yang terpecah-pecah sehingga tidak bisa menampung permintaan baru).
• Pada praktiknya, antara 60% hingga 80% kapasitas memori GPU terbuang sia-sia, sehingga jumlah permintaan yang dapat dilayani secara serentak (batch size) menjadi sangat terbatas.

Cara kerja PagedAttention: Blok halaman non-kontigu

PagedAttention memecah memori KV Cache menjadi blok-blok kecil berukuran tetap yang disebut KV Blocks (biasanya berkapasitas 16 atau 32 token):

1. Pemetaan Tabel Blok (Block Table): Mirip dengan tabel halaman (page table) pada kernel sistem operasi Linux atau Windows, sistem inferensi mencatat hubungan antara urutan token logis dengan lokasi blok fisik VRAM di GPU.
2. Alokasi Non-Kontigu (Non-Contiguous Allocation): Blok-blok memori fisik tidak perlu berada pada alamat VRAM yang berurutan. Saat token baru diproduksi dan blok aktif penuh, sistem cukup mengambil blok memori kosong mana pun di GPU dan memetakannya ke tabel.
3. Berbagi Memori Lintas Permintaan (Copy-on-Write): PagedAttention memungkinkan beberapa proses inferensi berbagi blok memori fisik yang sama. Sebagai contoh, pada teknik pencarian bercabang (parallel sampling / beam search) atau instruksi sistem (system prompt) yang sama pada ratusan pengguna, blok KV Cache instruksi tersebut hanya disimpan satu kali di VRAM dan digunakan bersama-sama. Ketika salah satu alur mulai menghasilkan jawaban berbeda, sistem baru menyalin blok baru (Copy-on-Write).

Dampak kinerja pada penyajian AI

• Peningkatan Throughput 2x hingga 4x Lipat: Dengan menekan fragmentasi memori hingga mendekati 0%, GPU dapat memproses permintaan konkuren (throughput) berlipat ganda pada perangkat keras yang sama.
• Dukungan Jendela Konteks Panjang: Memungkinkan model melayani dokumen ratusan ribu token tanpa mengalami kehabisan memori VRAM (Out of Memory / OOM).
• Efisiensi Biaya Operasional: Menurunkan biaya sewa infrastruktur peladen GPU (seperti Nvidia H100 atau A100) bagi perusahaan penyedia platform kecerdasan buatan.

Batasan dan salah paham umum

• Bukan teknik pelatihan (Training): PagedAttention adalah teknik manajemen memori khusus untuk fase penyajian inferensi (inference engine), bukan algoritma untuk melatih model dari awal.
• Membutuhkan implementasi kernel GPU khusus: Algoritma ini berjalan pada lapisan kernel CUDA/Triton tingkat rendah, sehingga pengembang aplikasi biasa biasanya memanfaatkannya melalui kerangka kerja penyajian seperti vLLM, TensorRT-LLM, atau TGI (Text Generation Inference).
• Tidak mengubah bobot parameter model: Kualitas akurasi matematis dari jawaban model tidak berubah sedikit pun karena representasi nilai vektor yang disimpan di dalam cache tetap identik dengan metode aslinya.

Rujukan resmi

• Kwon et al. (UC Berkeley & LMSYS): Efficient Memory Management for Large Language Model Serving with PagedAttention (SOSP 2023) (Makalah ilmiah perintis PagedAttention dan vLLM, Pengecekan: 3 Oktober 2026, rujukan resmi: arxiv.org/abs/2309.06180).
• vLLM Documentation: PagedAttention Architecture and Key-Value Memory Management (Pengecekan: 3 Oktober 2026, rujukan resmi: docs.vllm.ai/en/latest/).
• Red Hat / IBM Research: Optimizing LLM Inference Throughput with vLLM & PagedAttention (Pengecekan: 3 Oktober 2026, rujukan resmi: redhat.com/en/blog/vllm-pagedattention-llm-inference).