Langsung ke konten

Apa itu FlashAttention (Atensi Hemat Memori)?

Teknik mempercepat perhitungan atensi Transformer dengan mengurangi lalu lintas data ke memori. Hasilnya sama persis, tapi jauh lebih cepat dan hemat memori GPU.

Apa itu FlashAttention?

FlashAttention adalah algoritma untuk menghitung mekanisme atensi pada model Transformer dengan lebih cepat dan lebih hemat memori. Diperkenalkan Tri Dao, Daniel Fu, Stefano Ermon, Atri Rudra, dan Christopher Ré (arXiv:2205.14135, 27 Mei 2022).

Kata kunci yang membedakannya: hasilnya identik secara matematis. Ini bukan pendekatan yang mengorbankan presisi demi kecepatan. Yang diubah adalah cara data bergerak di dalam GPU.

Cara kerja

Atensi standar menulis matriks skor besar ke memori GPU, membacanya lagi, lalu mengolahnya. Memori GPU punya dua lapis: SRAM yang kecil tapi sangat cepat, dan HBM yang besar tapi lambat. Atensi biasa menghabiskan waktu menunggu data bolak-balik ke HBM.

FlashAttention memecah perhitungan menjadi blok-blok kecil. Tiap blok diproses langsung di SRAM tanpa harus menulis matriks penuh ke HBM. Hasil antar-blok digabung dengan teknik penjumlahan bertahap.

Efeknya: waktu tunggu memori turun drastis, kebutuhan memori untuk matriks atensi juga mengecil. Model bisa menangani konteks lebih panjang tanpa kehabisan memori.

Contoh pemakaian

Pustaka pelatihan dan inferensi modern memakai FlashAttention sebagai jalur default untuk atensi. Kalau kamu memakai framework seperti PyTorch dengan kernel atensi teroptimasi, kemungkinan besar FlashAttention sudah berjalan di belakang layar tanpa kamu sadari.

Praktisi yang menjalankan model besar di GPU tunggal merasakan manfaatnya paling jelas: konteks panjang yang tadinya gagal karena kehabisan memori jadi bisa dijalankan.

Batasan dan salah paham umum

FlashAttention butuh GPU dengan arsitektur tertentu. Di perangkat keras lama atau NPU khusus, versi teroptimasi ini mungkin tidak tersedia, dan framework akan jatuh ke atensi biasa.

Salah paham umum: menganggap FlashAttention mempercepat seluruh model. Yang dipercepat hanya bagian atensi. Bagian lain seperti lapisan feed-forward tetap memakan waktu yang sama.

Salah paham kedua: mengira ini teknik kompresi. Tidak ada informasi yang dibuang. Hasil keluarannya sama dengan atensi standar, hanya jalur komputasinya yang lebih efisien.

Rujukan resmi

  • Dao, Fu, Ermon, Rudra, Ré, "FlashAttention: Fast and Memory-Efficient Exact Attention with IO-Awareness", arXiv:2205.14135 (27 Mei 2022).
  • Dokumentasi PyTorch tentang scaled dot-product attention: pytorch.org/docs/stable/generated/torch.nn.functional.scaled_dot_product_attention.html (dicek 15 November 2026).

Istilah Terkait

Self-AttentionTransformerKV CachePagedAttentionGrouped-Query Attention (GQA)