Apa itu LoRA (Low-Rank Adaptation)?

Apa itu LoRA?

LoRA (Low-Rank Adaptation) adalah teknik penyesuaian model kecerdasan buatan yang tergolong dalam keluarga PEFT (Parameter-Efficient Fine-Tuning). Diciptakan oleh peneliti di Microsoft pada tahun 2021, LoRA dirancang untuk mengatasi mahalnya biaya komputasi saat melatih ulang model bahasa besar untuk kebutuhan domain spesifik.

Pada metode penyesuaian penuh (Full Fine-Tuning), seluruh miliaran parameter model diperbarui nilainya. Proses ini membutuhkan kapasitas VRAM raksasa untuk menyimpan gradien dan status pengoptimal, serta menghasilkan file model baru berukuran puluhan gigabyte untuk setiap varian tugas. LoRA memecahkan masalah ini dengan membekukan (freeze) bobot model dasar dan menyisipkan pasangan matriks dekomposisi kecil berperingkat rendah (low-rank matrices) di setiap lapisan modul perhatian (attention layer).

Prinsip kerja matematis dekomposisi matriks

Matriks perubahan bobot $\Delta W$ yang biasanya berukuran sangat besar (misalnya dimensi $d imes k = 4096 imes 4096 pprox 16,7$ juta parameter) dipecah menjadi perkalian dua matriks yang jauh lebih ramping:

$$\Delta W = B imes A$$

Di mana matriks $A$ berukuran $r imes k$ dan matriks $B$ berukuran $d imes r$. Huruf $r$ melambangkan rank (peringkat), yaitu angka kecil seperti 4, 8, 16, atau 32.

Jika nilai $r=8$ dipilih:

• Jumlah parameter yang perlu dihitung gradiennya turun dari 16,7 juta menjadi hanya sekitar 65.536 parameter (pengurangan lebih dari 99%).
• Selama inferensi, matriks LoRA ini dapat langsung dijumlahkan kembali ke bobot model dasar ($W = W_0 + \Delta W$), sehingga tidak menambah beban latensi komputasi sama sekali saat digunakan di lingkungan produksi.

Keuntungan utama LoRA bagi pengembang

1. Penghematan VRAM Signifikan: Melakukan fine-tuning model 7B yang biasanya membutuhkan server multi-GPU kini dapat dikerjakan pada satu kartu grafis consumer 16 GB atau 24 GB VRAM (bahkan lebih hemat jika dipadukan dengan kuantisasi 4-bit, dikenal sebagai QLoRA).
2. Ukuran Berkas Sangat Ringkas: Berkas hasil pelatihan adaptor LoRA biasanya hanya berukuran beberapa puluh hingga ratusan megabyte, bukan puluhan gigabyte seperti model dasar aslinya.
3. Portabilitas dan Kemudahan Berganti Adaptor: Satu server dapat menampung satu model dasar di memori, lalu memuat adaptor LoRA yang berbeda-beda secara instan sesuai kebutuhan pengguna (misalnya satu adaptor untuk koding, satu untuk penulisan hukum, dan satu untuk dukungan pelanggan).

Batasan dan salah paham umum

• Bukan pengganti pelatihan dasar: LoRA tidak bisa digunakan untuk membangun model bahasa dari nol. LoRA hanya bekerja di atas fondasi model terlatih yang sudah memiliki pemahaman tata bahasa dan logika dasar.
• Kapasitas adaptasi terbatas pada nilai Rank: Memilih rank $r$ yang terlalu kecil (misalnya $r=2$) mungkin tidak cukup untuk tugas spesifik yang sangat rumit atau melibatkan istilah teknis baru yang sangat asing bagi model dasar.
• Tidak otomatis mencegah halusinasi: Adaptor LoRA melatih model untuk meniru gaya bahasa, pola struktur dokumen, atau terminologi bidang tertentu, tetapi model tetap dapat memproduksi informasi keliru jika data pelatihan adaptor mengandung ketidakakuratan.

Rujukan resmi

• Hu et al. (Microsoft Research): LoRA: Low-Rank Adaptation of Large Language Models (Makalah resmi perintis LoRA, Pengecekan: 29 September 2026, rujukan resmi: arxiv.org/abs/2106.09685).
• Dettmers et al. (University of Washington): QLoRA: Efficient Finetuning of Quantized LLMs (Pengecekan: 29 September 2026, rujukan resmi: arxiv.org/abs/2305.14314).
• Hugging Face Documentation: PEFT Library - Low-Rank Adaptation (LoRA) Guide (Pengecekan: 29 September 2026, rujukan resmi: huggingface.co/docs/peft/conceptual_guides/lora).