Apa itu DPO (Direct Preference Optimization)?

Apa itu DPO?

DPO (Direct Preference Optimization) adalah metode penyelarasan (alignment) model kecerdasan buatan dengan preferensi manusia yang diperkenalkan oleh para peneliti dari Stanford University pada tahun 2023. DPO hadir sebagai alternatif yang jauh lebih stabil dan efisien dibanding metode pendahulunya, yaitu RLHF (Reinforcement Learning from Human Feedback).

Pada metode RLHF konvensional, proses penyelarasan harus melalui tahapan rumit: mengumpulkan data umpan balik manusia, melatih model penghargaan terpisah (Reward Model), lalu menggunakan algoritma pembelajaran penguatan yang rawan tidak stabil (seperti PPO / Proximal Policy Optimization) untuk mengoptimalkan model utama. DPO membuktikan secara matematis bahwa fungsi tujuan penyelarasan preferensi dapat diselesaikan secara langsung pada model bahasa itu sendiri hanya dengan satu fungsi rugi (loss function) klasifikasi biner tertutup.

Bagaimana DPO bekerja secara matematis?

Kunci terobosan DPO terletak pada pembuktian bahwa model bahasa autoregresif itu sendiri dapat diperlakukan sebagai model penghargaan implisit:

$$r(x, y) = \beta \log \frac{\pi_\theta(y|x)}{\pi_{\text{ref}}(y|x)}$$

Di mana:

• $\pi_\theta(y|x)$ adalah probabilitas jawaban yang dihasilkan oleh model yang sedang dilatih.
• $\pi_{\text{ref}}(y|x)$ adalah probabilitas jawaban dari model referensi dasar (frozen base model).
• $\beta$ adalah hiperparameter pengatur kekuatan penalti divergensi KL agar model tidak melupakan kemampuan dasarnya.

Selama proses pelatihan DPO:

1. Dataset pelatihan disusun dalam format pasangan respon: satu prompt $x$, satu respon yang dipilih/disukai manusia ($y_w$ / chosen), dan satu respon yang ditolak/kurang disukai ($y_l$ / rejected).
2. Fungsi rugi DPO memaksimalkan probabilitas log dari respon $y_w$ relatif terhadap model referensi, sekaligus secara bersamaan menekan probabilitas dari respon $y_l$.
3. Proses ini berjalan layaknya pelatihan supervised fine-tuning (SFT) standar, tanpa perlu sampling teks dinamis, tanpa model reward terpisah, dan tanpa ketidakstabilan numerik PPO.

Keuntungan utama DPO bagi praktisi AI

1. Stabilitas Pelatihan Tinggi: Menghilangkan masalah klasik algoritma RL seperti reward hacking (model mengakali metrik agar skor tinggi walau jawabannya ngawur) dan ledakan gradien.
2. Kebutuhan Memori GPU Jauh Lebih Rendah: Pada RLHF PPO, pengembang harus memuat empat model sekaligus di memori GPU (model aktor, model kritik/reward, model referensi, dan model nilai). Pada DPO, hanya ada model aktif dan model referensi dasar, sehingga memangkas kebutuhan VRAM hingga lebih dari 50%.
3. Adopsi Luas di Komunitas Open-Source: Mayoritas model bahasa terbuka generasi modern (seperti keluarga model Llama, Mistral, Zephyr, dan Qwen) mengandalkan DPO atau variannya (seperti IPO dan KTO) dalam tahap akhir penyelarasan instruksi chat.

Batasan dan salah paham umum

• Bukan pengganti tahap Supervised Fine-Tuning (SFT): DPO bukan teknik pelatihan mandiri dari model mentah. Model harus dilatih terlebih dahulu melalui SFT dengan instruksi yang rapi agar mampu merespons percakapan sebelum diselaraskan menggunakan DPO.
• Kualitas data pasangan sangat menentukan: Jika dataset preferensi memuat penilaian subjektif yang kontradiktif atau label $y_w$ dan $y_l$ tertukar, performa model justru akan terdegradasi secara cepat.
• Risiko Overfitting: Pelatihan DPO yang dilakukan terlalu banyak putaran (epochs) dapat menyebabkan nilai log-likelihood model kolaps, membuat teks yang dihasilkan menjadi kaku dan monoton.

Rujukan resmi

• Rafailov et al. (Stanford University): Direct Preference Optimization: Your Language Model is Secretly a Reward Model (Makalah resmi perintis DPO, Pengecekan: 30 September 2026, rujukan resmi: arxiv.org/abs/2305.18290).
• Hugging Face TRL (Transformer Reinforcement Learning) Documentation: DPO Trainer Guide (Pengecekan: 30 September 2026, rujukan resmi: huggingface.co/docs/trl/dpo_trainer).
• NeurIPS 2023 Proceedings: Direct Preference Optimization Research Paper Presentation (Pengecekan: 30 September 2026, rujukan resmi: nips.cc).