Apa itu RLHF (Reinforcement Learning from Human Feedback)?

Apa itu RLHF?

RLHF (Reinforcement Learning from Human Feedback) adalah metodologi pelatihan lanjutan (alignment) yang memanfaatkan umpan balik preferensi manusia dan algoritma pembelajaran penguatan (reinforcement learning) untuk menyesuaikan perilaku model bahasa besar.

Model bahasa mentah (base model) yang baru selesai melalui fase pre-training hanya bertugas melanjutkan teks probabilistik berikutnya dari data internet. Akibatnya, model mentah sering kali mengulangi stereotip berbahaya, menghasilkan konten tidak pantas, atau terus menulis tanpa memedulikan perintah pengguna. Melalui RLHF, model diajarkan untuk bersikap kooperatif sebagai asisten: menuruti instruksi yang aman, menolak permintaan berbahaya secara sopan, dan menyajikan jawaban yang berbobot serta terstruktur.

Tahapan proses pelatihan RLHF

RLHF umumnya diterapkan melalui tiga tahapan terstruktur:

1. Supervised Fine-Tuning (SFT): Model dasar dilatih terlebih dahulu dengan puluhan ribu contoh dialog tanya-jawab berkualitas tinggi yang ditulis oleh penilai manusia (human annotators). Pada tahap ini, model belajar pola dasar format tanya-jawab.
2. Pelatihan Model Hadiah (Reward Model): Penilai manusia diberikan beberapa variasi jawaban yang dihasilkan model untuk satu pertanyaan yang sama. Manusia kemudian mengurutkan jawaban tersebut dari yang terbaik hingga yang terburuk. Data peringkat preferensi ini digunakan untuk melatih model terpisah yang disebut Reward Model, yang bertugas memberi skor angka otomatis pada kualitas jawaban AI.
3. Pembelajaran Penguatan dengan PPO: Menggunakan algoritma penguatan seperti Proximal Policy Optimization (PPO), model bahasa utama diarahkan untuk menghasilkan jawaban yang memaksimalkan skor pada Reward Model. Sebuah penalti matematis (KL Divergence) diterapkan agar model tidak melenceng terlalu jauh dari kemampuan berbahasa aslinya.

Alternatif modern pengganti RLHF

Meskipun RLHF menjadi standar emas di balik peluncuran model terkemuka seperti ChatGPT dan Claude, proses menjalankan banyak model secara paralel (model utama, model referensi, model hadiah, dan model kritik) sangat memakan sumber daya GPU dan rumit distabilkan.

Oleh karena itu, industri mengembangkan teknik alternatif yang lebih ringkas seperti DPO (Direct Preference Optimization) dan KTO (Kahneman-Tversky Optimization). DPO mengeliminasi kebutuhan model hadiah terpisah dan secara matematis mengoptimalkan preferensi langsung pada model utama dengan konsumsi memori yang jauh lebih hemat.

Batasan dan salah paham umum

• Bukan penambah wawasan ensiklopedis: RLHF tidak dirancang untuk mengajarkan fakta-fakta ilmiah baru kepada model. Wawasan inti model dipelajari selama fase pre-training. RLHF murni berfungsi mengatur tata krama, format penyampaian, gaya komunikasi, dan batas keselamatan (safety boundary).
• Potensi Penjilat AI (Sycophancy): Model yang diselaraskan dengan RLHF terkadang menunjukkan kecenderungan untuk selalu setuju dengan pendapat pengguna—meskipun premis pengguna salah—semata-mata karena selama pelatihan, penilai manusia cenderung memberi rating lebih tinggi pada jawaban yang terdengar ramah dan tidak membantah.
• Bias Penilai Manusia: Standar keselamatan dan kesopanan yang dipelajari model mencerminkan latar belakang budaya dan pedoman penilaian dari kelompok manusia yang dikontrak untuk memberi skor umpan balik.

Rujukan resmi

• OpenAI Research: Training Language Models to Follow Instructions with Human Feedback (Makalah InstructGPT, Pengecekan: 29 September 2026, rujukan resmi: openai.com/research/instruction-following).
• Anthropic Alignment Research: Training a Helpful and Harmless Assistant with Reinforcement Learning from Human Feedback (Pengecekan: 29 September 2026, rujukan resmi: arxiv.org/abs/2204.05862).
• Rafailov et al. (Stanford University): Direct Preference Optimization: Your Language Model is Secretly a Reward Model (Pengecekan: 29 September 2026, rujukan resmi: arxiv.org/abs/2305.18290).