Apa itu Reward Model? Cara Kerja dalam Pelatihan AI

Reward model adalah model AI terpisah yang dilatih untuk menilai seberapa baik output sebuah LLM sesuai preferensi manusia, lalu dipakai sebagai sinyal pelatihan dalam proses RLHF.

Apa itu reward model?

Melatih LLM supaya jawabannya benar-benar berguna dan aman itu sulit karena tidak ada rumus matematis tunggal yang mendefinisikan "jawaban yang baik". Solusinya: manusia menilai ratusan pasangan respons, lalu penilaian itu dipakai melatih model AI kedua—inilah reward model.

Reward model bertugas satu hal: memberi skor numerik pada output LLM. Skor tinggi berarti respons berkualitas; skor rendah berarti respons buruk, berbahaya, atau tidak relevan.

Cara kerjanya dalam pipeline RLHF

RLHF (Reinforcement Learning from Human Feedback) berjalan dalam tiga fase:

Fase 1 — Kumpulkan preferensi manusia Tim anotator diberi beberapa variasi respons dari model yang sama, lalu memilih yang terbaik. Misalnya: "Lebih suka jawaban A atau B untuk pertanyaan ini?"

Fase 2 — Latih reward model Data preferensi dipakai melatih reward model—biasanya versi lebih kecil dari LLM utama—untuk memprediksi respons mana yang akan dipilih manusia. Output-nya adalah satu angka skalar.

Fase 3 — Optimalkan LLM dengan RL LLM utama dioptimalkan menggunakan algoritma RL (biasanya PPO—Proximal Policy Optimization) dengan target memaksimalkan skor dari reward model, sambil tidak terlalu jauh dari model awal (KL divergence penalty).

Input → LLM → Respons → Reward Model → Skor → PPO Update → LLM yang lebih baik

Contoh nyata

OpenAI menggunakan reward model dalam pelatihan GPT-3.5-turbo dan GPT-4. Anthropic memakai proses serupa untuk Claude dengan tambahan Constitutional AI (evaluasi berbasis aturan prinsip).

Dalam paper InstructGPT (2022), reward model dilatih dari ~33.000 pasangan perbandingan yang dianotasi manusia, kemudian dipakai melatih LLM via PPO.

Batasan dan salah paham umum

Reward hacking: LLM bisa belajar "mengelabui" reward model—menghasilkan respons yang skor-nya tinggi tapi tidak benar-benar berguna. Ini disebut reward hacking atau Goodhart's Law.

Bukan oracle sempurna: Reward model hanya seakurat data manusia yang melatihnya. Bias anotator langsung masuk ke reward model, lalu ke LLM.

Bukan satu-satunya pendekatan: Constitutional AI (Anthropic) menggantikan sebagian anotasi manusia dengan evaluasi berbasis aturan tertulis—mengurangi ketergantungan pada anotator.

Istilah terkait

RLHF
Fine-Tuning
DPO
Constitutional AI
LLM

Rujukan resmi

OpenAI InstructGPT paper: https://arxiv.org/abs/2203.02155 (Ouyang et al., 2022)
Anthropic Constitutional AI: https://www.anthropic.com/research/constitutional-ai-harmlessness-from-ai-feedback (diakses 8 Oktober 2026)

Apa itu Reward Model (Model Penghargaan AI)?