Apa itu Frequency Penalty (Penalti Frekuensi Kata AI)?

Apa itu Frequency Penalty?

Frequency Penalty adalah parameter matematis dalam inferensi model bahasa besar (LLM) yang digunakan untuk mencegah pengulangan kata atau frasa yang sama secara berlebihan di dalam teks yang dihasilkan.

Nilai parameter ini umumnya berkisar antara -2.0 hingga 2.0. Nilai positif menghukum token berdasarkan frekuensi kemunculannya sejauh ini, sedangkan nilai 0.0 menandakan parameter tidak aktif.

Cara kerja Frequency Penalty

Perbedaan mendasar antara Frequency Penalty dan Presence Penalty terletak pada perhitungannya:

• Rumus Logit: Sebelum menerapkan fungsi softmax untuk memilih token berikutnya, sistem memodifikasi skor logit setiap kandidat kata: $$\text{logit}' = \text{logit} - (c \times \text{frequency_penalty})$$ di mana $c$ adalah total hitungan (count) berapa kali token tersebut telah muncul di seluruh teks respons yang sudah diproduksi.
• Semakin Sering Muncul, Semakin Berat Penaltinya: Jika sebuah kata (misalnya kata "sangat" atau "solusi") sudah muncul 4 kali, penalti yang diterimanya 4 kali lebih besar dibanding kata yang baru muncul 1 kali. Ini mendorong model mencari sinonim atau struktur kalimat alternatif.

Contoh pemakaian praktis

Contoh 1: Mengatasi repetisi teks pada esai panjang

{
  "model": "gpt-4o",
  "temperature": 0.7,
  "frequency_penalty": 0.5,
  "messages": [
    {"role": "user", "content": "Tuliskan deskripsi 3 paragraf mengenai pentingnya menjaga kelestarian hutan bakau."}
  ]
}

Nilai 0.5 membantu teks terdengar dinamis dengan ragam kosakata yang kaya tanpa membuat model memaksakan sinonim yang janggal.

Contoh 2: Menghindari pengulangan kode pemrograman

Pada penulisan kode, nilai frequency penalty sebaiknya tetap dibiarkan 0.0. Menyetel nilai positif saat menulis kode dapat membuat model menghindari pemanggilan nama variabel atau fungsi yang memang wajib dipakai berulang kali.

Batasan dan salah paham umum

• Bukan Presence Penalty: Presence penalty memberikan hukuman tetap sekali saja jika kata pernah muncul (tanpa peduli frekuensinya), sedangkan frequency penalty hukumannya bertambah seiring banyaknya kemunculan.
• Jangan disetel terlalu tinggi (> 1.2): Penalti yang terlampau agresif akan memaksa model menghindari kata-kata dasar tata bahasa (seperti "dan", "yang", "pada") sehingga kalimat menjadi rancu atau tata bahasanya rusak.
• Nilai negatif memperbanyak repetisi: Nilai negatif (misalnya -1.0) justru memberi insentif kepada model untuk mengulang-ulang frasa yang sama.

Rujukan resmi

• OpenAI Documentation — API Reference: Chat Completions (frequency_penalty & presence_penalty): platform.openai.com/docs/api-reference/chat/create (Pengecekan: 13 Oktober 2026)
• Microsoft Azure OpenAI Service Documentation — Parameter Reference Guide for Generative AI: learn.microsoft.com/azure/ai-services/openai/reference (Pengecekan: 13 Oktober 2026)