Apa itu Top-k Sampling (Penyaringan Probabilitas Token AI)?

Apa itu Top-k Sampling?

Top-k Sampling adalah teknik pemotongan (truncation) distribusi probabilitas pada saat model bahasa besar (Large Language Model) memilih token kata berikutnya selama proses pembangkitan teks (decoding / inference).

Dalam model bahasa autoregresif, pada setiap langkah inferensi, lapisan akhir model (softmax layer) menghitung skor probabilitas untuk seluruh kosakata (vocabulary) yang berjumlah puluhan ribu hingga ratusan ribu kata. Tanpa penyaringan, ada kemungkinan kecil model memilih kata yang sangat janggal atau tidak relevan (sampling tail tokens). Top-k menyelesaikan masalah ini dengan menyortir seluruh token dari yang paling mungkin, lalu hanya mempertahankan sejumlah $k$ token teratas dan membuang sisanya dari perhitungan seleksi.

Bagaimana mekanisme kerja Top-k Sampling?

1. Perhitungan Distribusi Skor: Model menghasilkan daftar skor probabilitas untuk seluruh token kosakata berdasarkan konteks kalimat sebelumnya.
2. Pemilihan Ambang $k$ Token: Algoritma menyortir kandidat dari probabilitas tertinggi dan memotong daftar tepat pada posisi ke-$k$. Sebagai contoh, jika nilai parameter diatur ke $k = 40$, hanya 40 kata dengan probabilitas tertinggi yang dipertimbangkan. Seluruh kata di urutan ke-41 dan seterusnya langsung dieliminasi (probabilitasnya diset menjadi 0).
3. Renormalisasi Distribusi: Probabilitas dari $k$ kandidat terpilih dihitung ulang agar total jumlah probabilitasnya kembali bernilai 1 (100%).
4. Pengambilan Sampel Acak Berbobot: Model memilih satu kata dari kelompok $k$ tersebut berdasarkan distribusi probabilitas yang sudah dinormalisasi.

Contoh simulasi nilai Top-k

Misalkan kalimat yang sedang disusun adalah: "Langit sore ini tampak sangat..." Daftar probabilitas token awal:

• Cerah: 45%
• Indah: 25%
• Jingga: 15%
• Gelap: 10%
• Meja: 0.001%
• Sepatu: 0.0005%

Jika nilai $k = 3$:

• Token yang lolos seleksi hanyalah: Cerah, Indah, dan Jingga.
• Token Gelap, Meja, dan Sepatu dibuang seluruhnya.
• Ketiga token terpilih kemudian dinormalisasi ulang, sehingga model tidak akan pernah secara tak sengaja memilih kata "Meja" atau "Sepatu" yang merusak makna kalimat.

Perbedaan Top-k dengan Top-p dan Temperature

• Top-k (Kandidat Tetap): Membatasi seleksi berdasarkan jumlah pasti token (misalnya tepat 40 kata teratas), tanpa memedulikan apakah probabilitas kumulatifnya besar atau kecil.
• Top-p / Nucleus Sampling (Batas Kumulatif Dinamis): Membatasi seleksi berdasarkan total persentase kumulatif probabilitas (misalnya mengumpulkan kata-kata teratas sampai jumlah persentasenya mencapai 90%). Jumlah kata yang lolos bisa berubah-ubah tergantung tingkat keyakinan model.
• Temperature (Penskalaan Keacakan): Mengatur kehalusan kurva probabilitas sebelum pemotongan dilakukan. Temperature tinggi membuat distribusi lebih merata (lebih kreatif), sedangkan temperature rendah membuat kata dengan probabilitas tertinggi menjadi sangat dominan.

Di banyak antarmuka pemrograman (seperti API Anthropic Claude atau Google Gemini), parameter Top-k dan Top-p sering dikombinasikan untuk menjaga keseimbangan antara keberagaman teks dan ketepatan tata bahasa.

Batasan dan salah paham umum

• Nilai $k$ terlalu kecil ($k = 1$): Jika $k = 1$, teknik ini berubah menjadi Greedy Decoding murni, di mana model selalu memilih kata dengan probabilitas teratas. Hal ini sering membuat hasil teks menjadi kaku, monoton, dan rentan terhadap pengulangan frasa yang berulang-ulang (repetitive loops).
• Nilai $k$ terlalu besar ($k = 500$): Memberi ruang terlalu lebar bagi kata-kata aneh yang berada di ekor probabilitas (long-tail hallucination), terutama ketika model menghadapi konteks kalimat yang ambigu.
• Kekakuan konteks: Top-k tidak adaptif terhadap situasi. Saat model sangat yakin (misalnya setelah kata "Perserikatan Bangsa-"), pilihan kata berikutnya sebenarnya hanya satu ("Bangsa"). Namun dengan $k = 40$, sistem tetap mempertahankan 39 kata lain yang tidak relevan. Kelemahan inilah yang kemudian disempurnakan oleh teknik Top-p Sampling.

Rujukan resmi

• Fan, Lewis, & Dauphin (Facebook AI Research): Hierarchical Neural Story Generation (Makalah ilmiah perintis perumusan Top-k Random Sampling untuk model bahasa, Pengecekan: 3 Oktober 2026, rujukan resmi: arxiv.org/abs/1805.04833).
• Hugging Face Transformers Documentation: Generation Strategies & Top-K Sampling Parameters (Pengecekan: 3 Oktober 2026, rujukan resmi: huggingface.co/docs/transformers/main/en/generation_strategies).
• Anthropic Claude API Reference: Sampling Parameters (temperature, top_k, top_p) (Pengecekan: 3 Oktober 2026, rujukan resmi: docs.anthropic.com/en/api/sampling-parameters).