Apa itu Sampling (Strategi Pemilihan Token Bertahap)?
Sampling adalah cara model memilih token berikutnya secara acak berbobot sesuai probabilitas, bukan selalu mengambil yang tertinggi. Ini yang membuat keluaran AI terasa bervariasi.
Apa itu Sampling?
Sampling dalam AI generatif adalah strategi memilih token berikutnya dari distribusi probabilitas yang dihasilkan model, dengan unsur acak terkontrol. Bedanya dengan greedy decoding: greedy selalu mengambil token dengan probabilitas tertinggi, sehingga prompt yang sama selalu menghasilkan teks yang sama persis. Sampling memberi ruang bagi variasi.
Istilah ini bukan hal baru di statistik. Yang baru adalah penerapannya di model bahasa, tempat sampling menentukan apakah keluaran AI terasa kaku atau hidup.
Cara kerja
Setiap langkah generasi, model menghasilkan satu distribusi probabilitas atas seluruh kosakata. Sampling mengambil satu nilai dari distribusi itu. Ada beberapa varian yang lazim:
1. Random sampling polos. Ambil token sesuai probabilitasnya. Masalahnya, ekor distribusi yang sangat panjang membuat model kadang memilih token aneh berpeluang 0,001 persen. Hasilnya ngawur.
2. Top-k sampling. Hanya k token teratas yang dipertimbangkan, sisanya dibuang. Probabilitas di antara k token itu dinormalisasi ulang. Sederhana, tapi kaku karena jumlahnya tetap.
3. Top-p (nucleus sampling). Ambil kumpulan token terkecil yang total probabilitasnya mencapai p. Kalau model sangat yakin, kumpulannya kecil. Kalau model ragu, kumpulannya melebar. Ini yang paling banyak dipakai sekarang.
4. Temperature. Sebelum sampling, logits dibagi dengan nilai temperature. Nilai di bawah 1 mempertajam distribusi, di atas 1 meratakannya. Temperature bukan strategi pemilihan, tapi pengatur bentuk distribusi yang dipakai bersama strategi di atas.
Di HuggingFace, do_sample=True mengaktifkan sampling, dan do_sample=False membuat decoding memakai greedy search. Keduanya tidak bisa dicampur dengan num_beams pada jalur yang sama.
Contoh pemakaian
Praktik umum di API model bahasa:
- Kode dan ekstraksi data: temperature rendah (0 sampai 0,3), tidak perlu variasi. Konsistensi lebih penting daripada kreativitas.
- Ringkasan dan terjemahan: temperature 0,2 sampai 0,5. Cukup bebas untuk memilih diksi, cukup ketat untuk tetap setia.
- Menulis kreatif dan brainstorming: temperature 0,7 sampai 1,0 dengan top-p 0,95.
- Lebih dari 1,0: hanya untuk eksplorasi ide liar. Risikonya model mulai keluar dari topik.
Satu hal yang sering dilupakan: menaikkan temperature tanpa mengatur top-p sama dengan membuka pintu bagi token ekor yang tidak masuk akal. Pasangkan keduanya.
Batasan dan salah paham umum
Sampling tidak menjamin keluaran lebih baik. Ia hanya menjamin lebih bervariasi. Untuk tugas faktual, variasi justru menjadi sumber kesalahan.
Temperature 0 bukan berarti sepenuhnya deterministik. Pada beberapa penyedia, temperature 0 dipetakan ke nilai sangat kecil karena pembagian dengan nol tidak bisa dilakukan. Hasil masih bisa berbeda sedikit antar panggilan.
Reproducibility terbatas. Set seed membantu dalam satu sesi, tapi hasil bisa berubah antar versi model atau antar penyedia. Jangan mengandalkan sampling untuk pengujian yang butuh hasil identik.
Sampling tidak memperbaiki model yang salah paham. Kalau model keliru membaca konteks, mengganti strategi sampling tidak menolong. Perbaiki prompt-nya.
Bukan sama sekali acak. Sampling adalah pengambilan acak dari distribusi yang dihitung dengan sangat mahal. Ini acak berpeluang, bukan lempar dadu.
Istilah terkait
Top-p, Top-k Sampling, Temperature (Parameter AI), Logits, Softmax, Beam Search, Inferensi AI
Rujukan resmi
- HuggingFace. Text generation strategies — do_sample, temperature, top_p, top_k. huggingface.co/docs/transformers/main/en/main_classes/text_generation — diakses 10 November 2026.
- PyTorch. torch.nn.functional.softmax (dasar normalisasi distribusi sebelum sampling). docs.pytorch.org/docs/2.15 — diakses 10 November 2026.
- Google. Machine Learning Glossary — temperature. developers.google.com/machine-learning/glossary — diakses 10 November 2026.
Istilah Terkait