Apa itu Logits (Skor Mentah Keluaran Model)?
Logits adalah deretan skor mentah yang dikeluarkan model sebelum dinormalisasi jadi probabilitas. Nilainya bebas, bisa negatif, dan tidak berjumlah 1.
Apa itu Logits?
Logits adalah vektor angka yang dihasilkan lapisan terakhir sebuah model klasifikasi atau model bahasa, sebelum angka itu diubah menjadi probabilitas. Google Machine Learning Glossary mendefinisikannya sebagai "vektor prediksi mentah yang belum dinormalisasi" yang biasanya langsung diumpankan ke fungsi normalisasi.
Kalau softmax adalah penerjemah, logits adalah bahasa aslinya. Setiap kandidat token punya satu nilai logit. Nilainya bisa -8,5, bisa 0, bisa 24,7. Tidak ada batas atas atau bawah, dan totalnya tidak berarti apa-apa.
Cara kerja
Model bahasa memproses urutan token masukan lewat puluhan lapisan attention. Di ujungnya ada lapisan linear yang memproyeksikan vektor tersembunyi (hidden state) ke ukuran kosakata. Kalau kosakata model 128.000 token, keluarannya 128.000 angka logits. Satu angka per token.
Angka-angka itu punya arti relatif, bukan absolut. Yang penting adalah urutan dan jaraknya. Logit 6,0 lebih mungkin dipilih daripada 2,0, tapi angka 6,0 sendiri tidak berarti "60 persen".
Beberapa hal penting soal logits:
- Skalanya tidak terbatas. Ini yang membuat softmax bisa jenuh kalau tidak ditangani hati-hati.
- Bisa negatif. Logit -3,2 artinya token itu kalah bersaing, bukan berarti mustahil.
- Bisa dipotong lebih awal. Teknik seperti top-k langsung memfilter logits sebelum softmax, bukan sesudahnya. Ini menghemat komputasi.
- Temperature bekerja di sini. Membagi logits dengan nilai temperature sebelum softmax adalah cara temperature mengatur keberagaman keluaran.
Contoh pemakaian
Kalau kamu memanggil API model bahasa dengan parameter logprobs aktif, yang kamu terima biasanya sudah dalam bentuk log probabilitas, bukan logits mentah. Konversinya: log probabilitas = logits dikurangi log-sum-exp dari seluruh vektor.
Contoh membaca keluaran:
# Setelah softmax, ambil dua kandidat teratas
probs = softmax(logits, dim=-1)
top2 = probs.topk(2)
# top2.values -> tensor([0.7195, 0.2391])
# top2.indices -> tensor([ 1174, 8821]) # id token "beras", "sayur"
Di sisi inference engine, istilah logit processing merujuk pada tahap di antara keluaran model dan sampling: memotong logits yang tidak mungkin (repetition penalty, presence penalty, bad words filter), lalu menyerahkannya ke sampler.
Batasan dan salah paham umum
Logits bukan probabilitas. Ini kesalahan paling sering. Logit 0,5 tidak berarti peluang 50 persen. Untuk mendapatkannya, harus lewat softmax dulu.
Logits tidak bisa dibandingkan antar model. Karena skalanya bergantung pada arsitektur dan bobot, logit 5,0 di satu model tidak setara dengan logit 5,0 di model lain. Bahkan tidak selalu setara antar prompt di model yang sama.
Logits tinggi bukan jaminan kualitas. Model bisa memberi logit sangat tinggi pada jawaban yang salah. Fenomena ini yang dipakai untuk mendeteksi halusinasi lewat calibration.
Sebagian API tidak mengekspos logits. Provider komersial umumnya hanya memberikan teks hasil akhir, kadang plus logprob. Akses ke logits mentah biasanya baru tersedia saat menjalankan model sendiri lewat engine seperti vLLM atau llama.cpp.
Istilah terkait
Softmax, Temperature (Parameter AI), Top-k Sampling, Cross-Entropy Loss, Logprob, Inferensi AI
Rujukan resmi
- Google. Machine Learning Glossary — logits. developers.google.com/machine-learning/glossary — diakses 10 November 2026.
- PyTorch. torch.nn.CrossEntropyLoss (menjelaskan bahwa input loss ini adalah logits yang belum dinormalisasi). docs.pytorch.org/docs/2.15/generated/torch.nn.CrossEntropyLoss.html — diakses 10 November 2026.
- HuggingFace. Text generation strategies. huggingface.co/docs/transformers — diakses 10 November 2026.
Istilah Terkait