Apa itu Softmax (Fungsi Aktivasi Probabilitas)?
Softmax mengubah deretan skor mentah model menjadi probabilitas yang totalnya 1, sehingga tiap kandidat token punya peluang terpilih yang bisa dibandingkan.
Apa itu Softmax?
Softmax adalah fungsi matematika yang dipakai hampir semua model bahasa modern di lapisan terakhirnya. Tugasnya satu: mengubah deretan angka bebas yang disebut logits menjadi probabilitas yang jumlahnya tepat 1. Tanpa softmax, keluaran model cuma deretan skor tanpa arti peluang.
Fungsi ini diperkenalkan lewat arsitektur Transformer pada 2017 dan tetap dipakai apa adanya sampai sekarang. Kalau kamu pernah membaca penjelasan bahwa model "memilih kata berikutnya", proses pemilihan itu terjadi di sini.
Cara kerja Softmax
Rumusnya sederhana. Untuk setiap skor $x_i$ dalam sebuah vektor, softmax menghitung:
$$\text{Softmax}(x_i) = \frac{\exp(x_i)}{\sum_j \exp(x_j)}$$
Dokumentasi PyTorch 2.15 mendefinisikannya persis begitu, dengan catatan bahwa keluarannya berada di rentang [0,1] dan totalnya 1 di sepanjang dimensi yang dipilih.
Tiga langkah praktisnya:
- Eksponensial. Setiap skor diangkat jadi $e^{x}$. Ini membuat semua angka positif, termasuk skor negatif.
- Penjumlahan. Semua hasil eksponensial dijumlahkan jadi satu angka penyebut.
- Pembagian. Tiap nilai dibagi penyebut tadi. Hasilnya probabilitas.
Sifat penting: selisih skor tetap dipertahankan, tapi dalam bentuk rasio. Model yang memberi skor 10 dan 8 tidak menghasilkan probabilitas 10 dan 8, melainkan sekitar 0,88 dan 0,12. Selisih 2 poin jadi selisih peluang yang besar karena sifat eksponensial.
Efek sampingnya, softmax peka terhadap skala. Skor 100 dan 99 nyaris menghasilkan probabilitas 1 dan 0, sementara skor 1 dan 0 menghasilkan 0,73 dan 0,27. Karena itu praktik umum mengurangi nilai maksimum dari seluruh vektor sebelum eksponensial (log-sum-exp trick) supaya tidak terjadi overflow.
Contoh pemakaian
Bayangkan model sedang menyelesaikan kalimat "Ibu membeli ... di pasar". Setelah melewati seluruh lapisan neural network, keluar logits seperti ini:
| Token | Logit |
|---|---|
| beras | 4,2 |
| sayur | 3,1 |
| buku | 0,4 |
| bensin | -1,2 |
Softmax mengubahnya jadi kira-kira 0,72 untuk "beras", 0,24 untuk "sayur", 0,03 untuk "buku", dan 0,006 untuk "bensin". Angka-angka inilah yang kemudian dipakai oleh strategi sampling seperti temperature atau top-p untuk menentukan token mana yang benar-benar diambil.
Di kode, pemanggilannya singkat:
import torch, torch.nn as nn
m = nn.Softmax(dim=1)
logits = torch.tensor([[4.2, 3.1, 0.4, -1.2]])
print(m(logits)) # tensor([[0.7195, 0.2391, 0.0161, 0.0033]])
Batasan dan salah paham umum
Softmax bukan pengukur keyakinan yang jujur. Nilai 0,99 tidak berarti model benar 99 persen. Model bahasa bisa sangat yakin sekaligus salah total. Ini yang jadi akar istilah halusinasi AI.
Jangan menyamakan softmax dengan sigmoid. Sigmoid dipakai untuk klasifikasi biner dan keluarannya tidak saling bergantung. Softmax dipakai saat kandidat lebih dari dua dan distribusinya harus berjumlah 1.
Softmax tidak memilih apa pun. Fungsi ini hanya mengubah skor jadi probabilitas. Yang memilih adalah strategi decoding di atasnya: greedy, sampling, atau beam search.
Numerik bisa meledak. Eksponensial dari angka besar menghasilkan infinity. Implementasi produksi selalu memakai versi stabil secara numerik, dan PyTorch menyarankan LogSoftmax bila hasilnya mau dipakai bersama NLLLoss.
Istilah terkait
Logits, Temperature (Parameter AI), Top-p, Top-k Sampling, Cross-Entropy Loss, Inferensi AI
Rujukan resmi
- PyTorch. torch.nn.Softmax. docs.pytorch.org/docs/2.15/generated/torch.nn.Softmax.html — diakses 10 November 2026.
- Vaswani et al. Attention Is All You Need. arXiv:1706.03762 (2017).
- Google. Machine Learning Glossary — logits. developers.google.com/machine-learning/glossary — diakses 10 November 2026.
Istilah Terkait