Langsung ke konten

Apa itu Cross-Entropy Loss (Fungsi Kerugian Entropi Silang)?

Cross-entropy loss mengukur seberapa jauh distribusi probabilitas prediksi model dari jawaban benar. Angka inilah yang diperkecil saat model dilatih.

Apa itu Cross-Entropy Loss?

Cross-entropy loss adalah fungsi kerugian yang mengukur selisih antara distribusi probabilitas yang diprediksi model dan distribusi sebenarnya. Google Machine Learning Glossary menyebutnya sebagai generalisasi Log Loss untuk masalah klasifikasi banyak kelas, dan menjelaskan bahwa cross-entropy mengukur perbedaan antara dua distribusi probabilitas.

Kalau kamu pernah membaca "model dilatih untuk meminimalkan loss", yang dimaksud hampir selalu cross-entropy.

Cara kerja

Untuk satu contoh dengan label benar $y$ dan prediksi model $p$, nilainya:

$$L = -\sum_{c=1}^{C} y_c \log(p_c)$$

Karena label biasanya one-hot (hanya satu kelas bernilai 1), rumusnya menyederhana menjadi $L = -\log(p_y)$: minus logaritma dari probabilitas yang diberikan model pada jawaban benar.

Konsekuensinya tajam:

  • Model memberi probabilitas 0,9 pada jawaban benar → loss ≈ 0,105. Kecil.
  • Model memberi 0,5 → loss ≈ 0,693.
  • Model memberi 0,01 → loss ≈ 4,605. Besar, dan gradiennya kuat untuk memperbaiki.

Sifat minus logaritma inilah yang membuat model didorong keras untuk tidak terlalu yakin pada jawaban salah.

PyTorch mengimplementasikannya di torch.nn.CrossEntropyLoss dengan catatan penting: input yang diharapkan adalah logits yang belum dinormalisasi, bukan probabilitas. PyTorch secara internal menerapkan log-softmax, jadi kamu tidak perlu memanggil softmax dulu. Melakukannya dua kali adalah bug yang sering terjadi.

Contoh pemakaian

import torch, torch.nn as nn

loss_fn = nn.CrossEntropyLoss()
logits = torch.tensor([[2.0, 0.5, -1.0]])   # 3 kelas
target = torch.tensor([0])                   # jawaban benar = kelas 0
print(loss_fn(logits, target))               # tensor(0.4076)

Model bahasa memakai varian yang sama, hanya saja diulang untuk setiap posisi token. Ini disebut next-token prediction loss. Untuk 1.000 token dalam satu batch, loss dirata-ratakan dari 1.000 posisi.

Pelengkap praktisnya: perplexity = $e^{\text{cross-entropy}}$. Kalau loss 2,30, perplexity ≈ 10, artinya model seperti memilih di antara sekitar 10 kemungkinan yang sama besarnya. Karena itu kedua metrik ini selalu muncul berpasangan di paper model bahasa.

Batasan dan salah paham umum

Cross-entropy bukan akurasi. Loss rendah tidak otomatis berarti akurasi tinggi, terutama saat data tidak seimbang. Dataset dengan 99 persen kelas A bisa diberi loss rendah oleh model yang selalu menebak A.

Tidak tahan label salah. Cross-entropy menghukum keras prediksi yang benar-benar tepat kalau labelnya salah. Ini alasan dilakukannya pembersihan dataset dan teknik label smoothing.

Jangan memberi probabilitas sebagai input PyTorch. Sesuai dokumentasi, fungsi ini mengharapkan logits. Memberi hasil softmax membuat gradien mengecil dan pelatihan melambat.

Bukan satu-satunya loss yang sah. Untuk regresi dipakai MSE, untuk tugas dengan kelas tidak seimbang ekstrem ada focal loss, dan untuk penyelarasan preferensi ada DPO. Cross-entropy tetap standar untuk klasifikasi dan pemodelan bahasa.

Loss tidak bisa dibandingkan antar model. Nilai 1,8 di satu model dan 1,8 di model lain belum tentu setara, karena bergantung pada tokenizer dan ukuran kosakata. Yang bisa dibandingkan adalah kurva penurunan pada model yang sama.

Istilah terkait

Perplexity, Softmax, Logits, Fine-Tuning, Reward Model, Temperature (Parameter AI)

Rujukan resmi

  • Google. Machine Learning Glossary — cross-entropy. developers.google.com/machine-learning/glossary — diakses 10 November 2026.
  • PyTorch. torch.nn.CrossEntropyLoss. docs.pytorch.org/docs/2.15/generated/torch.nn.CrossEntropyLoss.html — diakses 10 November 2026.
  • Google. Machine Learning Glossary — perplexity. developers.google.com/machine-learning/glossary — diakses 10 November 2026.

Istilah Terkait

PerplexitySoftmaxLogitsFine-TuningReward Model (Model Penghargaan AI)LLM (Large Language Model)