Apa itu Tokenizer BPE (Byte Pair Encoding)?
BPE adalah algoritma pembentuk kosakata tokenizer yang menggabungkan pasangan byte atau karakter paling sering muncul berulang kali sampai kosakata model penuh.
Apa itu Tokenizer BPE?
Byte Pair Encoding (BPE) adalah algoritma yang dipakai banyak model bahasa besar untuk memecah teks menjadi token sekaligus membangun daftar kosakata (vocabulary) model itu. Ide dasarnya sederhana: mulai dari unit terkecil berupa karakter atau byte, lalu gabungkan pasangan yang paling sering bersebelahan, ulangi ribuan kali, dan hasil akhirnya adalah kamus potongan kata yang efisien.
Teknik ini dipopulerkan untuk pemrosesan bahasa alami oleh Sennrich, Haddow, dan Birch dalam makalah Neural Machine Translation of Rare Words with Subword Units (arXiv:1508.07909, 2015) sebelum akhirnya menjadi standar industri pada GPT, Llama, dan turunannya.
Cara kerja BPE
- Inisialisasi kosakata: Setiap byte atau karakter dalam data latih jadi satu entri. Untuk UTF-8 murni, titik awalnya sekitar 256 simbol.
- Hitung frekuensi pasangan: Seluruh korpus dipindai, lalu pasangan simbol yang paling sering berdampingan dicatat.
- Gabungkan pasangan teratas: Pasangan dengan frekuensi tertinggi dilebur jadi simbol baru dan ditambahkan ke kosakata. Contoh:
e+rmenjadier. - Ulangi sampai target: Langkah 2 dan 3 diulang hingga jumlah kosakata menyentuh batas yang ditentukan (misalnya 100.000 sampai 200.000 entri).
- Simpan aturan merge: Aturan peleburan disimpan berurutan. Saat model dipakai, teks baru melewati aturan yang sama sehingga hasil pemecahannya konsisten dengan saat latihan.
Contoh pemakaian
Kata Indonesia "menggunakan" jarang muncul utuh di kosakata model global yang dilatih dominan bahasa Inggris, jadi BPE memecahnya menjadi beberapa potongan seperti meng + guna + kan. Beda dengan kalimat sederhana seperti "saya makan" yang bisa jadi hanya tiga token karena tiap katanya populer.
Efek praktisnya terasa di tagihan API: kalimat Indonesia yang sama panjangnya dengan kalimat Inggris bisa memakan 20 sampai 40 persen token lebih banyak. Ini penting saat menghitung batas context window dan biaya produksi.
Batasan dan salah paham umum
- BPE bukan satu-satunya algoritma. WordPiece (dipakai BERT) dan SentencePiece/Unigram (dipakai Llama, Gemini) berbeda pendekatan meski tujuannya sama: memecah teks jadi sub-kata.
- Kosakata tidak bisa dibaca sebagai kamus biasa. Token seperti
ingatau_kantidak punya arti mandiri; maknanya baru muncul lewat kombinasi di lapisan transformer. - Tokenizer terikat model. Kamu tidak bisa memakai tokenizer GPT untuk menghitung token Claude atau Gemini secara presisi. Selalu pakai library resmi provider masing-masing.
- BPE tidak setara dengan "jumlah kata". Satu emoji, potongan kode, atau angka panjang bisa memakan banyak token sekaligus.
Rujukan resmi
- Sennrich, Haddow, Birch. Neural Machine Translation of Rare Words with Subword Units. arXiv:1508.07909 (10 Juni 2015). https://arxiv.org/abs/1508.07909
- OpenAI. tiktoken — implementasi BPE open-source untuk tokenizer GPT. https://github.com/openai/tiktoken (dicek 11 November 2026)
- Google. SentencePiece: A simple and language independent subword tokenizer. https://github.com/google/sentencepiece (dicek 11 November 2026)
Dicek 11 November 2026.
Istilah Terkait