Apa itu Tokenisasi AI (Proses Pemecahan Teks LLM)?

Apa itu Tokenisasi AI?

Tokenisasi adalah langkah pra-pemrosesan paling mendasar dalam sistem pemrosesan bahasa alami dan model bahasa besar (Large Language Model), di mana rangkaian teks mentah bahasa manusia dipecah menjadi potongan-potongan unit linguistik terkecil yang disebut token, lalu dipetakan menjadi bilangan bulat (token IDs) berdasarkan daftar kosa kata tetap (vocabulary).

Model kecerdasan buatan berbasis Transformer pada prinsip fisiknya tidak membaca huruf atau kata seperti manusia; komputer hanya dapat memproses operasi matriks aljabar dan bilangan angka. Oleh sebab itu, sebelum suatu perintah (prompt) diteruskan ke lapisan jaringan saraf tiruan, perangkat lunak tokenizer mengubah teks tersebut menjadi rangkaian bilangan integer yang unik. Begitu inferensi selesai, proses sebaliknya (detokenization) menerjemahkan angka prediksi model kembali menjadi kata-kata yang dapat dibaca manusia.

Algoritma tokenisasi populer: BPE dan WordPiece

Dalam ekosistem model bahasa modern, algoritma yang paling banyak digunakan adalah Subword Tokenization, di mana kata yang umum dipertahankan utuh, sedangkan kata yang panjang atau jarang ditemukan dipecah menjadi beberapa fragmen suku kata:

1. Byte-Pair Encoding (BPE): Algoritma yang digunakan oleh keluarga model GPT (OpenAI) seperti pustaka tiktoken, serta Llama (Meta). BPE memulai proses dari karakter dasar atau tingkat bita (byte-level), lalu menggabungkan pasangan karakter yang paling sering muncul secara berulang hingga membentuk ukuran kamus kosa kata yang diinginkan (misalnya 100.000 hingga 128.000 token).
2. WordPiece: Algoritma yang dipopulerkan oleh Google pada model BERT. Mirip dengan BPE, namun penambahan pasangan token ke kosa kata didasarkan pada skor probabilitas statistik yang memaksimalkan kecenderungan data latih (likelihood).
3. SentencePiece: Pustaka prapemrosesan bebas bahasa yang memperlakukan seluruh kalimat sebagai urutan bita mentah, termasuk spasi kosong, sehingga sangat ideal untuk bahasa non-Latin seperti Jepang, Mandarin, atau Arab tanpa memerlukan pemisah kata khusus.

Dampak tokenisasi pada biaya API dan kecerdasan model

• Efisiensi Bahasa Indonesia dan Bahasa Daerah: Model dengan kosa kata yang didominasi teks bahasa Inggris (seperti tokenizer model lawas) sering kali memecah satu kata bahasa Indonesia menjadi 3 hingga 5 token terpisah. Sebagai contoh, kata "mempertanggungjawabkannya" bisa dipecah menjadi deretan bita pecahan token, yang membuat tagihan API melambung dan mempersempit sisa kuota context window. Model generasi modern memperbesar ukuran kosa kata (128k+ entri) agar kata bahasa internasional lebih efisien.
• Kelemahan Penjumlahan Matematika dan Pembalikan Huruf: Mengapa ChatGPT terkadang kesulitan menjawab pertanyaan "Berapa huruf 'r' pada kata strawberry?" Penyebab utamanya adalah tokenisasi. Bagi model, kata "strawberry" langsung diubah menjadi satu atau dua ID token bulat (misalnya [straw] dan [berry]), sehingga model tidak "melihat" huruf 'r' secara individual kecuali diminta memecahnya secara eksplisit.

Batasan dan salah paham umum

• 1 token tidak selalu setara dengan 1 kata: Dalam bahasa Inggris, aturan praktisnya adalah 1 token rata-rata setara dengan 0,75 kata (atau sekitar 4 karakter). Namun dalam bahasa Indonesia atau kode pemrograman, 1 kata sering kali setara dengan 1,5 hingga 3 token tergantung kerumitan imbuhan morfologinya.
• Tokenizer bersifat statis setelah pelatihan: Ukuran kosa kata dan aturan pemecahan token dikunci sebelum model AI dilatih. Pengembang tidak dapat menambah kata baru ke dalam kamus tokenizer tanpa melatih ulang lapisan penyematan (embedding layer) model secara menyeluruh.

Rujukan resmi

• OpenAI Platform Documentation & Cookbook: How to Count Tokens with Tiktoken Guide (Pengecekan: 2 Oktober 2026, rujukan resmi: platform.openai.com/docs/guides/embeddings).
• Hugging Face Transformers: Summary of the Tokenizers & Subword Algorithms Documentation (Pengecekan: 2 Oktober 2026, rujukan resmi: huggingface.co/docs/transformers/tokenizer_summary).
• Sennrich et al. (University of Edinburgh): Neural Machine Translation of Rare Words with Subword Units (BPE Foundation Paper) (Pengecekan: 2 Oktober 2026, rujukan resmi: arxiv.org/abs/1508.07909).