Apa itu Token AI?
Unit potongan teks terkecil yang diproses oleh model bahasa kecerdasan buatan, dapat berupa kata utuh, suku kata, atau karakter tunggal.
Apa itu Token AI?
Token AI adalah unit data terkecil yang digunakan oleh model bahasa besar (Large Language Model / LLM) untuk membaca teks masukan dan menghasilkan tanggapan. Model kecerdasan buatan tidak memproses kata secara utuh sebagaimana manusia membaca buku, melainkan memotong kalimat menjadi pecahan-pecahan karakter yang disebut token, lalu mengubah setiap token menjadi representasi angka biner (token ID).
Sebagai patokan umum pada teks bahasa Inggris, 1 token setara dengan sekitar 4 karakter atau 0,75 kata. Sementara untuk teks bahasa Indonesia, satu kata berimbuhan (misalnya "memperbaiki") sering dipecah menjadi 2 hingga 3 token karena kamus sub-kata (vocabulary tokenizer) model AI mayoritas dioptimalkan untuk struktur bahasa Inggris.
Cara kerja tokenisasi
Proses pemecahan teks menjadi token disebut tokenisasi (tokenization). Berikut alur kerjanya:
- Penerimaan Teks Mentah: Kalimat masukan pengguna diterima oleh pustaka tokenizer (seperti
tiktokenmilik OpenAI atauSentencePiecepada model Llama/DeepSeek). - Pencocokan Algoritma BPE (Byte Pair Encoding): Algoritma memeriksa susunan karakter dari tabel kosakata yang telah dipelajari model. Kata umum seperti "buku" dihitung sebagai 1 token, sedangkan istilah teknis langka atau gabungan kata akan dipotong menjadi fragmen suku kata.
- Konversi ke Token ID: Pecahan token dipetakan menjadi angka bulat (integer ID). Angka-angka inilah yang diproses melalui lapisan transformer dan mekanisme atensi (attention mechanism).
- Detokenisasi Menjadi Jawaban: Saat menghasilkan keluaran, model memprediksi nomor token ID berikutnya secara berurutan, lalu menerjemahkannya kembali menjadi huruf dan spasi yang dapat dibaca manusia.
Contoh pemakaian dan estimasi token
- Bahasa Inggris: Kalimat "Artificial intelligence is fascinating" dipecah menjadi 4 token:
["Artificial", " intelligence", " is", " fascinating"]. - Bahasa Indonesia: Kalimat "Saya sedang belajar teknologi" biasanya dipecah menjadi 5–6 token:
["Saya", " sedang", " belajar", " tekn", "ologi"]. - Penetapan Kuota dan Batas Konteks: Kuota API developer dihitung berdasarkan akumulasi total token yang dikirim dan diterima per menit (TPM / Tokens Per Minute).
Batasan dan salah paham umum
- Bukan dihitung per karakter atau per kata: Menghitung biaya API dengan menghitung jumlah kata akan meleset, terutama pada teks bahasa Indonesia, kode pemrograman, rumus matematika, dan karakter aksara khusus yang mengonsumsi lebih banyak token per kata.
- Setiap keluarga model memiliki tokenizer berbeda: Jumlah token untuk kalimat yang identik bisa berbeda antara model GPT (OpenAI), Claude (Anthropic), Gemini (Google), dan DeepSeek karena daftar kosakata bawaannya (vocab size) berlainan.
- Konsumsi token pada spasi dan tanda baca: Tanda baca, spasi antar-kata, huruf kapital, serta format indentasi kode juga dihitung sebagai token mandiri.
Rujukan resmi
- OpenAI Platform Documentation: What are tokens and how to count them? (Pengecekan: 26 September 2026, tautan resmi: platform.openai.com/docs/guides/tokens).
- Anthropic User Guide: Token counting and prompt sizing (Pengecekan: 26 September 2026, tautan resmi: docs.anthropic.com/en/docs/build-with-claude/token-counting).
Istilah Terkait