Apa itu Cached Token (Prompt Caching)?
Token masukan berulang yang disimpan di memori cepat server penyedia AI untuk mempercepat latensi respon dan memangkas biaya pemanggilan API secara signifikan.
Apa itu Cached Token?
Cached token adalah token instruksi masukan (input token) yang disimpan sementara dalam memori akses kilat (in-memory key-value cache) di server penyedia kecerdasan buatan setelah pemanggilan pertama. Mekanisme ini disebut Prompt Caching.
Ketika pengguna atau sistem mengirimkan permintaan baru yang memuat potongan teks identik di bagian awal instruksi (seperti file dokumentasi teknis ratusan halaman, buku pedoman perusahaan, atau system prompt panjang), server tidak perlu menghitung ulang operasi matematika atensi dari awal. Server cukup membaca hasil perhitungan yang telah disimpan di cache, sehingga waktu respons menjadi jauh lebih cepat dan biaya penagihan dipangkas hingga 50% hingga 90%.
Cara kerja Prompt Caching
- Pemeriksaan Awalan Identik (Prefix Matching): Server API menganalisis token masukan dari urutan pertama. Jika terdapat blok teks berurutan yang persis sama dengan permintaan sebelumnya dan memenuhi syarat batas minimum token (misalnya minimal 1.024 token di Anthropic atau DeepSeek), blok tersebut ditandai sebagai kandidat cache.
- Cache Hit vs Cache Miss:
- Cache Hit: Potongan token yang cocok dibaca langsung dari memori server (state reuse). Waktu generasi kata pertama (Time to First Token / TTFT) turun drastis dan biaya input dikenakan tarif diskon cache hit.
- Cache Miss / Cache Write: Bila teks belum pernah disimpan atau masa simpan (TTL) telah kedaluwarsa, server menghitung atensi secara normal lalu menyimpannya ke memori cache untuk dipakai pada permintaan berikutnya.
- Masa Berlaku (Eviction & TTL): Data cache biasanya disimpan selama durasi tertentu (misalnya 5 menit hingga beberapa jam sejak pemakaian terakhir) dan akan otomatis diperpanjang masa aktifnya setiap kali menerima panggilan yang cocok.
Contoh pemakaian dan perbandingan tarif diskon
Berikut perbandingan penghematan biaya cached token per 1 juta token per tanggal pengecekan 26 September 2026:
- Anthropic Claude 3.5 Sonnet:
- Input standar (cache-miss): $3,00 per 1M token.
- Penulisan cache (cache write): $3,75 per 1M token (tambahan 25% di awal).
- Pembacaan cache (cache read): $0,30 per 1M token (diskon 90% dari harga standar).
- Rujukan resmi: anthropic.com/pricing (Pengecekan: 26 September 2026).
- DeepSeek-V3:
- Input standar (cache-miss): $0,14 per 1M token.
- Pembacaan cache (cache hit): $0,014 per 1M token (diskon 90% dari harga standar).
- Rujukan resmi: api-docs.deepseek.com/quick_start/pricing (Pengecekan: 26 September 2026).
- OpenAI GPT-4o:
- Input standar: $2,50 per 1M token.
- Cached input (automatic prompt caching): $1,25 per 1M token (diskon 50%).
- Rujukan resmi: openai.com/api/pricing/ (Pengecekan: 26 September 2026).
Batasan dan salah paham umum
- Awalan harus persis sama (Strict Prefix Match): Jika Anda mengubah satu karakter tanda baca di baris pertama system prompt, seluruh blok teks di bawahnya akan kehilangan kecocokan cache (cache bust). Letakkan data statis panjang selalu di bagian atas, dan data variabel yang sering berubah di bagian paling bawah prompt.
- Ada ambang batas jumlah token minimal: Provider tidak mengaktifkan cache untuk prompt pendek belasan kata. Anthropic mensyaratkan minimal 1.024 token (atau 2.048 token pada model tertentu), sedangkan OpenAI mengaktifkannya otomatis pada permintaan di atas 1.024 token.
- Cache bersifat sementara, bukan database permanen: Server penyedia dapat menghapus (evict) cache sewaktu-waktu bila memori server penuh atau tidak ada permintaan baru dalam jendela waktu TTL (time to live).
Rujukan resmi
- Anthropic Documentation: Prompt Caching Developer Guide (Pengecekan: 26 September 2026, tautan resmi: docs.anthropic.com/en/docs/build-with-claude/prompt-caching).
- OpenAI Platform Documentation: Prompt Caching for Latency and Cost Savings (Pengecekan: 26 September 2026, tautan resmi: platform.openai.com/docs/guides/prompt-caching).
- DeepSeek Open Platform API: Context Caching Features & Pricing (Pengecekan: 26 September 2026, tautan resmi: api-docs.deepseek.com/guides/prompt_caching).
Istilah Terkait