Apa itu Prompt Caching (Singgahan Prompt)?
Prompt caching menyimpan hasil pemrosesan awal prompt di sisi penyedia agar permintaan berikutnya dengan awalan sama tidak dihitung ulang penuh.
Apa itu Prompt Caching?
Prompt caching adalah fitur penyedia model AI yang menyimpan bagian awal prompt yang sering berulang, sehingga permintaan berikutnya dengan awalan sama tidak perlu diproses ulang dari nol. Bagian yang di-cache umumnya instruksi sistem, dokumen rujukan, atau riwayat percakapan panjang. Setiap penyedia menyebutnya berbeda: Anthropic memakai istilah prompt caching, Google menyebutnya context caching, OpenAI memakai prompt caching pada model tertentu.
Istilah teknis di baliknya adalah prefix caching: yang dihemat adalah perhitungan mekanisme atensi untuk prefiks token yang identik. Efeknya bukan sekadar penghematan biaya, tetapi juga pemangkasan waktu tunggu pertama token.
Cara kerja prompt caching
- Pemisahan prefiks: Prompt dipecah menjadi prefiks statis (instruksi, dokumen, konteks tetap) dan sufiks dinamis (pertanyaan pengguna).
- Penandaan singgahan: Prefiks diberi penanda cache secara eksplisit, atau dicocokkan otomatis bila penyedia menerapkan caching implisit.
- Penyimpanan status internal: Saat prefiks diproses pertama kali, keadaan internal model untuk bagian itu disimpan dalam waktu terbatas.
- Pencocokan prefiks berikutnya: Permintaan baru dicek apakah prefiksnya identik sampai titik penanda. Bila ya, bagian itu diambil dari singgahan.
- Penghitungan tarif berbeda: Token yang di-cache biasanya punya tarif terpisah, di bawah tarif input baru tetapi di atas nol, dan ada masa berlaku singgahan.
Contoh pemakaian
Asisten kode menyertakan 40.000 token dokumentasi internal di setiap permintaan. Tanpa caching, setiap interaksi memproses ulang seluruh dokumentasi. Dengan caching, dokumentasi ditaruh di prefiks bertanda dan hanya diproses sekali per beberapa menit. Antarmuka API tetap sama, yang berubah hanya penanda pada bagian statis dan tarif yang ditagih.
Struktur tarif berbeda per penyedia dan berubah sepanjang waktu. Jangan mengandalkan angka dari artikel lama. Selalu cek halaman harga resmi penyedia aktifmu dan catat tanggal pengecekan, sebab perbandingan tarif input, output, dan cache adalah tiga angka terpisah yang tidak bisa digabung jadi satu angka umum.
Batasan dan salah paham umum
- Hanya cocok untuk prefiks identik. Menyisipkan kata berbeda di awal prompt membatalkan cache. Susun prompt dengan bagian stabil lebih dulu, bagian berubah di akhir.
- Masa berlaku terbatas. Singgahan kedaluwarsa setelah jendela waktu tertentu (bisa menit, bisa jam, tergantung penyedia). Untuk beban kerja jarang, cache bisa tidak terpakai sama sekali.
- Panjang minimum tertentu. Sebagian penyedia hanya menyimpan prefiks di atas jumlah token minimum. Prompt pendek tidak mendapat manfaat.
- Bukan pengganti desain prompt hemat token. Caching memperkecil biaya prefiks, tidak menghapusnya. Konteks yang terlalu gemuk tetap memperlambat dan memperbesar risiko context rot.
- Tidak sama dengan semantic cache. Semantic cache mencocokkan kemiripan makna antarpertanyaan berbeda. Prompt caching mencocokkan token prefiks yang identik secara persis.
Rujukan resmi
- Anthropic. Prompt caching — Reduce cost and latency for repeated context. https://docs.anthropic.com/en/docs/build-with-claude/prompt-caching (dicek 11 November 2026)
- Google. Context caching — Gemini API. https://ai.google.dev/gemini-api/docs/caching (dicek 11 November 2026)
- OpenAI. Prompt caching. https://platform.openai.com/docs/guides/prompt-caching (dicek 11 November 2026)
Dicek 11 November 2026.
Istilah Terkait