Apa itu Context Window?

Apa itu context window?

Context window (atau jendela konteks) adalah kapasitas maksimal memori kerja jangka pendek sebuah model bahasa besar (LLM). Angka ini menunjukkan berapa banyak total token (gabungan input dari pengguna dan output yang dihasilkan) yang dapat diproses oleh AI secara bersamaan dalam satu kali permintaan.

Jika diibaratkan manusia, context window adalah ukuran meja kerja. Semua dokumen, pertanyaan, dan catatan yang ingin Anda bahas dengan AI harus muat di atas meja tersebut.

Cara kerja context window

1. Pengukuran kapasitas: Kapasitas jendela konteks diukur dalam satuan token. Model modern memiliki rentang variasi luas, mulai dari 8.000 token (model dasar) hingga 128.000 token (seperti GPT-4o) bahkan 1 hingga 2 juta token (seperti seri Google Gemini 1.5).
2. Kompilasi pesan: Saat Anda berinteraksi, sistem menyusun instruksi sistem, contoh tugas (few-shot examples), lampiran file, dan riwayat obrolan ke dalam alokasi jendela tersebut.
3. Efek geser (sliding window): Jika percakapan bertambah panjang hingga melampaui batas context window, sistem aplikasi harus memotong atau melupakan pesan-pesan paling awal agar pesan terbaru tetap muat.

Contoh pemakaian

Sebuah buku setebal 300 halaman memiliki perkiraan isi sekitar 100.000 kata (kurang lebih 130.000 token).

• Model dengan context window 32k token tidak dapat membaca buku tersebut sekaligus.
• Model dengan context window 128k token atau 1M token dapat menerima seluruh isi buku dalam satu prompt dan menjawab pertanyaan spesifik mengenai bab mana pun secara akurat.

Batasan dan salah paham umum

• Bukan memori permanen: Context window hanya aktif selama sesi pemrosesan tersebut berlangsung. Setelah sesi ditutup atau memori di-reset, model tidak menyimpan ingatan isi dokumen tersebut ke dalam bobot parameternya.
• Penurunan atensi (needle in a haystack): Meski model mampu menampung ratusan ribu token, riset menunjukkan perhatian model bisa menurun pada fakta yang terkubur di bagian tengah dokumen panjang jika dibandingkan dengan informasi di awal atau akhir teks.
• Biaya tetap berjalan: Memanfaatkan context window berukuran penuh (misalnya memasukkan 500.000 token) membutuhkan biaya API yang signifikan dan waktu inferensi yang lebih lama dibanding prompt ringkas terarah.

Rujukan resmi

• OpenAI Platform Model Overview & Context Windows (Pengecekan: September 2026, sumber: platform.openai.com/docs/models).
• Google Cloud Vertex AI & Gemini Long Context Documentation (Pengecekan: September 2026, sumber: cloud.google.com/vertex-ai/generative-ai/docs/multimodal/long-context).