Apa itu Context Window (Jendela Konteks)?
Batas kapasitas total token yang dapat dibaca, diingat, dan diolah oleh model kecerdasan buatan dalam satu sesi percakapan atau pemrosesan permintaan.
Apa itu Context Window?
Context window (jendela konteks) adalah batas kapasitas maksimal jumlah token yang dapat dimuat, dibaca, dan diingat oleh model bahasa besar (Large Language Model) secara bersamaan dalam satu siklus interaksi. Kapasitas ini mencakup gabungan seluruh input token (instruksi, dokumen lampiran, riwayat tanya-jawab sebelumnya) dan kuota output token yang akan dihasilkan.
Secara analogi, context window bekerja seperti memori kerja (working memory) atau papan tulis yang ukurannya terbatas. Model kecerdasan buatan hanya dapat "melihat" dan menghubungkan fakta-fakta yang berada di dalam ruang papan tulis tersebut. Segala informasi yang meluap dari batas kapasitas jendela konteks akan terpotong dan terlupakan oleh model.
Cara kerja perhitungan kapasitas Context Window
- Akumulasi Seluruh Pesan: Saat pengguna berkomunikasi dengan asisten AI, setiap pesan masuk dan keluar dihitung jumlah tokennya secara bertahap.
- Evaluasi Batas Maksimum: Sebelum memulai inferensi, sistem menjumlahkan panjang token masukan saat ini ditambah nilai
max_tokenskeluaran yang dialokasikan. Jika angka total melampaui batas context window model (misalnya 128.000 token pada GPT-4o), API akan menolak permintaan dengan pesan galat context length exceeded. - Mekanisme Geser (Sliding Window) atau Rangkuman: Pada aplikasi chat konsumen, sistem menggeser jendela memori dengan cara menghapus pesan-pesan terlama atau merangkum percakapan awal agar dialog tetap muat di dalam batasan token model.
Perbandingan kapasitas resmi model AI modern
Perkembangan arsitektur transformer modern telah memperluas context window secara dramatis per tanggal pengecekan 26 September 2026:
- Google Gemini 1.5 Pro / 2.0: Memiliki context window standar hingga 1.000.000 hingga 2.000.000 token (setara sekitar 1,5 juta kata atau 1 jam rekaman video langsung) (Pengecekan: 26 September 2026, rujukan resmi: ai.google.dev/gemini-api/docs/models/gemini).
- Anthropic Claude 3.5 Sonnet: Memiliki kapasitas context window 200.000 token (setara sekitar 150.000 kata atau 500 halaman buku) dengan alokasi maksimum token keluaran 8.192 token (Pengecekan: 26 September 2026, rujukan resmi: docs.anthropic.com/en/docs/about-claude/models).
- OpenAI GPT-4o: Memiliki kapasitas context window 128.000 token dengan batas maksimum token keluaran 16.384 token (Pengecekan: 26 September 2026, rujukan resmi: platform.openai.com/docs/models).
- DeepSeek-V3 / R1: Memiliki context window standar 64.000 token (64K) dengan batas token keluaran maksimum 8.000 token (Pengecekan: 26 September 2026, rujukan resmi: api-docs.deepseek.com).
Batasan dan salah paham umum
- Bukan berarti daya ingat sempurna di seluruh bagian (Needle in a Haystack): Meskipun model mampu menelan 1 juta token dokumen, fenomena lost in the middle kerap terjadi, di mana fakta kecil yang terselip persis di tengah dokumen tebal sering luput dianalisis dibanding fakta yang berada di awal atau akhir teks.
- Kapasitas besar meningkatkan latensi dan biaya: Memproses 100.000 token dokumen masukan membutuhkan waktu inferensi lebih lama dan biaya input token yang tinggi jika tidak menggunakan teknik prompt caching.
- Bukan ukuran memori permanen: Context window hanya hidup selama durasi proses permintaan (stateless inference). Begitu sesi ditutup atau server API mereset konteks, seluruh data tersebut tidak tersimpan di dalam bobot otak permanen model AI.
Rujukan resmi
- OpenAI Models Overview & Context Window Limits (Pengecekan: 26 September 2026, tautan resmi: platform.openai.com/docs/models).
- Anthropic Claude Models Comparison Matrix (Pengecekan: 26 September 2026, tautan resmi: docs.anthropic.com/en/docs/about-claude/models).
- Google AI for Developers: Gemini Models Context Length Capabilities (Pengecekan: 26 September 2026, tautan resmi: ai.google.dev/gemini-api/docs/models/gemini).
Istilah Terkait