Langsung ke konten

Apa itu Context Rot (Penurunan Kualitas di Konteks Panjang)?

Context rot adalah gejala menurunnya ketepatan model saat konteks masukan makin panjang, meski seluruh isi masih muat dalam context window yang dinyatakan.

Apa itu Context Rot?

Context rot menggambarkan penurunan kualitas jawaban model bahasa saat isi percakapan atau dokumen yang disodorkan makin panjang. Informasi masih muat di dalam context window yang dijanjikan, tetapi model makin sering mengabaikan instruksi di tengah, salah mengutip bagian awal, atau mengulang hal yang sudah dibahas.

Istilah ini dipopulerkan riset internal Anthropic (2025) yang menguji model di berbagai panjang konteks dan menemukan pola: performa menurun tidak linier terhadap panjang token, dan penurunan terjadi di tugas yang biasanya mudah saat konteks pendek. Temuan serupa juga muncul di makalah Lost in the Middle (arXiv:2307.03172, 2023) yang menunjukkan model paling andal membaca informasi di awal dan akhir konteks, sementara bagian tengah paling sering terlewat.

Cara kerja dan penyebabnya

  1. Batas konteks bukan batas perhatian. Nilai context window yang dipublikasikan menandakan maksimum token yang secara teknis bisa diterima, bukan jaminan model memperhatikan semua bagian dengan bobot sama.
  2. Mekanisme atensi bersaing. Setiap token harus membagi perhatian ke ribuan token lain. Semakin banyak token, semakin tipis bobot yang diterima tiap bagian.
  3. Posisi memengaruhi ingatan. Informasi di tengah konteks paling rentan terlewat (efek lost in the middle). Instruksi di awal juga bisa memudar bila terselip terlalu jauh dari titik generasi.
  4. Informasi saling bertentangan. Konteks panjang biasanya memuat versi lama dan versi baru dari fakta yang sama. Model bisa mengambil versi lama tanpa menyadari ada pembaruan.
  5. Kontaminasi dari isi tidak relevan. Semakin banyak teks pengisi, semakin besar peluang model menyimpulkan dari bagian yang tidak relevan.

Contoh pemakaian

Agen dukungan pelanggan diberi riwayat percakapan 80.000 token berisi 40 tiket lama. Di awal tiket, pelanggan menyebut alamat email lama. Di tiket ke-30, alamat sudah diganti. Di luar konteks pendek, model bisa balik mengutip alamat pertama karena kemunculannya lebih awal dan lebih sering diulang. Penanganan yang lebih aman: ringkas riwayat dan tampilkan hanya fakta terkini, bukan menumpuk seluruh log.

Batasan dan salah paham umum

  • "Jendela 1 juta token" bukan tiket bebas masalah. Kapasitas besar tetap berguna, tetapi kualitas pekerjaan pada 900.000 token tidak sama dengan pada 9.000 token.
  • Penurunan bukan berarti model rusak. Context rot terjadi pada semua keluarga model, hanya tingkat keparahannya berbeda. Ini sifat arsitektur, bukan bug satu vendor.
  • Bukan sama dengan lupa karena kompresi riwayat. Kalau sistem memotong atau merangkum riwayat secara otomatis, kehilangan informasi terjadi karena pemotongan. Context rot murni terjadi walau tidak ada pemotongan.
  • Bukan gejala halusinasi. Halusinasi berarti mengarang fakta baru. Context rot berarti melewatkan atau salah memakai fakta yang sudah ada di konteks.
  • Perbaikan paling ampuh adalah memperpendek konteks. Retrieval yang tepat, ringkasan bertahap, dan pemisahan instruksi kritis ke posisi terakhir biasanya lebih efektif daripada menaikkan kapasitas.

Rujukan resmi

Dicek 11 November 2026.

Istilah Terkait

Context Window (Jendela Konteks)RAG (Retrieval-Augmented Generation)Halusinasi AI (AI Hallucination)PromptLLM (Large Language Model)