Langsung ke konten

Apa itu Prompt Compression (Pemadatan Prompt)?

Prompt compression adalah upaya memendekkan prompt panjang tanpa membuang informasi penting, agar biaya token turun dan model lebih fokus pada bagian yang relevan.

Apa itu Prompt Compression?

Prompt compression adalah kumpulan teknik untuk memendekkan prompt yang panjang sambil mempertahankan informasi yang benar-benar dibutuhkan model. Masalah yang diserang: konteks panjang membuat biaya token naik, waktu tunggu bertambah, dan perhatian model terpecah.

Istilah ini mencakup dua pendekatan berbeda. Pertama, pemadatan teks oleh model lain (ringkas dulu, baru kirim). Kedua, pembuangan token oleh model khusus yang dilatih memilih token penting, seperti pendekatan LLMLingua.

Cara kerja sederhana

Pendekatan ringkas-lalu-kirim mudah dipahami: dokumen 8.000 kata diringkas menjadi 400 kata oleh model murah, lalu ringkasan itu yang dikirim ke model utama.

Pendekatan berbasis model kompresi bekerja di level token. Model kecil menilai tiap token pada prompt, memberi skor tingkat kepentingan, lalu membuang token berskor rendah. Hasilnya bukan kalimat rapi, melainkan teks yang terpotong-potong namun tetap terbaca model. Manusia mungkin kesulitan membacanya, tetapi model tetap dapat memakainya.

Ada juga pendekatan heuristik: hapus kalimat berulang, buang contoh yang mirip, dan potong riwayat percakapan lama.

Contoh pemakaian

Kasus chatbot layanan pelanggan dengan basis panduan 200 halaman:

  1. Ambil 10 bagian relevan lewat pencarian semantik.
  2. Padatkan 10 bagian itu menjadi 1.200 token.
  3. Kirim hasil padat sebagai konteks ke model utama.

Kasus lain: asisten yang membawa riwayat percakapan panjang. Alih-alih mengirim seluruh riwayat, kirim ringkasan berjalan plus lima pesan terakhir.

Batasan dan salah paham umum

  • Pemadatan bisa menghilangkan detail penentu. Angka, nama, dan syarat khusus sering hilang saat diringkas. Untuk dokumen legal atau medis, jangan andalkan pemadatan otomatis tanpa pemeriksaan.
  • Bukan sama dengan chunking RAG. Chunking memotong dokumen agar bisa dicari. Kompresi memendekkan isi yang sudah terpilih.
  • Kompresi berbasis token tidak selalu terbaca manusia. Jangan kaget kalau hasilnya terlihat acak. Yang menilai adalah model, bukan pembaca.
  • Ada batas penghematan. Di bawah titik tertentu, prompt yang dipadatkan terlalu banyak kehilangan makna dan jawaban memburuk.
  • Menambah satu langkah proses. Kamu perlu memanggil model tambahan atau menjalankan model kompresi, yang punya biaya sendiri.

Rujukan resmi

Dicek 14 November 2026.

Istilah Terkait

PromptContext Window (Jendela Konteks)Chunking RAG (Pemotongan Dokumen untuk Retrieval AI)Token AILost in the Middle (Fenomena)