Langsung ke konten

Apa itu YaRN (Ekstensi Context Window)?

Metode memperpanjang jangkauan konteks model AI tanpa melatih ulang dari nol. Model yang tadinya sanggup 4 ribu token bisa menangani puluhan ribu token.

Apa itu YaRN?

YaRN (Yet another RoPE extensioN) adalah metode untuk memperpanjang context window model bahasa yang sudah terlatih. Diperkenalkan Bowen Peng, Jeffrey Quesnelle, Honglu Fan, dan Enrico Shippole (arXiv:2309.00071, 31 Agustus 2023).

Masalah yang dijawabnya: model dilatih dengan batas konteks tertentu, misalnya 4.096 token. Kalau diberi teks lebih panjang, kemampuannya menurun tajam. Melatih ulang dari nol untuk konteks lebih panjang sangat mahal.

Cara kerja

Model Transformer memakai positional encoding untuk tahu urutan token. Salah satu yang populer adalah Rotary Position Embedding (RoPE), yang menyandikan posisi sebagai rotasi matematis.

Kalau model dipaksa membaca posisi di luar rentang latihannya, rotasi itu menghasilkan pola yang tidak dikenal model. Akibatnya perhatian model kacau.

YaRN mengatur ulang skala rotasi itu supaya posisi yang lebih jauh tetap masuk akal bagi model. Ditambah penyesuaian pada suhu atensi agar distribusi perhatian tetap wajar di panjang baru. Pelatihan tambahan yang dibutuhkan jauh lebih singkat daripada melatih ulang penuh.

Contoh pemakaian

Praktisi yang ingin memakai model open-weights untuk membaca dokumen panjang memakai YaRN. Contohnya meringkas laporan puluhan halaman atau menganalisis basis kode besar dalam satu kali baca.

Konfigurasi biasanya lewat parameter di pustaka inferensi, misalnya mengatur faktor skala panjang konteks. Setelah itu model bisa menerima masukan jauh melampaui batas latih aslinya.

Batasan dan salah paham umum

Konteks lebih panjang bukan berarti model benar-benar memahami semuanya. Penelitian menunjukkan model cenderung lebih teliti pada bagian awal dan akhir konteks, sementara bagian tengah sering terlewat. Ini dikenal sebagai fenomena lost in the middle.

Salah paham umum: menganggap YaRN menambah pengetahuan model. Tidak. Ia hanya memperluas jangkauan baca. Kualitas pemahaman pada teks sangat panjang tetap bergantung pada model dasarnya.

Batasan kedua: memperpanjang konteks menambah beban memori dan waktu komputasi, karena atensi tumbuh cepat seiring panjang masukan.

Rujukan resmi

  • Peng, Quesnelle, Fan, Shippole, "YaRN: Efficient Context Window Extension of Large Language Models", arXiv:2309.00071 (31 Agustus 2023).
  • Dokumentasi Hugging Face tentang RoPE scaling: huggingface.co/docs/transformers (dicek 15 November 2026).

Istilah Terkait

Context WindowRoPE (Rotary Position Embedding)Positional EncodingLost in the MiddleKV Cache