Apa itu Speculative Decoding (Akselerasi Inferensi AI)?

Apa itu Speculative Decoding?

Speculative Decoding (pengkodean spekulatif) adalah teknik akselerasi inferensi pada model bahasa besar (Large Language Models) yang mampu melipatgandakan kecepatan produksi token tanpa mengubah kualitas distribusi probabilitas output model sama sekali.

Pada inferensi LLM standar, generasi teks berjalan lambat karena sifatnya yang autoregresif: GPU berukuran raksasa harus memuat miliaran bobot parameter ke dalam core komputasi hanya untuk menghasilkan satu token tunggal. Bandwidth memori GPU menjadi bottleneck utama (memory-bound). Speculative Decoding memecahkan masalah ini dengan mempekerjakan dua model secara kolaboratif: satu model pendukung berukuran kecil dan cepat (draft model), serta satu model utama yang besar dan cerdas (target model).

Mekanisme kerja dua tahap

Proses Speculative Decoding berlangsung dalam dua fase berulang yang sangat terkoordinasi:

1. Fase Spekulasi (Drafting): Model kecil yang sangat ringan (misalnya model 1B atau varian kuantisasi kecil) memproduksi $K$ token berikutnya (misalnya 4 hingga 6 token) secara cepat dalam beberapa milidetik. Rangkaian token ini disebut sebagai spekulasi.
2. Fase Verifikasi Paralel (Verification): Seluruh $K$ kandidat token tersebut dikirimkan secara serentak ke model besar utama dalam satu kali putaran komputasi (single forward pass). Model utama mengevaluasi probabilitas kebenaran setiap token spekulatif tersebut secara paralel.
3. Penerimaan atau Penolakan: Model utama menerima token-token spekulatif yang cocok dengan distribusi probabilitasnya. Begitu ditemukan satu token yang tidak memenuhi standar toleransi model utama, token tersebut ditolak, digantikan dengan token koreksi dari model utama, dan sisa token di belakangnya dibuang.

Karena verifikasi multi-token pada GPU modern memakan waktu yang hampir sama dengan pembuatan satu token tunggal, setiap kali beberapa token spekulatif diterima sekaligus, kecepatan generasi teks melonjak 2 hingga 3 kali lipat.

Kriteria Matematis: Zero Loss in Quality

Salah satu keunggulan terbesar Speculative Decoding adalah sifat matematisnya yang bersifat tanpa kompromi kualitas (lossless). Algoritma pengambilan sampel spekulatif (seperti yang dirumuskan oleh tim riset Google dan DeepMind) menjamin bahwa distribusi probabilitas akhir dari teks yang dihasilkan identik persis dengan hasil jika model utama dijalankan sendirian tanpa bantuan model pendukung.

Batasan dan salah paham umum

• Tergantung pada rasio penerimaan token (Acceptance Rate): Kecepatan hanya melonjak jika tebakan model kecil sering benar. Pada tugas teks terstruktur (seperti format JSON, rangkuman, atau kode pemrograman dengan sintaks baku), rasio penerimaan bisa mencapai 80-90%. Namun pada tugas penalaran abstrak tingkat tinggi, tebakan model kecil lebih sering ditolak sehingga keuntungan kecepatannya berkurang.
• Membutuhkan alokasi memori tambahan: Kedua model (model draft dan model target) harus berada di memori GPU secara bersamaan, kecuali jika menggunakan teknik Self-Speculative Decoding (memanfaatkan lapisan awal dari model itu sendiri sebagai draf).
• Karakteristik kosa kata token harus selaras: Model draf dan model target idealnya menggunakan kamus tokenizer yang sama persis agar indeks pemetaan token tidak bergeser.

Rujukan resmi

• Leviathan, Kalman, & Matias (Google Research): Fast Inference from Transformers via Speculative Decoding (Makalah resmi perintis algoritma, Pengecekan: 30 September 2026, rujukan resmi: arxiv.org/abs/2211.17192).
• Chen et al. (Google DeepMind): Accelerating Large Language Model Decoding with Speculative Sampling (Pengecekan: 30 September 2026, rujukan resmi: arxiv.org/abs/2302.01318).
• vLLM Documentation: Speculative Decoding Integration and Supported Draft Models (Pengecekan: 30 September 2026, rujukan resmi: docs.vllm.ai/en/latest/features/speculative_decoding.html).