Apa itu Kuantisasi AI (Model Quantization)?

Apa itu Kuantisasi AI?

Kuantisasi AI (Model Quantization) adalah metode kompresi perangkat lunak untuk model kecerdasan buatan dengan cara menurunkan tingkat presisi representasi angka desimal pada parameter bobot (weights) dan aktivasi jaringan saraf tiruan.

Secara default, model bahasa besar dilatih dan disimpan menggunakan format floating-point presisi tinggi, seperti FP32 (32-bit, memakan 4 byte per parameter) atau FP16/BF16 (16-bit, memakan 2 byte per parameter). Dengan teknik kuantisasi, nilai angka-angka tersebut dipetakan dan dibulatkan ke format bit yang jauh lebih ringkas, seperti INT8 (8-bit, 1 byte per parameter), INT4 (4-bit, 0,5 byte per parameter), bahkan format eksperimental INT2.

Mengapa kuantisasi sangat penting?

Masalah utama saat menjalankan model AI besar (seperti Llama, Mistral, atau Qwen) di perangkat lokal maupun server mandiri adalah keterbatasan kapasitas dan bandwidth memori grafis (VRAM):

• Model 7B dalam format FP16 (16-bit) membutuhkan setidaknya 14 GB hingga 16 GB VRAM hanya untuk menampung file model ke dalam kartu grafis. Pengguna laptop biasa dengan kartu grafis 6 GB atau 8 GB tidak akan bisa menjalankannya.
• Model 7B setelah dikuantisasi ke format 4-bit (INT4 / Q4_K_M) ukurannya menyusut drastis menjadi sekitar 3,8 GB hingga 4,5 GB. Model ini kini dapat berjalan mulus di laptop consumer, Mini PC, atau bahkan chip ponsel pintar melalui software seperti Ollama atau llama.cpp.

Format kuantisasi populer

1. GGUF (GPT-Generated Unified Format): Format berkas bawaan proyek open-source llama.cpp yang dirancang khusus untuk inferensi cepat pada CPU dan GPU kelas konsumen. Format ini mendukung berbagai skema tingkat presisi kuantisasi (seperti Q4_K_M, Q5_K_M, Q8_0).
2. AWQ (Activation-aware Weight Quantization): Metode kuantisasi 4-bit tingkat lanjut yang melindungi 1% bobot parameter paling kritis dari pemotongan presisi, sehingga mempertahankan akurasi penalaran mendekati model aslinya.
3. GPTQ (Generalized Post-Training Quantization): Metode kuantisasi pasca-pelatihan satu kali jalan yang mengalibrasi pembulatan angka matriks secara matematis untuk meminimalkan penurunan akurasi pada GPU server NVIDIA.
4. EXL2 (ExLlamaV2): Format kuantisasi presisi variabel yang sangat optimal untuk inferensi berkecepatan tinggi di kartu grafis modern.

Batasan dan salah paham umum

• Ada kompromi penurunan akurasi (Perplexity): Kuantisasi yang terlalu ekstrem (misalnya dipaksa turun ke 2-bit atau 3-bit kasar) akan meningkatkan nilai perplexity, yang berarti model lebih mudah salah menangkap instruksi rumit atau menghasilkan teks yang kurang padu. Namun pada kuantisasi 4-bit dan 5-bit modern (seperti Q4_K_M atau AWQ), penurunan akurasinya hampir tidak terasa dalam percakapan umum.
• Kuantisasi berbeda dengan pemangkasan bobot (Pruning): Pemangkasan bobot membuang neuron atau koneksi yang dianggap tidak penting sehingga strukturnya berlubang (sparse), sedangkan kuantisasi mempertahankan seluruh jumlah koneksi neuron namun memperkecil ukuran wadah angka desimalnya.
• Hanya berdampak pada komputasi, bukan jumlah pengetahuan: Kuantisasi tidak memangkas cakupan wawasan atau materi pelatihan model, melainkan hanya menurunkan derajat resolusi angka matematis internalnya.

Rujukan resmi

• Hugging Face Transformers Documentation: Quantization Overview (Pengecekan: 29 September 2026, rujukan resmi: huggingface.co/docs/transformers/main_classes/quantization).
• Lin et al. (MIT HAN Lab): AWQ: Activation-aware Weight Quantization for On-Device LLM Compression (Pengecekan: 29 September 2026, rujukan resmi: arxiv.org/abs/2306.00978).
• llama.cpp Project Repository: GGUF Format Specification and Quantization Types (Pengecekan: 29 September 2026, rujukan resmi: github.com/ggerganov/llama.cpp).