Apa itu Mixture-of-Experts (MoE)?

Apa itu Mixture-of-Experts (MoE)?

Mixture-of-Experts (MoE) adalah arsitektur desain jaringan saraf tiruan yang menggantikan lapisan pemrosesan padat (dense layer) dengan kumpulan sub-jaringan spesialis yang disebut pakar (experts), dikendalikan oleh mekanisme perutean cerdas (gating / router network).

Pada model konvensional (Dense Model), setiap kali satu token kata diproses, seluruh 100% parameter di dalam model wajib aktif melakukan komputasi perkalian matriks. Sebaliknya, pada arsitektur MoE dengan aktivasi jarang (sparse MoE), sistem hanya memilih dan mengaktifkan sebagian kecil modul pakar (misalnya 2 dari 8 pakar, atau 8 dari 256 pakar) yang paling relevan untuk memproses token tersebut.

Cara kerja mekanisme perutean (Gating Network)

Proses inferensi pada arsitektur sparse MoE berjalan dengan urutan berikut:

1. Penerimaan Token: Token kata masuk ke lapisan pemrosesan masukan seperti biasa.
2. Evaluasi Jaringan Perute (Router): Jaringan kecil perute menganalisis karakteristik token tersebut dan menghitung skor probabilitas kecocokan terhadap seluruh pakar yang tersedia di lapisan tersebut.
3. Pemilihan Pakar Teratas (Top-k Routing): Sistem memilih sejumlah kecil pakar dengan skor kecocokan tertinggi (biasanya $k=2$ atau lebih). Sebagai contoh, token yang berkaitan dengan sintaks JavaScript diarahkan ke pakar koding, sedangkan token narasi sejarah diarahkan ke pakar linguistik.
4. Penggabungan Output: Respons dari pakar-pakar yang aktif dihitung bobotnya secara terbobot lalu digabungkan kembali untuk diteruskan ke lapisan berikutnya.

Contoh model populer yang menggunakan MoE

• Mixtral 8x7B (Mistral AI): Memiliki 8 modul pakar berukuran 7B per lapisan dengan total parameter sekitar 47 miliar. Namun, untuk setiap token kata yang dihasilkan, model hanya mengaktifkan 2 pakar (sekitar 13 miliar parameter aktif), sehingga menghasilkan kecepatan inferensi setara model 13B dengan kapasitas pengetahuan setara model dense yang jauh lebih besar.
• DeepSeek-V3 / DeepSeek-R1: Menggunakan pendekatan Fine-Grained MoE dengan total 671 miliar parameter, di mana terdapat ratusan pakar kecil dan hanya sekitar 37 miliar parameter aktif per token. Pendekatan ini dilengkapi dengan pakar bersama (shared experts) yang selalu aktif untuk menangkap pengetahuan mendasar.
• Keluarga Model Komersial Terkemuka: Arsitektur MoE juga menjadi fondasi di balik efisiensi model skala besar komersial seperti GPT-4 dan Gemini 1.5.

Batasan dan tantangan teknis

• Kebutuhan Memori Tetap Menghitung Total Parameter: Meskipun komputasi aktifnya hemat karena hanya mengaktifkan sebagian pakar, seluruh bobot parameter (misalnya total 47B atau 671B) tetap harus dimuat secara utuh ke dalam RAM atau VRAM GPU agar siap dipanggil sewaktu-waktu oleh router.
• Masalah Keseimbangan Beban (Load Balancing): Jika router tidak diatur dengan penalti beban, router cenderung terus-menerus memilih pakar yang sama untuk semua tugas, menyebabkan beberapa modul pakar mengalami kelebihan beban sementara pakar lainnya menganggur.
• Kerumitan Komunikasi Antar-GPU: Dalam klaster server besar di mana pakar disebar ke beberapa server berbeda (Expert Parallelism), transfer data antar-chip melalui kabel jaringan kecepatan tinggi menjadi faktor pembatas utama latensi inferensi.

Rujukan resmi

• Shazeer et al. (Google Brain): Outrageously Large Neural Networks: The Sparsely-Gated Mixture-of-Experts Layer (Pengecekan: 29 September 2026, rujukan resmi: arxiv.org/abs/1701.06538).
• Jiang et al. (Mistral AI): Mixtral of Experts Technical Report (Pengecekan: 29 September 2026, rujukan resmi: arxiv.org/abs/2401.04088).
• DeepSeek-AI: DeepSeek-V3 Technical Report - Architecture and Multi-head Latent Attention with MoE (Pengecekan: 29 September 2026, rujukan resmi: arxiv.org/abs/2412.19437).