Apa itu Mixture-of-Agents (MoA)?
Arsitektur yang menggabungkan beberapa model AI berlapis. Tiap lapisan memakai jawaban model lain sebagai bahan pertimbangan, lalu lapisan terakhir menyusun jawaban final.
Apa itu Mixture-of-Agents?
Mixture-of-Agents (MoA) adalah arsitektur yang memakai beberapa model bahasa secara berlapis untuk menyelesaikan satu permintaan. Setiap model di lapisan tertentu melihat jawaban model lain sebagai bahan tambahan, lalu menyusun jawaban yang lebih matang.
Diperkenalkan Junlin Wang, Jue Wang, Ben Athiwaratkun, Ce Zhang, dan James Zou (arXiv:2406.04692, 7 Juni 2024). Namanya meniru Mixture-of-Experts, tapi mekanismenya berbeda: MoE menggabungkan sub-jaringan di dalam satu model, MoA menggabungkan beberapa model utuh.
Cara kerja
Bayangkan rapat dengan beberapa ahli. Lapisan pertama terdiri dari beberapa model yang masing-masing menjawab pertanyaan secara mandiri. Jawaban-jawaban itu dikumpulkan.
Lapisan kedua menerima pertanyaan asli plus semua jawaban lapisan pertama. Model di lapisan ini tidak menjawab dari nol, tapi mempertimbangkan sudut pandang yang sudah ada. Proses ini bisa berulang beberapa lapisan.
Lapisan terakhir disebut aggregator. Tugasnya menyatukan semua masukan menjadi satu jawaban akhir yang rapi dan konsisten.
Contoh pemakaian
MoA berguna saat kualitas jawaban lebih penting daripada kecepatan. Misalnya menyusun ringkasan dokumen penting, atau menjawab pertanyaan yang butuh sudut pandang beragam.
Biayanya jelas lebih besar. Satu permintaan memicu beberapa panggilan model sekaligus, jadi konsumsi token berlipat. Untuk chatbot yang melayani ribuan permintaan per menit, arsitektur ini terlalu mahal.
Batasan dan salah paham umum
MoA bukan pengganti model yang lebih kuat. Penelitian aslinya menunjukkan MoA dengan model kelas menengah bisa menyaingi model kelas atas pada beberapa tolok ukur, tapi tidak selalu, dan tidak di semua jenis tugas.
Salah paham umum: menganggap MoA sama dengan multi-agent system. Multi-agent system biasanya membagi tugas ke agen dengan peran berbeda (perencana, pelaksana, pemeriksa). MoA memakai beberapa model untuk tugas yang sama, lalu menggabungkan hasilnya.
Batasan praktis: latensi naik. Pengguna menunggu lebih lama karena jawaban melewati beberapa lapisan sebelum sampai.
Rujukan resmi
- Wang, Wang, Athiwaratkun, Zhang, Zou, "Mixture-of-Agents Enhances Large Language Model Capabilities", arXiv:2406.04692 (7 Juni 2024).
- Together AI, catatan implementasi MoA: docs.together.ai (dicek 15 November 2026).
Istilah Terkait