Apa itu State Space Model (SSM / Mamba AI)?

Apa itu State Space Model (SSM)?

State Space Model (SSM) dalam dunia kecerdasan buatan adalah keluarga arsitektur jaringan saraf yang dirancang untuk memproses data sekuensial (seperti teks, audio, atau genomika) dengan efisiensi komputasi yang jauh lebih tinggi daripada arsitektur Transformer standar.

Arsitektur Transformer yang menggerakkan model seperti GPT-4 dan Claude mengandalkan mekanisme self-attention. Mekanisme ini mengharuskan setiap token membandingkan dirinya dengan semua token lain dalam kalimat. Akibatnya, kompleksitas komputasi dan konsumsi memori tumbuh secara kuadratik $O(N^2)$ terhadap panjang teks. Saat teks mencapai puluhan ribu token, komputasi menjadi lambat dan kebutuhan memori VRAM GPU melonjak tajam.

State Space Model memecahkan batasan kuadratik ini dengan mengadaptasi konsep sistem dinamis linier dari teori kendali klasik, menghasilkan kompleksitas waktu linier $O(N)$ saat pelatihan dan waktu konstan $O(1)$ per token saat inferensi. Model modern paling terkenal dari keluarga ini adalah Mamba, yang dikembangkan oleh Albert Gu dan Tri Dao pada akhir 2023.

Cara kerja State Space Model dan Mamba

Prinsip kerja SSM didasarkan pada pemetaan sinyal input $x(t)$ ke keadaan tersembunyi berdimensi kontinu $h(t)$ sebelum menghasilkan output $y(t)$, melalui persamaan diferensial linier:

$$h'(t) = A h(t) + B x(t)$$ $$y(t) = C h(t)$$

Dalam implementasi kecerdasan buatan digital, rumus ini didiskretisasi sehingga dapat diproses oleh komputer melalui dua cara kerja unik:

1. Mode Konvolusi Saat Pelatihan (Paralel): Model dapat dihitung seperti operasi konvolusi 1D global, memungkinkan pelatihan model dilakukan secara paralel di seluruh GPU secepat Transformer.
2. Mode Berulang Saat Inferensi (Recurrent): Saat menghasilkan teks kata demi kata, model beroperasi seperti Recurrent Neural Network (RNN). Model hanya memperbarui status tersembunyi (hidden state) berukuran tetap tanpa perlu menyimpan seluruh riwayat token terdahulu.

Inovasi utama pada model Mamba (Selective SSM) adalah penambahan mekanisme seleksi (selective state spaces). Matriks parameter dibuat bergantung pada token input saat itu, memungkinkan model memutuskan secara dinamis informasi mana yang perlu disimpan ke dalam memori jangka panjang dan detail mana yang harus dilupakan.

Perbandingan Transformer vs SSM (Mamba)

Aspek Komputasi	Transformer Standar	State Space Model (Mamba)
Kompleksitas Inferensi	Kuadratik terhadap panjang konteks ($O(N^2)$)	Linier / Konstan per langkah ($O(1)$ memory per step)
Kebutuhan KV Cache	Wajib menyimpan matriks Key-Value seluruh token	Bebas KV Cache, hanya menyimpan status tersembunyi tetap
Throughput Teks Panjang	Menurun drastis seiring bertambahnya token	Konsisten tinggi bahkan pada jutaan token
Biaya Memori VRAM	Membesar seiring panjang dokumen	Stabil dan ramah perangkat keras lokal

Batasan dan salah paham umum

• Bukan pengganti mutlak Transformer: Meskipun Mamba sangat efisien pada teks panjang, arsitektur Transformer masih mempertahankan keunggulan pada tugas in-context retrieval yang sangat presisi di mana model harus mengingat kembali string acak (needle in a haystack).
• Arsitektur Hibrida: Tren model terkini menggabungkan lapisan Mamba dengan beberapa lapisan Self-Attention (arsitektur hibrida SSM-Transformer seperti Jamba dari AI21 Labs) untuk mengambil yang terbaik dari kedua dunia: efisiensi Mamba dan ketajaman atensi Transformer.

Rujukan resmi

• Gu & Dao (Carnegie Mellon & Princeton) — Mamba: Linear-Time Sequence Modeling with Selective State Spaces: arxiv.org/abs/2312.00752 (Pengecekan: 9 Oktober 2026)
• Albert Gu et al. — Efficiently Modeling Long Sequences with Structured State Spaces (S4): arxiv.org/abs/2111.00396 (Pengecekan: 9 Oktober 2026)