Apa itu Transformer (Arsitektur Jaringan AI)?

Apa itu Transformer?

Transformer adalah arsitektur jaringan saraf tiruan (neural network) yang diperkenalkan oleh tim peneliti Google dalam makalah ilmiah bersejarah "Attention Is All You Need" pada tahun 2017. Arsitektur ini menggantikan dominasi model berulang (Recurrent Neural Networks / RNN dan LSTM) yang sebelumnya lazim digunakan dalam pemrosesan bahasa alami (Natural Language Processing).

Sebelum Transformer hadir, model bahasa membaca teks kata demi kata secara berurutan dari kiri ke kanan. Kelemahan pendekatan lawas ini adalah lambatnya proses pelatihan (karena tidak dapat diparalelkan secara penuh) dan kesulitan mengingat keterhubungan kata yang jaraknya berjauhan dalam satu dokumen. Transformer menyelesaikan kendala tersebut dengan memproses seluruh urutan kata secara serentak menggunakan mekanisme perhatian mandiri (self-attention). Hampir seluruh model AI generatif populer saat ini, seperti GPT-4, Claude, Gemini, dan Llama, dibangun di atas variasi arsitektur Transformer.

Cara kerja mekanisme Self-Attention

Transformer bekerja dengan memetakan setiap kata (atau token) ke dalam tiga vektor representasi matematis:

1. Query (Q): Representasi kata yang sedang mencari keterkaitan dengan konteks lain.
2. Key (K): Label indeks dari setiap kata di dalam kalimat yang akan dicocokkan dengan Query.
3. Value (V): Informasi semantik inti yang dibawa oleh kata tersebut.

Proses perhitungan dilakukan melalui rumus Scaled Dot-Product Attention:

$$\text{Attention}(Q, K, V) = \text{softmax}\left(\frac{QK^T}{\sqrt{d_k}}\right)V$$

Melalui perkalian titik (dot product) antara Query dan Key, model dapat menghitung bobot keterkaitan antara satu kata dengan kata-kata lain di sekitarnya tanpa memedulikan jarak posisinya. Sebagai contoh, dalam kalimat "Kucing itu tidak mau makan karena ia kenyang", modul perhatian secara otomatis mengaitkan kata "ia" dengan bobot probabilitas tertinggi ke kata "kucing", bukan ke kata "makan".

Selain itu, Transformer memanfaatkan Multi-Head Attention, yaitu menjalankan mekanisme perhatian beberapa kali secara paralel dengan ruang proyeksi berbeda. Satu head dapat berfokus mempelajari hubungan tata bahasa subjek-predikat, sementara head lainnya menangkap makna kiasan atau rujukan waktu.

Contoh penerapan Transformer

• Model Bahasa Besar (LLM): GPT-4o, Claude 3.5 Sonnet, Gemini 1.5, dan DeepSeek V3 memanfaatkan blok decoder Transformer untuk menghasilkan paragraf teks dan kode program.
• Model Penglihatan Komputer (Vision Transformer / ViT): Membagi gambar menjadi potongan-potongan kotak (patches) dan memperlakukannya layaknya urutan token teks untuk klasifikasi objek atau segmentasi citra medis.
• Penerjemahan Bahasa Otomatis: Google Translate dan DeepL memanfaatkan arsitektur encoder-decoder untuk memetakan tata bahasa antarbahasa dengan akurasi tinggi.

Batasan dan salah paham umum

• Bukan berarti model benar-benar memahami makna dunia: Transformer murni merupakan mesin prediksi statistik tingkat tinggi yang menghitung korelasi probabilitas antar-token berdasarkan pola data pelatihan. Transformer tidak memiliki kesadaran, niat, atau pemahaman konseptual seperti akal manusia.
• Beban komputasi kuadratik ($O(N^2)$): Pada implementasi standar, setiap token harus dibandingkan dengan setiap token lainnya. Jika panjang konteks dokumen digandakan menjadi 2 kali lipat, kebutuhan memori komputasi perhatian melonjak 4 kali lipat. Keterbatasan inilah yang mendorong pengembangan teknik optimasi seperti FlashAttention dan KV Cache.
• Transformer bukan singkatan: Transformer adalah nama arsitektur resmi yang dipilih penciptanya untuk menggambarkan kemampuan model dalam mentransformasikan representasi urutan data masukan ke urutan data keluaran.

Rujukan resmi

• Vaswani et al. (Google Brain / Google Research): Attention Is All You Need (Pengecekan: 30 September 2026, rujukan resmi: arxiv.org/abs/1706.03762).
• Google Research Blog: Transformer: A Novel Neural Network Architecture for Language Understanding (Pengecekan: 30 September 2026, rujukan resmi: research.google/blog/transformer-a-novel-neural-network-architecture-for-language-understanding/).
• Hugging Face Transformers Documentation: Overview of Transformer Models (Pengecekan: 30 September 2026, rujukan resmi: huggingface.co/docs/transformers).