Apa itu Rate Limit (Batas Panggilan API)?

Apa itu Rate Limit?

Rate Limit adalah kebijakan pembatasan jumlah permintaan (requests) atau volume data yang diizinkan untuk dikirim oleh satu pengguna atau aplikasi ke server API dalam satuan waktu tertentu (misalnya per detik, per menit, atau per hari).

Bila batas ini terlampaui, server akan menolak permintaan baru untuk sementara waktu dan mengembalikan kode status kesalahan HTTP 429 Too Many Requests.

Mengapa penyedia API menerapkan Rate Limit?

Penerapan batas kuota ini memiliki fungsi penting:

1. Mencegah Beban Berlebih (Overload): Melindungi infrastruktur server dan kartu grafis komputasi AI dari lonjakan lalu lintas yang tidak wajar.
2. Keadilan Layanan (Fair Use): Memastikan semua pengembang dan pengguna mendapatkan alokasi sumber daya yang merata tanpa ada satu aplikasi yang mendominasi seluruh kapasitas sistem.
3. Perlindungan Terhadap Serangan DoS: Mencegah bot jahat melumpuhkan sistem dengan membanjiri server lewat jutaan panggilan berulang.
4. Kontrol Finansial dan Skalabilitas: Mencegah lonjakan tagihan tak terduga (bill shock) akibat kesalahan perulangan tak terbatas (infinite loop) pada kode aplikasi pengguna.

Metrik Rate Limit pada API Model AI

Pada layanan API kecerdasan buatan modern (seperti Anthropic, OpenAI, atau Google AI Studio), rate limit biasanya diukur dengan tiga metrik utama:

• RPM (Requests Per Minute): Berapa kali aplikasi Anda boleh mengirim panggilan HTTP dalam satu menit.
• TPM (Tokens Per Minute): Total akumulasi token masukan (input tokens) dan keluaran (output tokens) yang diizinkan diproses dalam 60 detik.
• RPD / TPD (Requests/Tokens Per Day): Batas maksimal kuota panggilan atau token dalam satu hari kalender penuh.

Cara menangani error HTTP 429 secara teknis

• Exponential Backoff dengan Jitter: Ketika menerima status HTTP 429, buat aplikasi berhenti sejenak sebelum mencoba lagi. Gandakan waktu tunggu secara bertahap (misal 1 detik, 2 detik, 4 detik, 8 detik) ditambah angka acak kecil (jitter) agar permintaan tidak menabrak server di detik yang sama.
• Membaca Header Retry-After: Sebagian besar server API menyertakan header respon Retry-After: <detik> yang memberi tahu durasi pasti kapan klien boleh mengirim permintaan berikutnya.
• Penerapan Antrian (Queue System): Mengatur lalu lintas data melalui antrian lokal (seperti Redis atau Celery) agar pengiriman pesan keluar dibatasi secara halus di bawah ambang batas maksimum provider.

Rujukan resmi

• OpenAI Platform Docs: Understanding and Handling Rate Limits (Pengecekan: 25 September 2026, sumber: platform.openai.com/docs/guides/rate-limits).
• Anthropic API Documentation: Rate Limits & Tier Qualifications (Pengecekan: 25 September 2026, sumber: docs.anthropic.com/en/api/rate-limits).
• IETF RFC 6585: Additional HTTP Status Codes - Section 4: 429 Too Many Requests (Pengecekan: 25 September 2026, sumber: datatracker.ietf.org/doc/html/rfc6585#section-4).