Apa itu Max Tokens (Batas Maksimum Token Keluaran AI)?

Apa itu Max Tokens?

Max Tokens (atau sering dinamai max_tokens / max_completion_tokens) adalah parameter konfigurasi saat memanggil API model bahasa besar (LLM). Parameter ini menetapkan batas jumlah token keluaran (completion tokens) yang boleh dihasilkan oleh model dalam satu kali permintaan inferensi.

Jika model mencapai batas angka yang ditentukan sebelum menyelesaikan seluruh kalimat atau paragraf, proses generasi teks akan langsung dihentikan secara sepihak oleh sistem. Di sisi teknis API, peristiwa penghentian ini ditandai dengan kode status finish_reason: "length".

Cara kerja Max Tokens

1. Penetapan Kuota Komputasi: Saat mengirim permintaan prompt ke API, pengembang menyertakan nilai integer positif (misalnya max_tokens: 500).
2. Generasi Token Bertahap: Model memprediksi dan menghasilkan token kata per kata secara berurutan. Setiap token yang selesai digenerasi akan mengurangi sisa kuota yang dialokasikan.
3. Pemicu Penghentian: Generasi berhenti saat salah satu dari dua kondisi ini tercapai lebih dulu:
   • Model menghasilkan token penutup khusus (end-of-sequence / <|endoftext|>), menghasilkan status finish_reason: "stop".
   • Jumlah token hasil generasi mencapai batas max_tokens, menghasilkan status finish_reason: "length".

Contoh konfigurasi praktis

Contoh 1: Batasan jawaban ringkas pada OpenAI API

{
  "model": "gpt-4o",
  "messages": [
    {"role": "user", "content": "Jelaskan cara kerja SSD dalam satu kalimat ringkas."}
  ],
  "max_tokens": 60
}

Dengan membatasi ke 60 token, model dicegah mengarang teks panjang yang tidak diperlukan dan tagihan komputasi token keluaran tetap rendah.

Contoh 2: Batasan penulisan kode terstruktur

Untuk penulisan modul program lengkap atau analisis dokumen panjang, kuota biasanya dinaikkan sesuai batas model (misalnya 4.096 atau 8.192 token pada Claude 3.5 Sonnet / GPT-4o).

Batasan dan salah paham umum

• Bukan batas panjang masukan (prompt): Max tokens hanya membatasi panjang teks keluaran (output), bukan teks pertanyaan masukan (input). Batas total gabungan input dan output ditentukan oleh kapasitas Context Window.
• Teks bisa terpotong di tengah kalimat: Jika nilai max_tokens disetel terlalu kecil (misalnya 50 token untuk instruksi penulisan esai), jawaban model akan terhenti mendadak di tengah kata atau tanda baca tanpa tanda penutup yang wajar.
• Bukan jaminan model akan memakai seluruh kuota: Menyetel max_tokens: 4000 tidak memaksa model menjawab sepanjang 4.000 token. Model akan tetap berhenti otomatis ketika tugas dirasa selesai.

Rujukan resmi

• OpenAI API Reference Documentation — Completions & Chat Completion Parameters (max_tokens, max_completion_tokens): platform.openai.com/docs/api-reference/chat/create (Pengecekan: 13 Oktober 2026)
• Anthropic Claude API Documentation — Messages API Request Parameters (max_tokens required): docs.anthropic.com/en/api/messages (Pengecekan: 13 Oktober 2026)
• Google Cloud Vertex AI / Gemini API Reference — GenerationConfig (maxOutputTokens): ai.google.dev/gemini-api/docs/models/generative-models (Pengecekan: 13 Oktober 2026)