Harga untuk tingkat performa AI tetap telah turun sekitar 1,000x dalam tiga tahun (a16z, LLMflation 2024) — output berkualitas GPT-3 yang berharga $60 per juta token pada akhir 2021 terjual seharga $0.06 pada akhir 2024. AI Index 2025 Stanford HAI mengukur penurunan 280 kali lipat untuk kualitas setara GPT-3.5 dalam sekitar 18 bulan (Stanford HAI, AI Index 2025). Epoch AI mencatat penurunan median sekitar 50x per tahun di seluruh benchmark, berakselerasi menjadi 200x per tahun sejak Januari 2024 (Epoch AI, LLM Inference Price Trends 2025). Namun total belanja justru melonjak ke arah sebaliknya: The Information melaporkan tagihan inferensi 2025 OpenAI mendekati $8.4 miliar, sekitar empat kali lipat tahun sebelumnya. Analisis ini menggabungkan data dari Epoch AI, Stanford HAI, a16z, Google, NVIDIA, Menlo Ventures, dan 12 sumber utama lainnya tentang posisi ekonomi inferensi pada pertengahan 2026.
TL;DR
- Output setara GPT-3 turun dari $60 per juta token pada 2021 menjadi $0.06 pada 2024, penurunan 1,000x (a16z, LLMflation 2024).
- Menanyakan kualitas setara GPT-3.5 turun dari $20 menjadi $0.07 per juta token, pemotongan 280 kali lipat dalam sekitar 18 bulan (Stanford HAI, AI Index 2025).
- Penurunan harga-performa benchmark berkisar 9x hingga 900x per tahun; median 50x, naik menjadi 200x sejak Januari 2024 (Epoch AI, 2025).
- Kemajuan efisiensi algoritmik yang terisolasi berjalan sekitar 3x per tahun, di atas perolehan perangkat keras (The Price of Progress, arXiv 2025).
- Sewa on-demand rata-rata pasar NVIDIA H100 sekitar $3.61 per jam GPU di 42 penyedia pada 2026 (getdeploying, 2026).
- GB300 NVL72 NVIDIA mencapai $0.12 per juta token, digambarkan sebagai biaya per token 35x lebih rendah dibandingkan Hopper (NVIDIA, InferenceMAX 2025).
- Google memproses 3.2 kuadriliun token per bulan pada pertengahan 2026, sekitar 7x tahun-ke-tahun (Google I/O 2026).
- Belanja API LLM perusahaan berlipat ganda dari $3.5 miliar menjadi $8.4 miliar dalam enam bulan (Menlo Ventures, 2025).
- Biaya inferensi 2025 OpenAI mencapai sekitar $8.4 miliar, sekitar 4x tahun sebelumnya (The Information, 2025).
- Infrastruktur gabungan pelatihan-plus-inferensi diperkirakan sebesar $251 miliar pada 2025, tumbuh menjadi $672 miliar pada 2029 (Bloomberg Intelligence, via Cerebras S-1 2026).
- Prompt teks Gemini median menggunakan 0.24 watt-jam, turun 33x dalam 12 bulan (Google, 2025).
1. Keruntuhan Harga untuk Performa Setara
Angka utama dalam ekonomi inferensi bukanlah satu harga — melainkan kemiringannya. Untuk standar kualitas tetap, biaya menjalankan model telah menyusut setengahnya dalam skala bulan, bukan tahun, dan penurunan ini semakin curam sejak awal 2024. Divergensi antar-benchmark penting: kualitas komoditas murah turun paling cepat, sementara kualitas penalaran garis depan mempertahankan harganya. Epoch AI mengukur penurunan median 50x per tahun, melonjak menjadi 200x per tahun ketika dibatasi pada data sejak Januari 2024. Batas bawah terus turun karena tiga kekuatan bertumpuk: persaingan, silikon yang lebih baik, dan algoritma yang lebih baik. Mengisolasi yang terakhir, sebuah tim riset menempatkan efisiensi algoritmik murni pada sekitar 3x per tahun.
| Metrik | Nilai | Sumber |
|---|---|---|
| Harga kualitas setara GPT-3 (MMLU ~42) | $60/M tokens (Nov 2021) to $0.06/M (2024), a 1,000x drop | a16z, LLMflation (2024) |
| Tarif LLMflation untuk performa setara | ~10x cheaper per year | a16z, LLMflation (2024) |
| Harga kualitas setara GPT-3.5 (MMLU 64.8%) | $20/M (Nov 2022) to $0.07/M (Oct 2024), 280-fold | Stanford HAI, AI Index (2025) |
| Penurunan harga-performa antar-benchmark | 9x to 900x per year; median 50x | Epoch AI, Inference Price Trends (2025) |
| Akselerasi pasca-Januari 2024 | Median 200x per year | Epoch AI, Inference Price Trends (2025) |
| Kualitas GPT-4 pada GPQA Diamond | 40x per year price drop | Epoch AI, Inference Price Trends (2025) |
| Penurunan harga benchmark garis depan | 5x to 10x per year | The Price of Progress (arXiv, 2025) |
| Kemajuan efisiensi algoritmik terisolasi | ~3x per year | The Price of Progress (arXiv, 2025) |
Catatan pencilan: Kumpulan data Epoch sendiri di balik angka-angka ini bertumpu pada 36 observasi harga unik di enam benchmark, sehingga tarif benchmark tunggal (ekstrem 900x) lebih berisik dibandingkan median gabungan.
2. Perangkat Keras dan Ekonomi GPU
Harga token yang turun ditopang oleh harga komputasi yang turun. Tarif sewa untuk NVIDIA H100 yang menjadi kuda beban terus melorot sepanjang 2025 hingga 2026 seiring cloud khusus memangkas harga hyperscaler, dan setiap generasi akselerator baru mengatur ulang batas bawah biaya per token. Benchmark InferenceMAX NVIDIA, dipublikasikan Oktober 2025, menempatkan GB300 NVL72 pada $0.12 per juta token — biaya per token 35x lebih rendah dibandingkan generasi Hopper. Kerangka vendor ini bersifat promosi, jadi perlakukan kelipatan tersebut sebagai skenario terbaik, tetapi arahnya sesuai dengan pelacak harga independen di bawah ini. Gartner memproyeksikan tren ini akan berlanjut selama bertahun-tahun: inferensi pada model dengan triliunan parameter seharusnya berbiaya lebih dari 90 persen lebih rendah pada 2030 dibandingkan 2025.
| Metrik | Nilai | Sumber |
|---|---|---|
| Rata-rata H100 on-demand, 42 penyedia | ~$3.61 per GPU-hour | getdeploying (2026) |
| Penurunan harga cloud H100 dari puncak | 64% to 75% | GPU price trackers (2026) |
| Pemotongan harga H100 AWS, Juni 2025 | ~44% | GPU price trackers (2026) |
| Pertumbuhan performa perangkat keras ML | 43% per year, doubling every 1.9 years | Stanford HAI, AI Index (2025) |
| Penurunan biaya perangkat keras ML / efisiensi energi | -30% per year / +40% per year | Stanford HAI, AI Index (2025) |
| Biaya per token NVIDIA GB300 NVL72 | $0.12/M, 35x lower than Hopper | NVIDIA, InferenceMAX (2025) |
| Biaya per juta token Blackwell | 15x lower than prior generation | NVIDIA, InferenceMAX (2025) |
| Proyeksi biaya 2030, inferensi 1T parameter | >90% lower vs 2025 | Gartner (2025) |
Konteks: Pengungkapan NVIDIA yang sama mengklaim bahwa instalasi GB200 NVL72 senilai $5 juta menghasilkan sekitar $75 juta dalam pendapatan token, pengembalian 15x — ini adalah promosi ROI dari pemasok, bukan audit independen. Untuk gambaran silikon yang lebih luas, lihat statistik chip AI kami.
3. Ledakan Token
Token yang lebih murah tidak mengecilkan tagihan; token justru meledakkan permintaan. Seiring harga per token turun, penyedia mulai mengukur throughput dalam kuadriliun, dan beban kerja agentik yang memicu puluhan panggilan per tugas mendorong volume semakin tinggi. Google melaporkan memproses 3.2 kuadriliun token per bulan pada pertengahan 2026, sekitar 7x tarif setahun sebelumnya. Ini adalah paradoks Jevons secara langsung: semakin efisien suatu sumber daya, semakin banyak yang dikonsumsi. Gartner mencatat kueri agentik saja mengonsumsi 5 hingga 30 kali lebih banyak token dibandingkan giliran chatbot standar, sehingga kurva volume semakin curam seiring produk beralih dari jawaban tunggal ke agen multi-langkah.
| Metrik | Nilai | Sumber |
|---|---|---|
| Throughput token Google | 3.2 quadrillion/month (mid-2026), 7x YoY | Google I/O (2026) |
| Pertumbuhan token Google | 480T/month (May 2025) to 980T (July 2025) | T. Tunguz, Token Race (2025) |
| Throughput Microsoft Foundry | 100T tokens in a quarter; 50T single-month record | T. Tunguz, Token Race (2025) |
| Jumlah pelanggan besar Microsoft | 250+ customers on track for >1T tokens/year each | Microsoft, via T. Tunguz (2025) |
| Throughput Together.ai | 2 trillion tokens/day (Sept 2025) | T. Tunguz, Token Race (2025) |
| Pangsa open source dalam volume inferensi | ~1% to 3% | T. Tunguz, Token Race (2025) |
| Pengali token kueri agentik | 5x to 30x more tokens than a chatbot query | Gartner (2025) |
Konteks: AI agentik menyumbang kurang dari 1 persen dari total aktivitas inferensi Azure pada periode yang dikutip, sehingga pengali 5x-30x diterapkan pada basis yang kecil namun tumbuh cepat. Untuk ke mana beban kerja tersebut mengarah selanjutnya, lihat statistik agen AI kami.
4. Belanja Perusahaan dan Paradoks Margin
Inilah paradoksnya dalam satu kalimat: harga per unit runtuh, namun pembeli dan penjual sama-sama membelanjakan lebih banyak. Perusahaan mengalihkan anggaran dari eksperimen ke produksi yang selalu aktif, di mana inferensi tidak pernah berhenti. Menlo Ventures menemukan 74 persen pembangun AI kini mengatakan mayoritas beban kerja mereka adalah inferensi, naik dari 48 persen setahun sebelumnya. Di sisi pemasok, inferensi adalah item biaya dominan: The Information melaporkan tagihan inferensi 2025 OpenAI mendekati $8.4 miliar, sekitar empat kali lipat tahun sebelumnya dan jauh di atas perkiraan mereka sendiri sebesar $6.6 miliar. Margin adalah titik tekanan — laporan yang sama menempatkan margin kotor OpenAI pada 33 persen, di bawah target 46 persennya.
| Metrik | Nilai | Sumber |
|---|---|---|
| Belanja API LLM perusahaan | $3.5B (late 2024) to $8.4B (mid-2025) | Menlo Ventures (2025) |
| Pembangun dengan beban kerja mayoritas inferensi | 74%, up from 48% a year earlier | Menlo Ventures (2025) |
| Investasi AI generatif perusahaan | $1.7B (2023) to $37B (2025) | Menlo Ventures (2025) |
| Biaya inferensi 2025 OpenAI | ~$8.4B, ~4x YoY (vs $6.6B forecast) | The Information (2025) |
| Proyeksi biaya inferensi 2026 OpenAI | ~$14.1B | The Information (2025) |
| Biaya inferensi 2025 Anthropic | ~$2.7B, >3x growth | The Information (2025) |
| Margin kotor OpenAI | 33% (fell from 40%, missed 46% target) | The Information (2025) |
| Capex chip inferensi konsumen Barclays, 2026 | ~$120 billion | Barclays Research (2025) |
Konteks: Bisnis API Anthropic dilaporkan beroperasi dengan margin kotor di atas 80 persen, sebuah pengingat bahwa narasi “inferensi merugi” bergantung pada campuran model dan penetapan harga, bukan bersifat universal. Untuk ekonomi perangkat lunak di baliknya, lihat statistik SaaS kami.
5. Pengungkit Biaya: Model Terbuka, Caching, dan Batch
Harga label melebih-lebihkan apa yang sebenarnya dibayar oleh tim yang disiplin. Model bobot terbuka, prompt caching, dan batching asinkron masing-masing memangkas biaya efektif hingga satu orde besaran, dan semuanya bertumpuk. R1 DeepSeek berjalan sekitar 96 persen lebih murah dibandingkan o1 OpenAI berdasarkan per token, kesenjangan sekitar 27x. Tingkat garis depan menceritakan kisah sebaliknya: harga output o1 OpenAI sebesar $60 per juta token identik dengan biaya GPT-3 saat peluncurannya pada 2021, sehingga penalaran premium tidak menjadi lebih murah bahkan ketika kualitas komoditas anjlok. Penghematan tersebut ada pada pengungkit di bawah ini.
| Metrik | Nilai | Sumber |
|---|---|---|
| Harga API DeepSeek R1 | $0.55/M input, $2.19/M output | DeepSeek pricing (2026) |
| Harga API OpenAI o1 | $15/M input, $60/M output | pricepertoken (2026) |
| DeepSeek R1 vs OpenAI o1 | ~96% cheaper (~27x) | pricepertoken (2026) |
| Output OpenAI o1 vs peluncuran GPT-3 | $60/M, identical to 2021 GPT-3 | a16z, LLMflation (2024) |
| Input yang di-cache DeepSeek R1 | $0.14/M tokens | DeepSeek pricing (2026) |
| Input yang di-cache DeepSeek V4 | $0.03/M tokens, a 90% discount | DeepSeek pricing (2026) |
| Diskon Batch API OpenAI | Flat 50% for a 24-hour window | OpenAI Batch API (2026) |
| Cache + batch, input yang di-cache GPT-5.4 | $0.625/M, 75% below standard | OpenAI Batch API (2026) |
Catatan pencilan: Token output diberi harga 3x hingga 5x lebih mahal dibandingkan token input di berbagai penyedia utama karena generasi bersifat sekuensial sementara pemrosesan input diparalelkan, sehingga caching paling membantu beban kerja yang intensif input. Untuk bagaimana model bobot terbuka membentuk ulang hal ini, lihat statistik komputasi cloud kami.
6. Ukuran Pasar dan Proyeksi
Pengukuran pasar agregat untuk inferensi AI sangat lebar, karena analis menggambar batasan secara berbeda — beberapa hanya menghitung chip inferensi, yang lain seluruh tumpukan perangkat lunak-plus-layanan. Perlakukan sebaran ini sebagai rentang, bukan kontradiksi. Bloomberg Intelligence, dikutip dalam S-1 Cerebras, memperkirakan pasar infrastruktur gabungan pelatihan-plus-inferensi sebesar $251 miliar pada 2025, tumbuh menjadi $672 miliar pada 2029, dengan inferensi berkembang lebih dari dua kali lebih cepat dibandingkan pelatihan. Segmen chip inferensi yang lebih sempit tumbuh secara stabil daripada eksplosif, sementara definisi “inferensi AI” yang luas mendarat mendekati seperempat triliun dolar pada 2030.
| Metrik | Nilai | Sumber |
|---|---|---|
| Pasar inferensi AI, 2025 hingga 2030 | $106.15B to $254.98B, 19.2% CAGR | MarketsandMarkets (2025) |
| Pasar inferensi AI, 2024 hingga 2030 | $97.24B to $253.75B, 17.5% CAGR | Grand View Research (2025) |
| Pasar inferensi AI, 2026 hingga 2034 | $117.80B to $312.64B, 12.98% CAGR | Fortune Business Insights (2026) |
| Pasar chip inferensi AI, 2026 hingga 2030 | $20.51B to $36.97B, 15.9% CAGR | The Business Research Company (2026) |
| Infrastruktur gabungan pelatihan + inferensi, 2025 hingga 2029 | $251B to $672B, ~28% CAGR | Bloomberg Intelligence, via Cerebras S-1 (2026) |
| Pertumbuhan inferensi vs pelatihan | Inference grows >2x faster | Bloomberg Intelligence, via Cerebras S-1 (2026) |
Catatan divergensi: Estimasi 2030 untuk “inferensi AI” berkisar sekitar $255B (MarketsandMarkets) hingga $313B pada 2034 (Fortune Business Insights); kesenjangan ini mencerminkan perbedaan cakupan dan tahun dasar, bukan kesalahan data.
7. Energi dan Biaya per Kueri
Jejak sumber daya per kueri turun secepat harga dolarnya, dan 2025 adalah tahun ketika penyedia terbesar akhirnya mempublikasikan angka. Google mengungkapkan bahwa prompt teks Gemini median menggunakan 0.24 watt-jam listrik — dan angka ini turun 33x selama 12 bulan sebelumnya. Estimasi independen berada di kisaran yang sama, yang menjadi pemeriksaan silang yang berguna atas perhitungan vendor. Peringatannya cukup berbobot: ini adalah median, dan tugas penalaran kompleks atau agentik mengonsumsi beberapa hingga puluhan watt-jam, sehingga tagihan rata-rata naik seiring produk beralih ke beban kerja yang lebih berat.
| Metrik | Nilai | Sumber |
|---|---|---|
| Energi prompt teks Gemini median | 0.24 watt-hours | Google Cloud (2025) |
| Air / karbon prompt Gemini median | 0.26 mL / 0.03 gCO2e | Google Cloud (2025) |
| Energi per prompt Gemini median, perubahan 12 bulan | Fell 33x | Google Cloud (2025) |
| Karbon per prompt Gemini median, perubahan 12 bulan | Fell 44x | Google Cloud (2025) |
| Energi rata-rata kueri ChatGPT | ~0.34 watt-hours | OpenAI (Sam Altman, 2025) |
| Estimasi kueri tipikal | ~0.3 watt-hours | Epoch AI (2025) |
| Energi kueri kompleks / agentik | Several to tens of watt-hours | Google Cloud (2025) |
Konteks: Pengungkapan Google mencakup daya seluruh sistem termasuk kapasitas idle dan overhead pusat data (PUE), sebuah batasan yang lebih luas dibandingkan angka khusus chip yang sering dikutip di tempat lain, sehingga tidak dapat dibandingkan secara langsung dengan estimasi kasar.
Ringkasan: Biaya Inferensi AI dalam Angka
| Metrik | Nilai | Sumber |
|---|---|---|
| Harga setara GPT-3 | $60/M (2021) to $0.06/M (2024), 1,000x | a16z, LLMflation (2024) |
| Harga setara GPT-3.5 | 280-fold drop, late 2022 to Oct 2024 | Stanford HAI, AI Index (2025) |
| Penurunan harga antar-benchmark | Median 50x/year; 200x/year since Jan 2024 | Epoch AI (2025) |
| Kemajuan efisiensi algoritmik | ~3x per year | The Price of Progress (arXiv, 2025) |
| Rata-rata H100 on-demand | ~$3.61 per GPU-hour, 42 providers | getdeploying (2026) |
| Penurunan harga H100 dari puncak | 64% to 75% | GPU price trackers (2026) |
| Biaya perangkat keras ML / efisiensi energi | -30% / +40% per year | Stanford HAI, AI Index (2025) |
| Biaya per token NVIDIA GB300 NVL72 | $0.12/M, 35x lower than Hopper | NVIDIA, InferenceMAX (2025) |
| Throughput token Google | 3.2 quadrillion/month, 7x YoY | Google I/O (2026) |
| Belanja API LLM perusahaan | $3.5B to $8.4B in six months | Menlo Ventures (2025) |
| Beban kerja mayoritas inferensi | 74% of builders, up from 48% | Menlo Ventures (2025) |
| Biaya inferensi 2025 OpenAI | ~$8.4B, ~4x YoY | The Information (2025) |
| Biaya inferensi 2025 Anthropic | ~$2.7B, >3x growth | The Information (2025) |
| DeepSeek R1 vs OpenAI o1 | ~96% cheaper (~27x) | pricepertoken (2026) |
| Pasar inferensi AI | $106B (2025) to $255B (2030), 19.2% CAGR | MarketsandMarkets (2025) |
| Infrastruktur gabungan pelatihan + inferensi | $251B (2025) to $672B (2029) | Bloomberg Intelligence, via Cerebras S-1 (2026) |
| Energi prompt Gemini median | 0.24 Wh, down 33x in 12 months | Google Cloud (2025) |
| Proyeksi biaya Gartner 2030 | 1T-param inference >90% cheaper vs 2025 | Gartner (2025) |
| Pengali token kueri agentik | 5x to 30x more tokens | Gartner (2025) |
| Diskon Batch API OpenAI | Flat 50% for 24-hour window | OpenAI (2026) |
Metodologi dan Sumber
Data dikumpulkan dengan mengagregasi angka dari laporan primer, pengungkapan perusahaan, pengajuan regulasi, pelacak harga bernama dengan metodologi publik, dan analisis yang ditinjau sejawat yang dipublikasikan dari 2024 hingga 2026, memprioritaskan data 2025-2026 dan melacak sebutan pers dagang kembali ke sumber aslinya.
- Andreessen Horowitz (a16z), Welcome to LLMflation (2024) — a16z.com
- Epoch AI, LLM Inference Price Trends dan How Much Energy Does ChatGPT Use? (2025) — epoch.ai
- Stanford HAI, 2025 AI Index Report, bab Riset dan Pengembangan (2025) — hai.stanford.edu
- The Price of Progress: Algorithmic Efficiency and the Falling Cost of AI Inference (arXiv:2511.23455, 2025)
- Gartner, perkiraan biaya inferensi AI, dilaporkan melalui CIO Dive (2025)
- NVIDIA, Blackwell InferenceMAX Benchmark Results (Oktober 2025)
- Google / Google Cloud, Measuring the Environmental Impact of AI Inference (2025); pemberitaan MIT Technology Review (2025)
- Tomasz Tunguz, The Trillion Token Race (2025); pidato utama Google I/O 2026 (Sundar Pichai)
- Menlo Ventures, 2025: The State of Generative AI in the Enterprise (2025)
- The Information, pemberitaan biaya inferensi OpenAI dan Anthropic (2025)
- Bloomberg Intelligence, pengukuran pasar dikutip dalam pengajuan S-1 Cerebras Systems, SEC AS (2026)
- Barclays Research, estimasi capex inferensi AI konsumen (2025)
- DeepSeek, dokumentasi harga API (2026); harga model pricepertoken.com (2026)
- OpenAI, dokumentasi Batch API (2026); pernyataan publik Sam Altman tentang energi kueri (2025)
- getdeploying dan pelacak harga cloud NVIDIA H100 lainnya (2026)
- MarketsandMarkets, Grand View Research, dan Fortune Business Insights, laporan pasar inferensi AI (2024-2026); The Business Research Company, pasar chip inferensi AI (2026, via GlobeNewswire)
Data watch: Stanford HAI mempublikasikan AI Index setiap tahun (edisi berikutnya diperkirakan sekitar April 2027); Menlo Ventures memperbarui laporan State of Generative AI setiap tahun; Epoch AI memperbarui pelacak harga dan tren inferensinya secara berkelanjutan; Google diperkirakan akan memperbarui pengungkapan dampak lingkungannya setiap tahun; dan Gartner beserta perusahaan riset pasar menerbitkan ulang perkiraan inferensi mereka dalam siklus bergulir. Harga API garis depan sering berubah, sehingga angka per token bersifat sesaat.
Terakhir diperbarui: 10 Juli 2026.
Kami meninjau dan memperbarui halaman ini setiap kuartal seiring diterbitkannya data baru.