고정된 수준의 AI 성능 가격은 3년 만에 약 1,000배 하락했습니다(a16z, LLMflation 2024). 2021년 말 $60 per million tokens였던 GPT-3 품질 출력은 2024년 말에는 $0.06에 판매되었습니다. Stanford HAI의 2025년 AI Index는 GPT-3.5 동등 품질에 대해 약 18개월 만에 280배 하락을 측정했습니다(Stanford HAI, AI Index 2025). Epoch AI는 벤치마크 전반에서 연간 약 50배라는 중앙값 하락을 추적하고 있으며, 2024년 1월 이후로는 연간 200배까지 가속화되었습니다(Epoch AI, LLM Inference Price Trends 2025). 그럼에도 총지출은 반대 방향으로 오르고 있습니다: The Information은 OpenAI의 2025년 추론 비용이 약 $8.4 billion에 달했으며, 이는 전년 대비 약 4배라고 보도했습니다. 이 분석은 Epoch AI, Stanford HAI, a16z, Google, NVIDIA, Menlo Ventures 및 그 외 12개 1차 출처의 데이터를 종합하여 2026년 중반 시점의 추론 경제성 현황을 정리한 것입니다.
핵심 요점
- GPT-3 동등 출력은 2021년 $60 per million tokens에서 2024년 $0.06까지 하락했으며, 이는 1,000배 하락입니다(a16z, LLMflation 2024).
- GPT-3.5 동등 품질의 쿼리 가격은 $20 per million tokens에서 $0.07 per million tokens까지 하락했으며, 약 18개월 만에 280배 절감되었습니다(Stanford HAI, AI Index 2025).
- 벤치마크의 가격 대비 성능 하락 폭은 연간 9배에서 900배 범위이며, 중앙값은 50배로 2024년 1월 이후 200배까지 상승했습니다(Epoch AI, 2025).
- 하드웨어 개선과 별개로, 알고리즘 효율성 단독의 진전은 연간 약 3배 속도로 진행되고 있습니다(The Price of Progress, arXiv 2025).
- 2026년 NVIDIA H100의 온디맨드 임대 시장 평균 가격은 42개 공급업체 기준 $3.61 per GPU-hour 안팎이었습니다(getdeploying, 2026).
- NVIDIA의 GB300 NVL72는 $0.12 per million tokens를 기록했으며, Hopper 대비 토큰당 비용이 35배 낮은 것으로 설명됩니다(NVIDIA, InferenceMAX 2025).
- Google은 2026년 중반까지 월간 3.2 quadrillion tokens을 처리했으며, 이는 전년 대비 약 7배입니다(Google I/O 2026).
- 기업의 LLM API 지출은 6개월 만에 $3.5 billion에서 $8.4 billion으로 두 배가 되었습니다(Menlo Ventures, 2025).
- OpenAI의 2025년 추론 비용은 약 $8.4 billion에 달했으며, 전년 대비 약 4배입니다(The Information, 2025).
- 트레이닝과 추론을 합친 인프라 규모는 2025년 $251 billion으로 추산되었으며, 2029년까지 $672 billion으로 성장할 전망입니다(Bloomberg Intelligence, via Cerebras S-1 2026).
- Gemini의 중앙값 텍스트 프롬프트는 0.24 watt-hours를 사용하며, 12개월 만에 33배 감소했습니다(Google, 2025).
1. 동등 성능에서의 가격 붕괴
추론 경제성에서 가장 중요한 숫자는 어느 하나의 가격이 아니라 기울기, 즉 하락의 기세입니다. 고정된 품질 기준에서 모델을 운영하는 비용은 연 단위가 아니라 월 단위로 절반씩 줄어들고 있으며, 2024년 초 이후 그 하락세는 더욱 가팔라졌습니다. 벤치마크 간의 차이도 중요합니다. 저렴한 범용 품질은 가장 빠르게 하락하는 반면, 최첨단(frontier) 추론 품질은 가격을 유지합니다. Epoch AI는 연간 중앙값 50배 하락을 측정했으며, 2024년 1월 이후 데이터로 한정하면 연간 200배까지 뛰어오릅니다. 바닥이 계속 낮아지는 이유는 경쟁, 더 나은 실리콘, 더 나은 알고리즘이라는 세 가지 힘이 겹치기 때문입니다. 마지막 요인만 분리해 보면, 한 연구팀은 순수한 알고리즘 효율성을 연간 약 3배로 추산했습니다.
| 지표 | 값 | 출처 |
|---|---|---|
| GPT-3 동등 품질(MMLU ~42) 가격 | $60/M tokens (Nov 2021) to $0.06/M (2024), a 1,000x drop | a16z, LLMflation (2024) |
| 동등 성능에 대한 LLMflation 비율 | ~10x cheaper per year | a16z, LLMflation (2024) |
| GPT-3.5 동등 품질(MMLU 64.8%) 가격 | $20/M (Nov 2022) to $0.07/M (Oct 2024), 280-fold | Stanford HAI, AI Index (2025) |
| 벤치마크 전반의 가격 대비 성능 하락 | 9x to 900x per year; median 50x | Epoch AI, Inference Price Trends (2025) |
| 2024년 1월 이후 가속화 | Median 200x per year | Epoch AI, Inference Price Trends (2025) |
| GPQA Diamond에서의 GPT-4 품질 | 40x per year price drop | Epoch AI, Inference Price Trends (2025) |
| 최첨단 벤치마크 가격 하락 | 5x to 10x per year | The Price of Progress (arXiv, 2025) |
| 알고리즘 효율성 단독 진전 | ~3x per year | The Price of Progress (arXiv, 2025) |
이상치 참고: 이 수치들의 근거가 되는 Epoch 자체 데이터셋은 6개 벤치마크에 걸친 36건의 고유한 가격 관측치에 기반하므로, 단일 벤치마크 수치(극단값인 900배)는 통합 중앙값보다 노이즈가 더 큽니다.
2. 하드웨어와 GPU 경제성
토큰 가격 하락은 컴퓨팅 가격 하락 위에서 이루어집니다. 주력 제품인 NVIDIA H100의 임대 요금은 전문 클라우드 업체들이 하이퍼스케일러보다 낮은 가격을 제시하면서 2025년부터 2026년까지 계속 하락했으며, 새로운 가속기 세대가 등장할 때마다 토큰당 비용의 바닥이 재설정됩니다. 2025년 10월 발표된 NVIDIA의 InferenceMAX 벤치마크에 따르면 GB300 NVL72는 $0.12 per million tokens를 기록했으며, 이는 Hopper 세대보다 토큰당 비용이 35배 낮은 수준입니다. 공급업체의 서술은 홍보성이므로 이러한 배수는 최상의 시나리오로 취급해야 하지만, 방향성은 아래의 독립적인 가격 트래커와 일치합니다. Gartner는 이 추세가 수년간 이어질 것으로 전망합니다: 1조 파라미터 모델의 추론 비용은 2030년에 2025년보다 90% 이상 낮아질 것으로 예상됩니다.
| 지표 | 값 | 출처 |
|---|---|---|
| H100 온디맨드 평균, 42개 공급업체 | ~$3.61 per GPU-hour | getdeploying (2026) |
| 정점 대비 H100 클라우드 가격 하락 | 64% to 75% | GPU price trackers (2026) |
| AWS의 H100 가격 인하, 2025년 6월 | ~44% | GPU price trackers (2026) |
| ML 하드웨어 성능 향상 | 43% per year, doubling every 1.9 years | Stanford HAI, AI Index (2025) |
| ML 하드웨어 비용 하락 / 에너지 효율성 | -30% per year / +40% per year | Stanford HAI, AI Index (2025) |
| NVIDIA GB300 NVL72의 토큰당 비용 | $0.12/M, 35x lower than Hopper | NVIDIA, InferenceMAX (2025) |
| Blackwell의 100만 토큰당 비용 | 15x lower than prior generation | NVIDIA, InferenceMAX (2025) |
| 2030년 예상 비용, 1조 파라미터 추론 | >90% lower vs 2025 | Gartner (2025) |
맥락: 동일한 NVIDIA 공시에 따르면 $5 million 규모의 GB200 NVL72 구축이 약 $75 million의 토큰 매출을 창출한다고 하며, 이는 15배의 수익률입니다 — 다만 이는 독립적인 감사가 아니라 공급업체의 투자수익률 주장입니다. 더 폭넓은 실리콘 현황은 당사의 AI 칩 통계를 참고하세요.
3. 토큰의 폭발적 증가
토큰이 저렴해졌다고 해서 청구액이 줄어든 것이 아니라 오히려 수요가 폭발했습니다. 토큰당 가격이 하락하면서 공급업체들은 처리량을 quadrillion(천조) 단위로 측정하기 시작했으며, 작업당 수십 건의 호출을 발생시키는 에이전트형 워크로드가 물량을 더욱 끌어올리고 있습니다. Google은 2026년 중반까지 월간 3.2 quadrillion tokens을 처리했다고 밝혔으며, 이는 1년 전보다 약 7배 많은 수치입니다. 이는 실시간으로 벌어지는 제번스 역설입니다: 자원이 효율적일수록 더 많이 소비된다는 것입니다. Gartner는 에이전트형 쿼리만으로도 표준 챗봇 대화보다 5배에서 30배 더 많은 토큰을 소비한다고 지적하며, 제품이 단일 답변에서 다단계 에이전트로 전환됨에 따라 물량 곡선은 더욱 가팔라지고 있습니다.
| 지표 | 값 | 출처 |
|---|---|---|
| Google의 토큰 처리량 | 3.2 quadrillion/month (mid-2026), 7x YoY | Google I/O (2026) |
| Google의 토큰 성장 | 480T/month (May 2025) to 980T (July 2025) | T. Tunguz, Token Race (2025) |
| Microsoft Foundry의 처리량 | 100T tokens in a quarter; 50T single-month record | T. Tunguz, Token Race (2025) |
| Microsoft의 대형 고객 수 | 250+ customers on track for >1T tokens/year each | Microsoft, via T. Tunguz (2025) |
| Together.ai의 처리량 | 2 trillion tokens/day (Sept 2025) | T. Tunguz, Token Race (2025) |
| 추론 물량에서 오픈소스가 차지하는 비중 | ~1% to 3% | T. Tunguz, Token Race (2025) |
| 에이전트형 쿼리의 토큰 배수 | 5x to 30x more tokens than a chatbot query | Gartner (2025) |
맥락: 인용된 기간 동안 에이전트형 AI는 Azure 전체 추론 활동의 1% 미만을 차지했으므로, 5배에서 30배라는 배수는 작지만 빠르게 성장하는 기반에 적용된 것입니다. 이러한 워크로드가 앞으로 어디로 향할지는 당사의 AI 에이전트 통계를 참고하세요.
4. 기업 지출과 마진 역설
역설을 한 문장으로 요약하면 이렇습니다: 단가는 붕괴하고 있지만, 구매자와 판매자 모두 더 많이 지출하고 있습니다. 기업들은 예산을 실험 단계에서 추론이 멈추지 않는 상시 가동 프로덕션으로 옮겼습니다. Menlo Ventures는 AI 빌더의 74%가 현재 워크로드의 대부분이 추론이라고 답했으며, 이는 1년 전 48%에서 상승한 수치라고 밝혔습니다. 공급자 측에서는 추론이 지배적인 비용 항목입니다: The Information은 OpenAI의 2025년 추론 비용이 약 $8.4 billion에 달했으며, 이는 전년 대비 약 4배이자 자체 전망치인 $6.6 billion을 크게 웃도는 수준이라고 보도했습니다. 마진이 압박 지점입니다 — 같은 보도는 OpenAI의 매출총이익률이 목표치인 46%에 못 미치는 33%라고 밝혔습니다.
| 지표 | 값 | 출처 |
|---|---|---|
| 기업의 LLM API 지출 | $3.5B (late 2024) to $8.4B (mid-2025) | Menlo Ventures (2025) |
| 워크로드 대부분이 추론인 빌더 | 74%, up from 48% a year earlier | Menlo Ventures (2025) |
| 기업의 생성형 AI 투자 | $1.7B (2023) to $37B (2025) | Menlo Ventures (2025) |
| OpenAI의 2025년 추론 비용 | ~$8.4B, ~4x YoY (vs $6.6B forecast) | The Information (2025) |
| OpenAI의 2026년 추론 비용 전망 | ~$14.1B | The Information (2025) |
| Anthropic의 2025년 추론 비용 | ~$2.7B, >3x growth | The Information (2025) |
| OpenAI의 매출총이익률 | 33% (fell from 40%, missed 46% target) | The Information (2025) |
| Barclays의 소비자용 추론 칩 설비투자, 2026년 | ~$120 billion | Barclays Research (2025) |
맥락: Anthropic의 API 사업은 매출총이익률이 80%를 넘는 것으로 알려져 있으며, 이는 “추론은 손해를 본다”는 서사가 모델 구성과 가격 정책에 따라 달라질 뿐 보편적이지 않다는 점을 상기시켜 줍니다. 그 이면의 소프트웨어 경제성은 당사의 SaaS 통계를 참고하세요.
5. 비용 절감 레버: 오픈 모델, 캐싱, 배치 처리
정가는 규율 있는 팀이 실제로 지불하는 금액을 과장해서 보여줍니다. 오픈 웨이트 모델, 프롬프트 캐싱, 비동기 배치 처리는 각각 실질 비용을 자릿수 단위로 줄이며, 이 효과들은 중첩됩니다. DeepSeek의 R1은 토큰당 기준으로 OpenAI의 o1보다 약 96% 저렴하며, 그 격차는 약 27배에 달합니다. 최첨단 등급은 정반대의 이야기를 들려줍니다: OpenAI의 o1 출력 가격인 $60 per million tokens는 2021년 GPT-3 출시 당시 가격과 동일하며, 범용 품질이 붕괴하는 와중에도 프리미엄 추론은 저렴해지지 않았습니다. 절감 효과는 아래의 레버들에 담겨 있습니다.
| 지표 | 값 | 출처 |
|---|---|---|
| DeepSeek R1의 API 가격 | $0.55/M input, $2.19/M output | DeepSeek pricing (2026) |
| OpenAI o1의 API 가격 | $15/M input, $60/M output | pricepertoken (2026) |
| DeepSeek R1 대 OpenAI o1 | ~96% cheaper (~27x) | pricepertoken (2026) |
| OpenAI o1 출력 대 GPT-3 출시 당시 가격 | $60/M, identical to 2021 GPT-3 | a16z, LLMflation (2024) |
| DeepSeek R1의 캐시된 입력 | $0.14/M tokens | DeepSeek pricing (2026) |
| DeepSeek V4의 캐시된 입력 | $0.03/M tokens, a 90% discount | DeepSeek pricing (2026) |
| OpenAI Batch API 할인 | Flat 50% for a 24-hour window | OpenAI Batch API (2026) |
| 캐시 + 배치, GPT-5.4의 캐시된 입력 | $0.625/M, 75% below standard | OpenAI Batch API (2026) |
이상치 참고: 주요 공급업체 전반에서 출력 토큰은 입력 토큰보다 3배에서 5배 높게 책정됩니다. 생성은 순차적인 반면 입력 처리는 병렬화되기 때문이며, 그래서 캐싱은 입력이 많은 워크로드에 가장 큰 도움이 됩니다. 오픈 웨이트 모델이 이 구도를 어떻게 바꾸는지는 당사의 클라우드 컴퓨팅 통계를 참고하세요.
6. 시장 규모와 전망
AI 추론에 대한 전체 시장 규모 추정치는 폭이 넓습니다. 분석기관마다 경계를 다르게 긋기 때문으로, 어떤 곳은 추론 칩만 집계하고 다른 곳은 소프트웨어와 서비스를 포함한 전체 스택을 집계합니다. 이 편차는 모순이 아니라 범위로 받아들여야 합니다. Cerebras의 S-1에서 인용된 Bloomberg Intelligence는 트레이닝과 추론을 합친 인프라 시장 규모를 2025년 $251 billion, 2029년까지 $672 billion으로 성장할 것으로 추산했으며, 추론이 트레이닝보다 두 배 넘게 빠르게 확대되고 있습니다. 더 좁은 범위인 추론 칩 부문은 폭발적이지 않고 꾸준히 성장하는 반면, “AI 추론”의 넓은 정의로는 2030년까지 약 4분의 1조 달러에 이릅니다.
| 지표 | 값 | 출처 |
|---|---|---|
| AI 추론 시장, 2025-2030년 | $106.15B to $254.98B, 19.2% CAGR | MarketsandMarkets (2025) |
| AI 추론 시장, 2024-2030년 | $97.24B to $253.75B, 17.5% CAGR | Grand View Research (2025) |
| AI 추론 시장, 2026-2034년 | $117.80B to $312.64B, 12.98% CAGR | Fortune Business Insights (2026) |
| AI 추론 칩 시장, 2026-2030년 | $20.51B to $36.97B, 15.9% CAGR | The Business Research Company (2026) |
| 트레이닝과 추론을 합친 인프라, 2025-2029년 | $251B to $672B, ~28% CAGR | Bloomberg Intelligence, via Cerebras S-1 (2026) |
| 추론 대 트레이닝 성장률 | Inference grows >2x faster | Bloomberg Intelligence, via Cerebras S-1 (2026) |
편차 참고: “AI 추론”에 대한 2030년 추정치는 약 $255B(MarketsandMarkets)에서 2034년까지 $313B(Fortune Business Insights)까지 폭이 있습니다. 이 차이는 데이터 오류가 아니라 범위와 기준연도의 차이를 반영한 것입니다.
7. 에너지와 쿼리당 비용
쿼리당 자원 소비량은 달러 가격만큼이나 빠르게 줄어들고 있으며, 2025년은 최대 공급업체가 마침내 수치를 공개한 해였습니다. Google은 Gemini의 중앙값 텍스트 프롬프트가 0.24 watt-hours의 전력을 사용하며, 이 수치가 지난 12개월 동안 33배 감소했다고 밝혔습니다. 독립적인 추정치도 비슷한 범위에 있으며, 이는 공급업체 계산에 대한 유용한 교차 검증이 됩니다. 다만 중요한 단서가 있습니다: 이는 중앙값이며, 복잡한 추론이나 에이전트형 작업은 수 watt-hours에서 수십 watt-hours를 소비하므로, 제품이 더 무거운 워크로드로 전환됨에 따라 평균 청구액은 상승합니다.
| 지표 | 값 | 출처 |
|---|---|---|
| Gemini 중앙값 텍스트 프롬프트의 에너지 | 0.24 watt-hours | Google Cloud (2025) |
| Gemini 중앙값 프롬프트의 물 / 탄소 | 0.26 mL / 0.03 gCO2e | Google Cloud (2025) |
| Gemini 중앙값 프롬프트당 에너지, 12개월간 변화 | Fell 33x | Google Cloud (2025) |
| Gemini 중앙값 프롬프트당 탄소, 12개월간 변화 | Fell 44x | Google Cloud (2025) |
| ChatGPT 평균 쿼리 에너지 | ~0.34 watt-hours | OpenAI (Sam Altman, 2025) |
| 일반적인 쿼리 추정치 | ~0.3 watt-hours | Epoch AI (2025) |
| 복잡한 / 에이전트형 쿼리의 에너지 | Several to tens of watt-hours | Google Cloud (2025) |
맥락: Google의 공시는 유휴 용량과 데이터센터 오버헤드(PUE)를 포함한 시스템 전체 전력을 다루며, 이는 다른 곳에서 흔히 인용되는 칩 단독 수치보다 넓은 범위이므로 대략적인 추정치와는 직접 비교할 수 없습니다.
요약: 숫자로 보는 AI 추론 비용
| 지표 | 값 | 출처 |
|---|---|---|
| GPT-3 동등 가격 | $60/M (2021) to $0.06/M (2024), 1,000x | a16z, LLMflation (2024) |
| GPT-3.5 동등 가격 | 280-fold drop, late 2022 to Oct 2024 | Stanford HAI, AI Index (2025) |
| 벤치마크 전반의 가격 하락 | Median 50x/year; 200x/year since Jan 2024 | Epoch AI (2025) |
| 알고리즘 효율성 진전 | ~3x per year | The Price of Progress (arXiv, 2025) |
| H100 온디맨드 평균 | ~$3.61 per GPU-hour, 42 providers | getdeploying (2026) |
| 정점 대비 H100 가격 하락 | 64% to 75% | GPU price trackers (2026) |
| ML 하드웨어 비용 / 에너지 효율성 | -30% / +40% per year | Stanford HAI, AI Index (2025) |
| NVIDIA GB300 NVL72의 토큰당 비용 | $0.12/M, 35x lower than Hopper | NVIDIA, InferenceMAX (2025) |
| Google의 토큰 처리량 | 3.2 quadrillion/month, 7x YoY | Google I/O (2026) |
| 기업의 LLM API 지출 | $3.5B to $8.4B in six months | Menlo Ventures (2025) |
| 추론이 대부분인 워크로드 | 74% of builders, up from 48% | Menlo Ventures (2025) |
| OpenAI의 2025년 추론 비용 | ~$8.4B, ~4x YoY | The Information (2025) |
| Anthropic의 2025년 추론 비용 | ~$2.7B, >3x growth | The Information (2025) |
| DeepSeek R1 대 OpenAI o1 | ~96% cheaper (~27x) | pricepertoken (2026) |
| AI 추론 시장 | $106B (2025) to $255B (2030), 19.2% CAGR | MarketsandMarkets (2025) |
| 트레이닝과 추론을 합친 인프라 | $251B (2025) to $672B (2029) | Bloomberg Intelligence, via Cerebras S-1 (2026) |
| Gemini 중앙값 프롬프트의 에너지 | 0.24 Wh, down 33x in 12 months | Google Cloud (2025) |
| Gartner의 2030년 비용 전망 | 1T-param inference >90% cheaper vs 2025 | Gartner (2025) |
| 에이전트형 쿼리의 토큰 배수 | 5x to 30x more tokens | Gartner (2025) |
| OpenAI Batch API 할인 | Flat 50% for 24-hour window | OpenAI (2026) |
방법론과 출처
데이터는 1차 보고서, 기업 공시자료, 규제기관 제출 서류, 공개된 방법론을 갖춘 명명된 가격 트래커, 그리고 2024년부터 2026년까지 발표된 동료평가 분석에서 수치를 취합하여 수집했습니다. 2025-2026년 데이터를 우선시했으며, 업계지 언급은 원출처까지 추적했습니다.
- Andreessen Horowitz(a16z), Welcome to LLMflation(2024) — a16z.com
- Epoch AI, LLM Inference Price Trends 및 How Much Energy Does ChatGPT Use?(2025) — epoch.ai
- Stanford HAI, 2025 AI Index Report, Research and Development 챕터(2025) — hai.stanford.edu
- The Price of Progress: Algorithmic Efficiency and the Falling Cost of AI Inference(arXiv:2511.23455, 2025)
- Gartner, AI 추론 비용 전망, CIO Dive 경유 보도(2025)
- NVIDIA, Blackwell InferenceMAX Benchmark Results(2025년 10월)
- Google / Google Cloud, Measuring the Environmental Impact of AI Inference(2025); MIT Technology Review 보도(2025)
- Tomasz Tunguz, The Trillion Token Race(2025); Google I/O 2026 기조연설(Sundar Pichai)
- Menlo Ventures, 2025: The State of Generative AI in the Enterprise(2025)
- The Information, OpenAI 및 Anthropic 추론 비용 관련 보도(2025)
- Bloomberg Intelligence, Cerebras Systems의 S-1 제출서류(미국 SEC)에서 인용된 시장 규모(2026)
- Barclays Research, 소비자용 AI 추론 설비투자 추정치(2025)
- DeepSeek, API 가격 문서(2026); pricepertoken.com의 모델 가격(2026)
- OpenAI, Batch API 문서(2026); 쿼리 에너지에 관한 샘 올트먼의 공개 발언(2025)
- getdeploying 및 기타 NVIDIA H100 클라우드 가격 트래커(2026)
- MarketsandMarkets, Grand View Research, Fortune Business Insights, AI 추론 시장 보고서(2024-2026); The Business Research Company, AI 추론 칩 시장(2026, GlobeNewswire 경유)
Data watch: Stanford HAI는 AI Index를 매년 발행합니다(다음 판은 2027년 4월경 예정); Menlo Ventures는 State of Generative AI 보고서를 매년 갱신합니다; Epoch AI는 추론 가격 및 트렌드 트래커를 지속적으로 업데이트합니다; Google은 환경영향 공시를 매년 갱신할 것으로 예상됩니다; 그리고 Gartner와 시장조사 업체들은 순환 주기로 추론 전망을 재발행합니다. 최첨단 API 가격은 자주 변동하므로 토큰당 수치는 특정 시점의 스냅샷입니다.
마지막 업데이트: 2026년 7월 10일.
새로운 데이터가 발표되는 대로 분기마다 이 페이지를 검토하고 업데이트합니다.