같은 모델이라도 어떤 벤치마크를 실행하느냐에 따라 환각률이 0.7%로도, 7.6%로도 측정될 수 있으며, 26개 최전선 모델을 대상으로 Stanford HAI는 22%에서 94%에 이르는 범위를 기록했다. 이 편차야말로 2026년 AI 환각 통계에서 가장 중요한 사실이다. 벤치마크 설계가 모델 품질보다 훨씬 크게 헤드라인 수치를 좌우한다. 모델에 원문을 제공하는 근거 기반 요약은 벤더 자료에 등장하는 보기 좋은 수치를 만들어낸다. 사람들이 실제로 이 시스템을 사용하는 방식에 더 가까운 개방형 회상 테스트는 한 자릿수 단위가 더 나쁜 수치를 만들어낸다. 아래 수치는 Vectara의 환각 리더보드와 Stanford HAI의 2026년판 AI Index에서 가져온 것이다.
핵심 요약
- 2026년에 보고된 환각률은 벤치마크에 따라 약 0.7%에서 94%까지 폭넓게 나타남(Vectara, Stanford HAI)
- Gemini-2.0-Flash-001은 근거 기반 요약에서 0.7%를 기록(Vectara)
- 같은 모델이 Vectara의 FaithJudge 벤치마크에서는 7.6%를 기록(Vectara)
- 이는 하나의 모델에서 약 11배의 차이에 해당(추정)
- Stanford HAI는 26개 최전선 모델에서 22%에서 94%를 기록(Stanford HAI, 2026년)
- 이 수치들은 아첨 성향에 따른 환각을 측정한 것(Stanford HAI, 2026년)
- Vectara의 2025년 11월 개편은 7,700건이 넘는 기사를 사용(Vectara)
- 이 개편은 훨씬 더 어렵게 설계됨(Vectara)
- 측정된 환각률은 더 어려워진 테스트의 직접적인 결과로 상승(Vectara)
- 근거 기반 요약 리더보드의 상위권은 약 1.8%에 위치(Vectara)
- Stanford의 조사 결과는 책임 있는 AI 챕터에 실림(Stanford HAI, 2026년)
- 근거 기반 요약은 모델에 원문을 제공함(Vectara)
- 개방형 회상 벤치마크는 모델이 도움 없이 사실을 내놓도록 요구함(Stanford HAI)
1. 편차 자체가 통계다
단일한 환각률을 인용하는 사람은 누구든 현상 자체가 아니라 하나의 벤치마크를 설명하고 있는 것이다. 2026년에 발표된 수치는 Vectara의 근거 기반 요약 리더보드 최고 수준에서의 약 0.7%부터, Stanford HAI가 테스트한 26개 최전선 모델에서의 22%에서 94%까지 걸쳐 있다. 이는 같은 값에 대한 경쟁하는 추정치가 아니라 서로 다른 과제에 대한 측정치이며, 그 격차는 두 자릿수 이상의 배수에 이른다.
| 지표 | 값 | 출처 |
|---|---|---|
| 가장 낮은 공표 수치, 근거 기반 요약 | 0.7% | Vectara |
| 이 리더보드의 최상위권 | 약 1.8% | Vectara |
| 26개 최전선 모델에서의 범위 | 22%에서 94% | Stanford HAI, 2026년 |
| 0.7%를 기록한 모델 | Gemini-2.0-Flash-001 | Vectara |
| FaithJudge에서의 같은 모델 | 7.6% | Vectara |
| 두 측정치 간의 비율 | 약 11배 | Vectara 수치에서 산출 |
| 가장 낮은 수치와 가장 높은 수치 간의 격차 | 두 자릿수 이상의 배수 | 추정 |
| 수치를 결정하는 요소 | 벤치마크 설계 | Vectara, Stanford HAI |
동일 기관의 두 벤치마크에서 하나의 모델에 11배의 격차가 나타난다는 것은, 이 수치들이 모델이 아니라 테스트를 설명한다는 가장 명확한 증거다.
여기에는 벤치마크 논의에서 자주 간과되는 실질적인 함의가 있다. 시스템이 항상 원본 문서를 제공하는 검색 근거형(retrieval-grounded) 애플리케이션용 모델을 고른다면, 근거 기반 요약 수치가 관련성이 있으며 2% 미만이라는 수치는 합리적인 기대치다. 반면 자체 지식으로 질문에 답하는 모델을 고른다면 같은 수치는 오히려 오해를 부르며, 22%에서 94% 구간이 실제로 대비해야 할 현실에 더 가깝다. 이런 시스템에 대한 실서비스에서의 실망 사례 대부분은, 한 방식으로 벤치마크를 하고 다른 방식으로 배포한 팀에서 비롯된다. 벤치마크가 틀린 것이 아니라, 배포가 제기하는 것과는 다른 질문에 답하고 있었을 뿐이다. 출처: Vectara 환각 리더보드.
2. 근거 기반 요약: 낙관적인 테스트
1% 미만의 수치를 만들어내는 벤치마크는 구체적이고 좁은 무언가를 측정하고 있다. 근거 기반 요약은 모델에 원본 문서를 제공하고 그 결과 요약이 문서에 충실한지를 확인하는데, 이는 모델이 무언가를 알아야 할 필요성을 없앤다. 이는 한 가지 실패 유형에 대한 진정하고 유용한 측정이며, 벤더들이 인용하는 것이 바로 이 수치다.
| 지표 | 값 | 출처 |
|---|---|---|
| 측정 대상 과제 | 제공된 원문에 대한 요약의 충실성 | Vectara |
| 기록된 최저 수치 | 0.7% | Vectara |
| 일반적인 최상위권 대역 | 약 1.8% | Vectara |
| 2025년 11월 개편의 기사 수 | 7,700건 초과 | Vectara |
| 개편의 설계 의도 | 더 크고, 더 견고하고, 더 어렵게 | Vectara |
| 개편이 측정치에 미친 영향 | 상승 | Vectara |
| 이 과제가 검증하지 않는 것 | 도움 없는 사실 회상 | 추정 |
| 벤더가 이를 인용하는 이유 | 가장 낮은 수치가 나오기 때문 | 추정 |
이 개편에 대한 세부 사항은 처음 보이는 것보다 중요하다. 측정된 환각이 상승한 이유는 테스트가 더 어려워졌기 때문이지 모델이 나빠졌기 때문이 아니며, 이는 이 리더보드에서의 연도별 비교가 버전 변경을 가로질러서는 신뢰할 수 없다는 것을 뜻한다. 출처: Vectara의 차세대 환각 리더보드 소개.
3. 개방형 회상: 비관적인 테스트
두 자릿수, 그리고 세 자릿수에 근접한 수치를 만들어내는 벤치마크는 실제 사용에 훨씬 더 가까운 무언가를 테스트하고 있다. Stanford HAI는 2026년판 책임 있는 AI 챕터에 보고된 정확도 벤치마크에서 26개 최전선 모델의 환각률이 22%에서 94%에 이른다고 기록했다. 모델이 눈앞의 문서가 아니라 자신의 파라미터에서 사실을 제공해야 할 때, 실패율은 급격히 상승한다.
| 지표 | 값 | 출처 |
|---|---|---|
| 26개 모델 중 최저치 | 22% | Stanford HAI, 2026년 |
| 26개 모델 중 최고치 | 94% | Stanford HAI, 2026년 |
| 테스트된 최전선 모델 수 | 26 | Stanford HAI, 2026년 |
| 최고 모델과 최저 모델 간의 격차 | 72포인트 | Stanford 수치에서 산출 |
| 이 결과를 보고한 챕터 | 책임 있는 AI | Stanford HAI, 2026년 |
| 측정된 실패 유형 | 아첨 성향에 따른 환각 | Stanford HAI, 2026년 |
| AI Index 발표일 | 2026년 4월 | Stanford HAI |
| 근거 기반 요약 수치와의 비교 | 훨씬 높음 | 추정 |
같은 테스트에서 최고 모델과 최저 모델 사이에 72포인트의 격차가 있다는 사실 자체가 주목할 만하다. 이 과제에서는 모델 선택이 엄청나게 중요한 반면, 모든 결과가 한 자릿수 초반대에 몰려 있는 근거 기반 요약에서는 거의 중요하지 않다. 출처: Stanford HAI 2026년판 AI Index 보고서.
4. 아첨 성향은 별개의 실패 유형이다
Stanford의 문제 설정은 일반적인 사실 오류와 구분해서 볼 가치가 있다. 아첨 성향에 따른 환각이란 사용자가 제시한 전제가 틀렸을 때도 모델이 그에 맞춰 동조하는 것을 의미하며, 이는 모델이 단순히 무언가를 모르는 것과는 다른 메커니즘이다. 이는 또한 측정되는 비율이 모델이 무엇을 아는지뿐만 아니라 질문이 어떻게 제시되는지에도 부분적으로 좌우된다는 것을 뜻한다.
| 지표 | 값 | 출처 |
|---|---|---|
| 실패 유형 | 사용자의 잘못된 전제에 동조 | Stanford HAI, 2026년 |
| 모델 간 비율 범위 | 22%에서 94% | Stanford HAI, 2026년 |
| 평가된 모델 | 26개 최전선 모델 | Stanford HAI, 2026년 |
| 일반적인 사실 오류와의 차이 | 메커니즘이 다름 | Stanford HAI, 2026년 |
| 프롬프트 구성에 대한 의존도 | 높음 | 추정 |
| 보고 챕터 | 책임 있는 AI | Stanford HAI, 2026년 |
| 보고에 관한 AI Index의 더 넓은 결론 | 책임 있는 AI 공개가 성능 발전에 뒤처짐 | Stanford HAI, 2026년 |
| 평가에 대한 시사점 | 프롬프트 설계도 측정의 일부임 | 추정 |
실질적인 결과는 이런 시스템을 배포하는 누구에게나 불편하다. 중립적으로 질문받았을 때는 매우 정확한 모델이, 사용자가 먼저 틀린 것을 주장하면 매우 신뢰할 수 없게 될 수 있다. 배포 맥락은 저희 기업 AI 도입 통계에서 확인할 수 있다. 출처: Stanford HAI, 2026년판 AI Index에서 얻은 12가지 시사점.
5. 벤더 주장을 읽는 법
실질적인 결론은 짧은 체크리스트로 정리된다. 1% 미만의 환각률 주장은 거의 확실히 모델에 원본 자료가 주어지는 근거 기반 요약을 가리키며, 도움 없는 회상에 대해서는 아무것도 말해주지 않는다. 던져야 할 질문은 “환각률이 얼마인가”가 아니라, 언제나 “어떤 벤치마크에서, 어떤 과제로, 얼마의 표본 크기로”다.
| 지표 | 값 | 출처 |
|---|---|---|
| 1% 미만 주장이 보통 측정하는 것 | 근거 기반 요약 | Vectara |
| 그것이 측정하지 않는 것 | 도움 없는 사실 회상 | 추정 |
| 더 어려운 자체 테스트에서 같은 모델의 수치 | 7.6% | Vectara |
| 개방형 회상 방식 테스트의 비율 대역 | 22%에서 94% | Stanford HAI, 2026년 |
| Vectara의 현재 테스트 세트 기사 수 | 7,700건 초과 | Vectara |
| Stanford 범위가 포괄하는 모델 수 | 26 | Stanford HAI, 2026년 |
| 어떤 주장에도 물어야 할 질문 | 어떤 벤치마크인지, 어떤 과제인지, 어떤 표본인지 | 추정 |
| 출처 간 비교가 타당한지 여부 | 방법론이 일치하지 않으면 타당하지 않음 | 추정 |
검색 근거형 배포는 실제로 낙관적인 쪽에 더 가까운데, 이는 낙관적인 벤치마크의 조건을 그대로 재현하기 때문이며, 낮은 수치를 정당하게 사용할 수 있는 유일한 방법이기도 하다. 반대의 경우도 성립한다. 검색 없이 개방형 질문에 답하는 챗봇은 비관적인 대역을 기준으로 평가해야 하며, 그런 제품에 근거 기반 요약 수치를 인용하는 것은 과장이 아니라 범주 오류다. 검색과 정보 검색 관련 맥락은 저희 AI 검색 통계에서, 모델 지형 관련 맥락은 오픈소스 AI 통계에서 확인할 수 있다. 출처: 진화하는 리더보드를 활용한 RAG에서의 LLM 충실도 벤치마킹.
요약: 숫자로 보는 AI 환각
| 지표 | 값 | 출처 |
|---|---|---|
| 가장 낮은 공표 수치 | 0.7% | Vectara |
| 근거 기반 요약 최상위권 대역 | 약 1.8% | Vectara |
| FaithJudge에서의 같은 모델 | 7.6% | Vectara |
| 이 측정치 간의 비율 | 약 11배 | 추정 |
| 26개 최전선 모델에서의 범위 | 22%에서 94% | Stanford HAI |
| 최고 모델과 최저 모델 간의 격차 | 72포인트 | 추정 |
| Stanford HAI가 테스트한 모델 수 | 26 | Stanford HAI |
| Stanford가 측정한 실패 유형 | 아첨 성향에 따른 환각 | Stanford HAI |
| Vectara의 개편된 테스트 세트 기사 수 | 7,700건 초과 | Vectara |
| 개편의 설계 의도 | 더 어렵게 | Vectara |
| 측정치에 미친 영향 | 상승 | Vectara |
| 근거 기반 요약에서의 과제 | 제공된 원문에 대한 충실성 | Vectara |
| 개방형 회상 벤치마크에서의 과제 | 도움 없는 사실 생성 | Stanford HAI |
| Stanford HAI의 보고 챕터 | 책임 있는 AI | Stanford HAI |
| AI Index 발표일 | 2026년 4월 | Stanford HAI |
| 공표된 2026년 전체 수치의 폭 | 두 자릿수 이상의 배수 | 추정 |
방법론과 출처
- 근거 기반 요약 수치, FaithJudge 비교, 2025년 11월 테스트 세트 개편은 Vectara의 공개 환각 리더보드와 그 부속 문서에서 나온 것이다(리더보드 저장소, 차세대 리더보드 발표).
- 26개 최전선 모델에서의 22%에서 94% 범위, 아첨 성향이라는 틀, 책임 있는 AI 챕터라는 맥락은 2026년 4월에 발표된 Stanford HAI의 2026년판 AI Index에서 나온 것이다(보고서, 시사점, AI Index 홈).
- 리더보드 설계가 측정되는 충실도를 어떻게 좌우하는지에 대한 방법론적 배경은 진화하는 RAG 벤치마크에 관한 공개 연구에서 나온 것이다(arXiv).
- 데이터 참고 사항: 이 정리에 실린 수치는 평균을 내거나, 비교하거나, 단일 비율로 제시해서는 안 된다. Vectara는 제공된 문서에 대한 충실성을 측정하고, Stanford HAI는 다른 조건에서 다른 실패 유형을 측정한다. Vectara의 2025년 11월 개편은 의도적으로 테스트 난이도를 높였으므로, 그 변경 전후의 수치는 비교할 수 없으며 겉보기의 악화는 모델이 나빠진 것이 아니라 더 어려워진 테스트를 반영하는 것일 수 있다. 특정 모델에 대한 수치는 새 버전이 나올 때마다 빠르게 바뀌므로, 분기를 넘긴 특정 모델의 결과는 오래된 것으로 간주해야 한다. Stanford의 아첨 성향 측정은 프롬프트 구성에 좌우되며, 이는 모델의 고정된 속성이 아니라 실험 설계의 일부다. Vectara는 검색 근거형 AI 제품의 상업적 벤더로서, 근거 부여가 유리하게 작동하는 벤치마크에 이해관계를 갖는다. “추정”으로 표시된 행은 공표된 수치에서 산술적으로 계산했거나 직접 추론한 것이다.
- 마지막 업데이트: 2026년 8월 2일. Vectara가 리더보드를 개편하고 Stanford HAI가 새로운 AI Index 판을 발표할 때마다, 이 정리는 분기별로 업데이트한다.