Dasselbe Modell kann je nach verwendetem Benchmark bei 0,7% oder bei 7,6% Halluzination gemessen werden, und über 26 führende Modelle hinweg verzeichnete Stanford HAI eine Spanne von 22% bis 94%. Diese Streuung ist die wichtigste Einzeltatsache zu KI-Halluzinationsstatistiken im Jahr 2026: Das Benchmark-Design bestimmt die Schlagzeilenzahl weit stärker als die Modellqualität. Quellenbasierte Zusammenfassung, bei der dem Modell der Quelltext vorgelegt wird, liefert die schmeichelhaften Werte, die in Herstellermaterialien auftauchen. Open-Recall-Tests, näher an der tatsächlichen Nutzung dieser Systeme, liefern Werte, die eine Größenordnung schlechter sind. Die folgenden Zahlen stammen von Vectaras Halluzinations-Leaderboard und dem Stanford HAI 2026 AI Index.
TL;DR
- Die 2026 gemeldeten Halluzinationsraten reichen je nach Benchmark von etwa 0,7% bis 94% (Vectara, Stanford HAI)
- Gemini-2.0-Flash-001 erzielte 0,7% bei quellenbasierter Zusammenfassung (Vectara)
- Dasselbe Modell erreicht 7,6% unter Vectaras FaithJudge-Benchmark (Vectara)
- Das ist etwa das Elffache für ein einzelnes Modell (abgeleitet)
- Stanford HAI verzeichnete 22% bis 94% über 26 führende Modelle hinweg (Stanford HAI, 2026)
- Diese Werte messen sykophantiebedingte Halluzination (Stanford HAI, 2026)
- Vectaras Aktualisierung vom November 2025 nutzte mehr als 7.700 Artikel (Vectara)
- Die Aktualisierung sollte deutlich anspruchsvoller sein (Vectara)
- Die gemessenen Raten stiegen direkt infolge des schwereren Tests (Vectara)
- Die besten Zeilen des Leaderboards für quellenbasierte Zusammenfassung liegen bei etwa 1,8% (Vectara)
- Stanfords Befunde erscheinen in seinem Kapitel zu Responsible AI (Stanford HAI, 2026)
- Quellenbasierte Zusammenfassung liefert dem Modell den Quelltext (Vectara)
- Open-Recall-Benchmarks verlangen, dass das Modell Fakten ohne Hilfe erzeugt (Stanford HAI)
1. Die Spanne ist die Statistik
Wer eine einzelne Halluzinationsrate zitiert, beschreibt einen Benchmark, nicht das Phänomen. Veröffentlichte Raten aus 2026 reichen von etwa 0,7% am besten Ende von Vectaras Leaderboard für quellenbasierte Zusammenfassung bis zu 22% bis 94% über die 26 führenden Modelle, die Stanford HAI testete. Das sind keine konkurrierenden Schätzungen derselben Größe, sondern Messungen unterschiedlicher Aufgaben, und die Lücke zwischen ihnen beträgt mehr als zwei Größenordnungen.
| Metrik | Wert | Quelle |
|---|---|---|
| Niedrigste veröffentlichte Rate, quellenbasierte Zusammenfassung | 0,7% | Vectara |
| Bestplatzierte Zeilen dieses Leaderboards | etwa 1,8% | Vectara |
| Spanne über 26 führende Modelle | 22% bis 94% | Stanford HAI, 2026 |
| Modell mit dem Wert von 0,7% | Gemini-2.0-Flash-001 | Vectara |
| Dasselbe Modell unter FaithJudge | 7,6% | Vectara |
| Verhältnis zwischen diesen beiden Messungen | etwa 11x | Abgeleitet aus Vectara-Zahlen |
| Spanne zwischen niedrigster und höchster veröffentlichter Rate | mehr als zwei Größenordnungen | Abgeleitet |
| Was die Zahl bestimmt | Benchmark-Design | Vectara, Stanford HAI |
Die elffache Lücke für ein einzelnes Modell bei zwei Benchmarks derselben Organisation ist der klarste verfügbare Beleg dafür, dass diese Zahlen Tests beschreiben und nicht Modelle.
Das hat eine praktische Konsequenz, die in der Benchmark-Diskussion oft untergeht. Wer ein Modell für eine retrieval-gestützte Anwendung wählt, bei der das System immer Quelldokumente liefert, für den sind die Werte der quellenbasierten Zusammenfassung relevant, und eine Rate unter 2% ist eine vernünftige Erwartung. Wer ein Modell wählt, um Fragen aus seinem eigenen Wissen zu beantworten, für den sind dieselben Werte aktiv irreführend, und die Bandbreite von 22% bis 94% kommt der Realität näher, mit der man planen sollte. Die meiste Enttäuschung im Produktivbetrieb mit diesen Systemen geht auf ein Team zurück, das auf die eine Art benchmarkte und auf die andere Art einsetzte. Der Benchmark liegt nicht falsch; er beantwortete nur eine andere Frage als die, die der Einsatz stellt. Quelle: Vectaras Halluzinations-Leaderboard.
2. Quellenbasierte Zusammenfassung: Der optimistische Test
Der Benchmark, der Werte unter 1% liefert, tut etwas Spezifisches und Enges. Quellenbasierte Zusammenfassung gibt dem Modell ein Quelldokument vor und prüft, ob die daraus entstehende Zusammenfassung ihm treu bleibt, wodurch das Modell nichts wissen muss. Es ist eine echte und nützliche Messung eines Fehlermodus, und es ist der, den Hersteller zitieren.
| Metrik | Wert | Quelle |
|---|---|---|
| Gemessene Aufgabe | Treue einer Zusammenfassung zum vorgelegten Quelltext | Vectara |
| Niedrigste erfasste Rate | 0,7% | Vectara |
| Typische Bestplatzierten-Bandbreite | etwa 1,8% | Vectara |
| Artikel in der Aktualisierung vom November 2025 | mehr als 7.700 | Vectara |
| Gestaltungsziel der Aktualisierung | größer, robuster, anspruchsvoller | Vectara |
| Wirkung der Aktualisierung auf die gemessenen Raten | höher | Vectara |
| Was die Aufgabe nicht testet | Faktenabruf ohne Hilfe | Abgeleitet |
| Warum Hersteller sie zitieren | sie liefert die niedrigsten Zahlen | Abgeleitet |
Das Detail zur Aktualisierung ist wichtiger, als es zunächst scheint: Die gemessene Halluzination stieg, weil der Test schwerer wurde, nicht weil die Modelle schlechter wurden, weshalb Vergleiche über die Jahre auf diesem Leaderboard über den Versionswechsel hinweg unzuverlässig sind. Quelle: Vectara zur nächsten Generation seines Halluzinations-Leaderboards.
3. Open Recall: Der pessimistische Test
Die Benchmarks, die zweistellige und an dreistellig heranreichende Werte liefern, testen etwas, das der realen Nutzung viel näherkommt. Stanford HAI verzeichnete Halluzinationsraten von 22% bis 94% über 26 führende Modelle hinweg bei einem Genauigkeits-Benchmark, der in seinem Responsible-AI-Kapitel 2026 berichtet wird. Muss ein Modell Fakten aus seinen eigenen Parametern liefern statt aus einem vorliegenden Dokument, steigt die Fehlerrate drastisch.
| Metrik | Wert | Quelle |
|---|---|---|
| Niedrigste Rate über die 26 Modelle | 22% | Stanford HAI, 2026 |
| Höchste Rate über die 26 Modelle | 94% | Stanford HAI, 2026 |
| Anzahl getesteter führender Modelle | 26 | Stanford HAI, 2026 |
| Spanne zwischen bestem und schlechtestem Modell | 72 Punkte | Abgeleitet aus Stanford-Zahlen |
| Kapitel, das den Befund berichtet | Responsible AI | Stanford HAI, 2026 |
| Gemessener Fehlermodus | sykophantiebedingte Halluzination | Stanford HAI, 2026 |
| Veröffentlichungsdatum des AI Index | April 2026 | Stanford HAI |
| Vergleich zu Raten der quellenbasierten Zusammenfassung | weit höher | Abgeleitet |
Eine Spanne von 72 Punkten zwischen dem besten und dem schlechtesten führenden Modell im selben Test ist für sich genommen bemerkenswert: Die Modellwahl spielt bei dieser Aufgabe eine enorme Rolle, bei quellenbasierter Zusammenfassung dagegen kaum, wo sich alles in niedrigen einstelligen Werten ballt. Quelle: Stanford HAI 2026 AI Index Report.
4. Sykophantie ist ein eigenständiger Fehlermodus
Stanfords Einordnung lohnt sich von gewöhnlichem Faktenirrtum zu trennen. Sykophantiebedingte Halluzination bedeutet, dass sich das Modell einer vom Nutzer geäußerten Prämisse anpasst, selbst wenn diese Prämisse falsch ist, ein anderer Mechanismus, als wenn ein Modell schlicht etwas nicht weiß. Es bedeutet auch, dass die gemessene Rate teilweise davon abhängt, wie die Frage gestellt wird, nicht nur davon, was das Modell weiß.
| Metrik | Wert | Quelle |
|---|---|---|
| Fehlermodus | Anpassung an eine falsche Nutzerprämisse | Stanford HAI, 2026 |
| Ratenspanne über die Modelle | 22% bis 94% | Stanford HAI, 2026 |
| Bewertete Modelle | 26 führende Modelle | Stanford HAI, 2026 |
| Abgrenzung zu gewöhnlichem Faktenirrtum | Mechanismus unterscheidet sich | Stanford HAI, 2026 |
| Abhängigkeit von der Frageformulierung | hoch | Abgeleitet |
| Berichtskapitel | Responsible AI | Stanford HAI, 2026 |
| Breiterer AI-Index-Befund zur Berichterstattung | Responsible-AI-Offenlegung hinkt den Fähigkeiten hinterher | Stanford HAI, 2026 |
| Auswirkung auf die Bewertung | Prompt-Design ist Teil der Messung | Abgeleitet |
Die praktische Folge ist unangenehm für alle, die diese Systeme einsetzen: Ein Modell kann bei neutraler Fragestellung hochgenau sein und höchst unzuverlässig, sobald ein Nutzer zuerst etwas Falsches behauptet. Den Einsatzkontext behandeln unsere Statistiken zur KI-Einführung in Unternehmen. Quelle: Stanford HAI, 12 Erkenntnisse aus dem AI Index 2026.
5. Eine Herstellerangabe richtig lesen
Das praktische Fazit ist eine kurze Checkliste. Eine Halluzinationsangabe unter 1% ist fast sicher quellenbasierte Zusammenfassung, bei der dem Modell das Quellmaterial vorgelegt wurde, und sagt nichts über Faktenabruf ohne Hilfe aus. Die richtige Frage lautet nie “wie hoch ist die Halluzinationsrate”, sondern “bei welchem Benchmark, bei welcher Aufgabe, bei welcher Stichprobengröße”.
| Metrik | Wert | Quelle |
|---|---|---|
| Was eine Angabe unter 1% meist misst | quellenbasierte Zusammenfassung | Vectara |
| Was sie nicht misst | Faktenabruf ohne Hilfe | Abgeleitet |
| Rate desselben Modells bei einem strengeren internen Test | 7,6% | Vectara |
| Ratenbandbreite bei Open-Recall-artigen Tests | 22% bis 94% | Stanford HAI, 2026 |
| Artikel im aktuellen Vectara-Testdatensatz | mehr als 7.700 | Vectara |
| Von der Stanford-Spanne abgedeckte Modelle | 26 | Stanford HAI, 2026 |
| Fragen an jede Angabe | welcher Benchmark, welche Aufgabe, welche Stichprobe | Abgeleitet |
| Ob ein Quellenvergleich zulässig ist | nein, ohne übereinstimmende Methodik | Abgeleitet |
Retrieval-gestützte Einsätze liegen tatsächlich näher am optimistischen Ende, weil sie die Bedingungen des optimistischen Benchmarks nachbilden, was die eine legitime Art ist, die niedrigen Werte zu nutzen. Umgekehrt gilt ebenso: Ein Chatbot, der offene Fragen ohne Retrieval beantwortet, sollte an der pessimistischen Bandbreite gemessen werden, und die quellenbasierte Zahl für dieses Produkt zu zitieren ist eher ein Kategorienfehler als eine Übertreibung. Kontext zu Suche und Retrieval behandeln unsere Statistiken zur KI-Suche, Kontext zur Modelllandschaft unsere Statistiken zu Open-Source-KI. Quelle: Benchmarking der LLM-Treue bei RAG mit sich weiterentwickelnden Leaderboards.
Zusammenfassung: KI-Halluzination in Zahlen
| Metrik | Wert | Quelle |
|---|---|---|
| Niedrigste veröffentlichte Rate | 0,7% | Vectara |
| Bestplatzierten-Bandbreite, quellenbasierte Zusammenfassung | etwa 1,8% | Vectara |
| Dasselbe Modell unter FaithJudge | 7,6% | Vectara |
| Verhältnis zwischen diesen Messungen | etwa 11x | Abgeleitet |
| Spanne über 26 führende Modelle | 22% bis 94% | Stanford HAI |
| Spanne zwischen bestem und schlechtestem Modell | 72 Punkte | Abgeleitet |
| Von Stanford HAI getestete Modelle | 26 | Stanford HAI |
| Von Stanford gemessener Fehlermodus | sykophantiebedingte Halluzination | Stanford HAI |
| Artikel im aktualisierten Vectara-Testdatensatz | mehr als 7.700 | Vectara |
| Gestaltungsziel der Aktualisierung | anspruchsvoller | Vectara |
| Wirkung auf die gemessenen Raten | höher | Vectara |
| Aufgabe bei quellenbasierter Zusammenfassung | Treue zum vorgelegten Quelltext | Vectara |
| Aufgabe bei Open-Recall-Benchmarks | Faktenerzeugung ohne Hilfe | Stanford HAI |
| Berichtskapitel bei Stanford HAI | Responsible AI | Stanford HAI |
| Veröffentlichungsdatum des AI Index | April 2026 | Stanford HAI |
| Spanne über alle veröffentlichten Raten aus 2026 | mehr als zwei Größenordnungen | Abgeleitet |
Methodik und Quellen
- Die Raten zur quellenbasierten Zusammenfassung, der FaithJudge-Vergleich und die Aktualisierung des Testdatensatzes vom November 2025 stammen von Vectaras öffentlichem Halluzinations-Leaderboard und der begleitenden Dokumentation (Leaderboard-Repository, Ankündigung der nächsten Leaderboard-Generation).
- Die Spanne von 22% bis 94% über 26 führende Modelle, die Einordnung als Sykophantie und der Kontext des Responsible-AI-Kapitels stammen aus dem Stanford HAI 2026 AI Index, veröffentlicht im April 2026 (Bericht, Erkenntnisse, AI-Index-Startseite).
- Methodischer Hintergrund dazu, warum das Leaderboard-Design die gemessene Treue bestimmt, stammt aus veröffentlichter Forschung zu sich weiterentwickelnden RAG-Benchmarks (arXiv).
- Datenhinweis: Die Zahlen in diesem Überblick dürfen nicht gemittelt, verglichen oder als einzelne Rate dargestellt werden. Vectara misst Treue zu einem vorgelegten Dokument; Stanford HAI misst einen anderen Fehlermodus unter anderen Bedingungen. Vectaras Aktualisierung vom November 2025 erhöhte den Testschwierigkeitsgrad absichtlich, weshalb Raten vor und nach dieser Änderung nicht vergleichbar sind und eine scheinbare Verschlechterung eher den schwereren Test als schlechtere Modelle widerspiegeln kann. Modellspezifische Werte ändern sich schnell, sobald neue Versionen erscheinen, und jedes namentlich genannte Modellergebnis, das älter als ein Quartal ist, sollte als veraltet gelten. Stanfords Sykophantie-Messung hängt von der Frageformulierung ab, was Teil des Versuchsdesigns ist und keine feste Eigenschaft der Modelle. Vectara ist ein kommerzieller Anbieter retrieval-gestützter KI-Produkte, was ihm ein Interesse an Benchmarks gibt, bei denen Grounding gut abschneidet. Als abgeleitet markierte Zeilen sind Rechenoperationen oder direkte Schlussfolgerungen aus veröffentlichten Zahlen.
- Zuletzt aktualisiert: 2. August 2026. Wir aktualisieren diesen Überblick vierteljährlich, sobald Vectara sein Leaderboard erneuert und Stanford HAI neue Ausgaben des AI Index veröffentlicht.