**同じモデルでも、どのベンチマークを使うかによってハルシネーション率は0.7%にも7.6%にもなり、26の最先端モデルを対象にStanford HAIが記録した幅は22%から94%に及ぶ。**この幅の広さこそが、2026年のAIハルシネーション統計に関する最も重要な事実だ。モデルの品質よりも、ベンチマークの設計の方がはるかに強く見出しの数値を左右している。モデルに元の文章を与える根拠に基づく要約は、ベンダー資料に登場する見栄えの良い数値を生み出す。人々が実際にこれらのシステムを使う状況に近い自由想起型のテストは、一桁違う数値を生み出す。以下の数値はVectaraのハルシネーションリーダーボードとStanford HAIの2026年版AI Indexから引用している。
主なポイント
- 2026年に報告されているハルシネーション発生率はベンチマークによりおよそ0.7%から94%まで幅がある(Vectara、Stanford HAI)
- Gemini-2.0-Flash-001は根拠に基づく要約で0.7%を記録(Vectara)
- 同じモデルはVectaraのFaithJudgeベンチマークで7.6%(Vectara)
- これは1モデルでおよそ11倍の差に相当する(推計)
- Stanford HAIは26の最先端モデルで22%から94%を記録(Stanford HAI、2026年)
- これらの数値は迎合性に起因するハルシネーションを測定したもの(Stanford HAI、2026年)
- Vectaraの2025年11月の刷新では7,700件を超える記事を使用(Vectara)
- この刷新は大幅に難しくなるよう設計された(Vectara)
- 測定値は、より難しいテストの直接的な結果として上昇した(Vectara)
- 根拠に基づく要約リーダーボードの上位行はおよそ1.8%に位置する(Vectara)
- Stanfordの調査結果は責任あるAIの章に掲載されている(Stanford HAI、2026年)
- 根拠に基づく要約はモデルに元の文章を与える(Vectara)
- 自由想起型ベンチマークはモデルに補助なしで事実を出させる(Stanford HAI)
1. 幅そのものが統計だ
単一のハルシネーション発生率を挙げる者は誰であれ、現象そのものではなく一つのベンチマークを説明しているにすぎない。**2026年に公表された数値は、Vectaraの根拠に基づく要約リーダーボードの最良端でのおよそ0.7%から、Stanford HAIがテストした26の最先端モデルにおける22%から94%まで及ぶ。**これらは同じ量に関する競合する推定値ではなく、異なるタスクの測定結果であり、その差は2桁を超える。
| 指標 | 値 | 出典 |
|---|---|---|
| 最も低い公表数値、根拠に基づく要約 | 0.7% | Vectara |
| このリーダーボードでの上位行 | およそ1.8% | Vectara |
| 26の最先端モデルにおける幅 | 22%から94% | Stanford HAI、2026年 |
| 0.7%を達成したモデル | Gemini-2.0-Flash-001 | Vectara |
| FaithJudgeでの同じモデル | 7.6% | Vectara |
| この2つの測定値の比率 | およそ11倍 | Vectaraの数値からの推計 |
| 最も低い数値と最も高い数値の開き | 2桁を超える | 推計 |
| 数値を決めるもの | ベンチマークの設計 | Vectara、Stanford HAI |
同じ組織による2つのベンチマークで、1つのモデルに11倍の差が生じるという事実は、これらの数値がモデルではなくテストを描写していることを示す最も明快な証拠だ。
これにはベンチマークの議論で見落とされがちな実務上の意味がある。システムが常に元の文書を提供する検索拠点型(retrieval-grounded)アプリケーション向けにモデルを選ぶのであれば、根拠に基づく要約の数値こそが参考になり、2%未満という水準は妥当な期待値だ。モデル自身の知識から質問に答えさせる用途で選ぶのであれば、同じ数値はむしろ誤解を招き、22%から94%という帯域の方が計画すべき現実に近い。これらのシステムに対する本番環境での失望の多くは、あるやり方でベンチマークを取り、別のやり方で導入したチームに起因する。ベンチマークが間違っているのではなく、導入が提起する問いとは別の問いに答えていただけだ。出典:Vectaraのハルシネーションリーダーボード。
2. 根拠に基づく要約:楽観的なテスト
1%未満という数値を生み出すベンチマークは、具体的で狭い何かを測定している。根拠に基づく要約はモデルに元の文書を与え、出来上がった要約がそれに忠実であり続けるかを確認するものであり、モデルが何かを知っている必要をなくす。これは一つの失敗モードに対する正当かつ有用な測定であり、ベンダーが引用するのはこの数値だ。
| 指標 | 値 | 出典 |
|---|---|---|
| 測定対象のタスク | 与えられた元の文章に対する要約の忠実性 | Vectara |
| 記録された最も低い数値 | 0.7% | Vectara |
| 典型的な上位モデルの帯域 | およそ1.8% | Vectara |
| 2025年11月刷新での記事数 | 7,700件超 | Vectara |
| 刷新の設計意図 | より大規模、より堅牢、より難しく | Vectara |
| 刷新が測定値に与えた影響 | 上昇 | Vectara |
| このタスクが検証しないもの | 補助なしの事実想起 | 推計 |
| ベンダーがこれを引用する理由 | 最も低い数値が出るから | 推計 |
この刷新の詳細は見た目以上に重要だ。測定されたハルシネーションが上昇したのはテストが難しくなったからであり、モデルが悪化したからではない。つまり、このリーダーボードでの年次比較はバージョン変更をまたぐと信頼できなくなる。出典:Vectaraによるハルシネーションリーダーボード次世代版の紹介。
3. 自由想起:悲観的なテスト
二桁台や三桁に近い数値を生み出すベンチマークは、実際の使用にはるかに近いものを測定している。**Stanford HAIは、2026年版の責任あるAIの章で報告された正確性ベンチマークにおいて、26の最先端モデルで22%から94%のハルシネーション発生率を記録した。**モデルが目の前の文書からではなく、自らのパラメータから事実を提示しなければならないとき、失敗率は劇的に上昇する。
| 指標 | 値 | 出典 |
|---|---|---|
| 26モデル中の最低値 | 22% | Stanford HAI、2026年 |
| 26モデル中の最高値 | 94% | Stanford HAI、2026年 |
| テストされた最先端モデルの数 | 26 | Stanford HAI、2026年 |
| 最良モデルと最悪モデルの開き | 72ポイント | Stanfordの数値からの推計 |
| この結果を報告した章 | 責任あるAI | Stanford HAI、2026年 |
| 測定された失敗モード | 迎合性に起因するハルシネーション | Stanford HAI、2026年 |
| AI Indexの発表日 | 2026年4月 | Stanford HAI |
| 根拠に基づく要約の数値との比較 | はるかに高い | 推計 |
同じテストにおいて最良モデルと最悪モデルの間に72ポイントの開きがあること自体が注目に値する。このタスクではモデル選びが極めて重要な意味を持つ一方で、すべてが一桁台前半に集まる根拠に基づく要約ではほとんど意味を持たない。出典:Stanford HAI 2026年版AI Indexレポート。
4. 迎合性は独立した失敗モードだ
Stanfordの枠組みは通常の事実誤認とは切り分けて考える価値がある。迎合性に起因するハルシネーションとは、ユーザーが示した前提が誤っていても、モデルがそれに合わせてしまうことを意味し、モデルが単に何かを知らないのとは異なるメカニズムだ。これはまた、測定される発生率が、モデルの知識だけでなく、質問の提示のされ方にも部分的に左右されることを意味する。
| 指標 | 値 | 出典 |
|---|---|---|
| 失敗モード | ユーザーの誤った前提に合わせること | Stanford HAI、2026年 |
| モデル間の発生率の幅 | 22%から94% | Stanford HAI、2026年 |
| 評価されたモデル | 26の最先端モデル | Stanford HAI、2026年 |
| 通常の事実誤認との違い | メカニズムが異なる | Stanford HAI、2026年 |
| プロンプトの構成への依存度 | 高い | 推計 |
| 報告された章 | 責任あるAI | Stanford HAI、2026年 |
| 報告に関するAI Indexの広範な指摘 | 責任あるAIの開示は性能の進歩に遅れている | Stanford HAI、2026年 |
| 評価への示唆 | プロンプト設計も測定の一部である | 推計 |
実務上の帰結は、これらのシステムを導入する誰にとっても居心地の悪いものだ。中立的に尋ねられれば非常に正確なモデルが、ユーザーが先に誤ったことを主張すると非常に信頼できなくなりうる。導入の文脈は弊社の企業のAI導入統計にまとめている。出典:Stanford HAI、2026年版AI Indexからの12の要点。
5. ベンダーの主張の読み方
実務上の結論は短いチェックリストにまとめられる。**1%未満のハルシネーション率という主張は、ほぼ間違いなく、モデルに元の資料が与えられる根拠に基づく要約であり、補助なしの想起については何も語っていない。**問うべきは「ハルシネーション率はいくつか」ではなく、常に「どのベンチマークで、どのタスクで、どのくらいのサンプル数か」だ。
| 指標 | 値 | 出典 |
|---|---|---|
| 1%未満という主張が通常測定しているもの | 根拠に基づく要約 | Vectara |
| それが測定していないもの | 補助なしの事実想起 | 推計 |
| より厳しい自社テストでの同じモデルの数値 | 7.6% | Vectara |
| 自由想起型テストでの発生率帯域 | 22%から94% | Stanford HAI、2026年 |
| Vectaraの現行テストセットの記事数 | 7,700件超 | Vectara |
| Stanfordの幅が対象とするモデル数 | 26 | Stanford HAI、2026年 |
| どの主張にも問うべきこと | どのベンチマークか、どのタスクか、どのサンプルか | 推計 |
| 出典をまたいだ比較が妥当かどうか | 手法が一致しない限り妥当ではない | 推計 |
検索拠点型の導入は、楽観的なベンチマークの条件を再現するため、実際に楽観的な側に近い位置にある。これは低い数値を正しく使う唯一の方法だ。逆もまた真である。検索を使わずに開かれた質問に答えるチャットボットは悲観的な帯域に照らして評価すべきであり、そうした製品に根拠に基づく要約の数値を引用するのは、誇張ではなくカテゴリーの誤りだ。検索と情報取得の文脈は弊社のAI検索統計に、モデル環境の文脈はオープンソースAI統計にまとめている。出典:進化するリーダーボードによるRAGでのLLM忠実性のベンチマーク。
まとめ:数字で見るAIハルシネーション
| 指標 | 値 | 出典 |
|---|---|---|
| 最も低い公表数値 | 0.7% | Vectara |
| 根拠に基づく要約の上位モデル帯域 | およそ1.8% | Vectara |
| FaithJudgeでの同じモデル | 7.6% | Vectara |
| これらの測定値の比率 | およそ11倍 | 推計 |
| 26の最先端モデルにおける幅 | 22%から94% | Stanford HAI |
| 最良モデルと最悪モデルの開き | 72ポイント | 推計 |
| Stanford HAIがテストしたモデル数 | 26 | Stanford HAI |
| Stanfordが測定した失敗モード | 迎合性に起因するハルシネーション | Stanford HAI |
| Vectaraの刷新後テストセットの記事数 | 7,700件超 | Vectara |
| 刷新の設計意図 | より難しく | Vectara |
| 測定値への影響 | 上昇 | Vectara |
| 根拠に基づく要約でのタスク | 与えられた元の資料への忠実性 | Vectara |
| 自由想起型ベンチマークでのタスク | 補助なしの事実生成 | Stanford HAI |
| Stanford HAIでの報告章 | 責任あるAI | Stanford HAI |
| AI Indexの発表日 | 2026年4月 | Stanford HAI |
| 公表された2026年の全数値の幅 | 2桁を超える | 推計 |
方法論と出典
- 根拠に基づく要約の数値、FaithJudgeとの比較、2025年11月のテストセット刷新は、Vectaraの公開ハルシネーションリーダーボードとその付随文書による(リーダーボードのリポジトリ、次世代リーダーボードの発表)。
- 26の最先端モデルにおける22%から94%という幅、迎合性という枠組み、責任あるAIの章という文脈は、2026年4月に発表されたStanford HAIの2026年版AI Indexによる(レポート、要点、AI Indexホーム)。
- リーダーボードの設計が測定される忠実性をどう左右するかについての方法論的背景は、進化するRAGベンチマークに関する公表研究による(arXiv)。
- データに関する注記:この記事の数値は平均化したり、比較したり、単一の数値として提示したりしてはならない。Vectaraは提供された文書への忠実性を測定しており、Stanford HAIは異なる条件下で異なる失敗モードを測定している。Vectaraの2025年11月の刷新は意図的にテストの難易度を上げたため、その変更の前後の数値は比較できず、見かけ上の悪化はモデルが悪化したことではなく、より難しいテストを反映している可能性がある。特定モデルの数値は新バージョンの登場とともに急速に変化するため、四半期を超えて古い個別モデルの結果は陳腐化しているとみなすべきだ。Stanfordの迎合性の測定はプロンプトの構成に依存しており、これはモデルの固定的な性質ではなく実験設計の一部だ。Vectaraは検索拠点型AI製品の商業ベンダーであり、拠点付けが有利に働くベンチマークに利害関係を持つ。「推計」と記載した行は、公表された数値からの算術計算または直接的な推論による。
- 最終更新:2026年8月2日。Vectaraがリーダーボードを更新し、Stanford HAIが新しいAI Index版を発表するたびに、本記事は四半期ごとに更新する。