โมเดลเดียวกันสามารถวัดได้ที่ 0.7% และ 7.6% ของอาการหลอน ขึ้นอยู่กับว่าใช้เกณฑ์มาตรฐานใด และในบรรดา 26 โมเดลชั้นแนวหน้า Stanford HAI บันทึกช่วงไว้ตั้งแต่ 22% ถึง 94% ความแตกต่างนี้คือข้อเท็จจริงที่สำคัญที่สุดเพียงหนึ่งเดียวเกี่ยวกับสถิติอาการหลอนของ AI ในปี 2026 การออกแบบเกณฑ์มาตรฐานเป็นตัวกำหนดตัวเลขพาดหัวมากกว่าคุณภาพของโมเดลเองมาก การสรุปความแบบอ้างอิงต้นฉบับ ซึ่งโมเดลได้รับข้อความต้นฉบับมาด้วย จะให้ตัวเลขที่ดูดีซึ่งปรากฏในเอกสารการตลาดของผู้ผลิต ส่วนการทดสอบแบบดึงความรู้แบบเปิด ซึ่งใกล้เคียงกับวิธีที่คนใช้งานระบบเหล่านี้จริงมากกว่า จะให้ตัวเลขที่แย่กว่าเป็นสิบเท่า ตัวเลขด้านล่างนี้มาจากลีดเดอร์บอร์ดอาการหลอนของ Vectara และ AI Index ปี 2026 ของ Stanford HAI
สรุปโดยย่อ
- อัตราการเกิดอาการหลอนที่รายงานในปี 2026 มีตั้งแต่ราว 0.7% ถึง 94% ขึ้นอยู่กับเกณฑ์มาตรฐาน (Vectara, Stanford HAI)
- Gemini-2.0-Flash-001 ทำได้ 0.7% บนการสรุปความแบบอ้างอิงต้นฉบับ (Vectara)
- โมเดลเดียวกันทำได้ 7.6% ภายใต้เกณฑ์มาตรฐาน FaithJudge ของ Vectara (Vectara)
- นั่นคือความต่างราวสิบเอ็ดเท่าสำหรับโมเดลเดียว (คำนวณ)
- Stanford HAI บันทึกช่วง 22% ถึง 94% ในโมเดลชั้นแนวหน้า 26 ตัว (Stanford HAI, 2026)
- ตัวเลขเหล่านี้วัดอาการหลอนที่เกิดจากการสอพลอ (Stanford HAI, 2026)
- การปรับปรุงของ Vectara ในเดือนพฤศจิกายน 2025 ใช้บทความมากกว่า 7,700 บทความ (Vectara)
- การปรับปรุงครั้งนี้ถูกออกแบบให้ยากขึ้นอย่างมาก (Vectara)
- ตัวเลขที่วัดได้สูงขึ้นเพราะการทดสอบยากขึ้นโดยตรง (Vectara)
- แถวที่ดีที่สุดบนลีดเดอร์บอร์ดการสรุปความแบบอ้างอิงต้นฉบับอยู่ที่ราว 1.8% (Vectara)
- ผลการค้นพบของ Stanford ปรากฏอยู่ในบทว่าด้วย AI ที่มีความรับผิดชอบ (Stanford HAI, 2026)
- การสรุปความแบบอ้างอิงต้นฉบับป้อนข้อความต้นฉบับให้โมเดล (Vectara)
- เกณฑ์มาตรฐานแบบดึงความรู้แบบเปิดต้องให้โมเดลผลิตข้อเท็จจริงเองโดยไม่มีตัวช่วย (Stanford HAI)
1. ช่วงความแตกต่างคือตัวสถิติเอง
ใครก็ตามที่อ้างอัตราการเกิดอาการหลอนเพียงตัวเลขเดียวกำลังอธิบายเกณฑ์มาตรฐานหนึ่งอัน ไม่ใช่ปรากฏการณ์ทั้งหมด ตัวเลขที่เผยแพร่ในปี 2026 มีตั้งแต่ราว 0.7% ที่ปลายด้านดีที่สุดของลีดเดอร์บอร์ดการสรุปความแบบอ้างอิงต้นฉบับของ Vectara ไปจนถึง 22% ถึง 94% ในบรรดา 26 โมเดลชั้นแนวหน้าที่ Stanford HAI ทดสอบ ตัวเลขเหล่านี้ไม่ใช่การประมาณค่าที่แข่งขันกันของปริมาณเดียวกัน แต่เป็นการวัดงานคนละประเภท และช่องว่างระหว่างตัวเลขทั้งสองก็มากกว่าสองอันดับขนาด
| ตัวชี้วัด | ค่า | แหล่งที่มา |
|---|---|---|
| ตัวเลขต่ำสุดที่เผยแพร่ การสรุปความแบบอ้างอิงต้นฉบับ | 0.7% | Vectara |
| แถวที่ทำผลงานดีที่สุดบนลีดเดอร์บอร์ดนี้ | ราว 1.8% | Vectara |
| ช่วงในบรรดา 26 โมเดลชั้นแนวหน้า | 22% ถึง 94% | Stanford HAI, 2026 |
| โมเดลที่ทำได้ 0.7% | Gemini-2.0-Flash-001 | Vectara |
| โมเดลเดียวกันภายใต้ FaithJudge | 7.6% | Vectara |
| อัตราส่วนระหว่างสองค่านี้ | ราว 11 เท่า | คำนวณจากตัวเลขของ Vectara |
| ช่วงระหว่างตัวเลขต่ำสุดและสูงสุดที่เผยแพร่ | มากกว่าสองอันดับขนาด | คำนวณ |
| สิ่งที่กำหนดตัวเลข | การออกแบบเกณฑ์มาตรฐาน | Vectara, Stanford HAI |
ช่องว่างสิบเอ็ดเท่าสำหรับโมเดลเดียวบนสองเกณฑ์มาตรฐานจากองค์กรเดียวกันคือหลักฐานที่ชัดเจนที่สุดที่มีอยู่ว่าตัวเลขเหล่านี้อธิบายการทดสอบ ไม่ใช่ตัวโมเดล
เรื่องนี้มีผลในทางปฏิบัติที่มักถูกมองข้ามไปในการถกเถียงเรื่องเกณฑ์มาตรฐาน หากคุณกำลังเลือกโมเดลสำหรับแอปพลิเคชันที่อ้างอิงการค้นคืนข้อมูล (retrieval-grounded) ซึ่งระบบจะป้อนเอกสารต้นฉบับให้เสมอ ตัวเลขจากการสรุปความแบบอ้างอิงต้นฉบับคือตัวเลขที่เกี่ยวข้อง และอัตราต่ำกว่า 2% เป็นความคาดหวังที่สมเหตุสมผล แต่หากคุณกำลังเลือกโมเดลเพื่อตอบคำถามจากความรู้ของตัวเอง ตัวเลขชุดเดียวกันนั้นกลับทำให้เข้าใจผิดอย่างจริงจัง และช่วง 22% ถึง 94% ใกล้เคียงกับสิ่งที่คุณควรวางแผนรับมือมากกว่า ความผิดหวังในระบบใช้งานจริงส่วนใหญ่กับระบบเหล่านี้ย้อนกลับไปที่ทีมที่ทดสอบด้วยวิธีหนึ่งแต่นำไปใช้งานอีกวิธีหนึ่ง เกณฑ์มาตรฐานไม่ได้ผิด แต่มันตอบคำถามคนละข้อกับคำถามที่การใช้งานจริงตั้งขึ้น แหล่งที่มา: ลีดเดอร์บอร์ดอาการหลอนของ Vectara
2. การสรุปความแบบอ้างอิงต้นฉบับ: การทดสอบแบบมองโลกในแง่ดี
เกณฑ์มาตรฐานที่ให้ตัวเลขต่ำกว่า 1% กำลังทำสิ่งที่เฉพาะเจาะจงและแคบ การสรุปความแบบอ้างอิงต้นฉบับป้อนเอกสารต้นฉบับให้โมเดลแล้วตรวจสอบว่าบทสรุปที่ได้ยังตรงกับต้นฉบับหรือไม่ ซึ่งตัดความจำเป็นที่โมเดลต้องรู้อะไรออกไป นี่คือการวัดที่แท้จริงและมีประโยชน์สำหรับความล้มเหลวรูปแบบหนึ่ง และเป็นตัวเลขที่ผู้ผลิตมักอ้างถึง
| ตัวชี้วัด | ค่า | แหล่งที่มา |
|---|---|---|
| งานที่วัด | ความตรงของบทสรุปกับข้อความต้นฉบับที่ป้อนให้ | Vectara |
| ตัวเลขต่ำสุดที่บันทึกไว้ | 0.7% | Vectara |
| แถบผลงานทั่วไปของโมเดลอันดับต้น | ราว 1.8% | Vectara |
| จำนวนบทความในการปรับปรุงเดือนพฤศจิกายน 2025 | มากกว่า 7,700 | Vectara |
| เจตนาการออกแบบของการปรับปรุง | ใหญ่ขึ้น น่าเชื่อถือขึ้น ยากขึ้น | Vectara |
| ผลของการปรับปรุงต่อตัวเลขที่วัดได้ | สูงขึ้น | Vectara |
| สิ่งที่งานนี้ไม่ได้ทดสอบ | การดึงความจำข้อเท็จจริงโดยไม่มีตัวช่วย | คำนวณ |
| เหตุผลที่ผู้ผลิตอ้างถึงตัวเลขนี้ | เพราะให้ตัวเลขต่ำที่สุด | คำนวณ |
รายละเอียดของการปรับปรุงครั้งนี้สำคัญกว่าที่เห็นในตอนแรก อาการหลอนที่วัดได้สูงขึ้นเพราะการทดสอบยากขึ้น ไม่ใช่เพราะโมเดลแย่ลง ซึ่งหมายความว่าการเปรียบเทียบปีต่อปีบนลีดเดอร์บอร์ดนี้ไม่น่าเชื่อถือเมื่อข้ามการเปลี่ยนเวอร์ชัน แหล่งที่มา: Vectara ว่าด้วยลีดเดอร์บอร์ดอาการหลอนรุ่นถัดไป
3. การดึงความรู้แบบเปิด: การทดสอบแบบมองโลกในแง่ร้าย
เกณฑ์มาตรฐานที่ให้ตัวเลขสองหลักและใกล้เคียงสามหลักกำลังทดสอบสิ่งที่ใกล้เคียงกับการใช้งานจริงมากกว่ามาก Stanford HAI บันทึกอัตราการเกิดอาการหลอนไว้ที่ 22% ถึง 94% ในโมเดลชั้นแนวหน้า 26 ตัว บนเกณฑ์มาตรฐานความแม่นยำที่รายงานในบทว่าด้วย AI ที่มีความรับผิดชอบฉบับปี 2026 เมื่อโมเดลต้องให้ข้อเท็จจริงจากพารามิเตอร์ของตัวเองแทนที่จะเป็นจากเอกสารตรงหน้า อัตราความล้มเหลวจะพุ่งสูงขึ้นอย่างมาก
| ตัวชี้วัด | ค่า | แหล่งที่มา |
|---|---|---|
| ตัวเลขต่ำสุดในบรรดา 26 โมเดล | 22% | Stanford HAI, 2026 |
| ตัวเลขสูงสุดในบรรดา 26 โมเดล | 94% | Stanford HAI, 2026 |
| จำนวนโมเดลชั้นแนวหน้าที่ทดสอบ | 26 | Stanford HAI, 2026 |
| ช่วงระหว่างโมเดลที่ดีที่สุดและแย่ที่สุด | 72 จุด | คำนวณจากตัวเลขของ Stanford |
| บทที่รายงานผลการค้นพบนี้ | AI ที่มีความรับผิดชอบ | Stanford HAI, 2026 |
| รูปแบบความล้มเหลวที่วัด | อาการหลอนที่เกิดจากการสอพลอ | Stanford HAI, 2026 |
| วันที่เผยแพร่ AI Index | เมษายน 2026 | Stanford HAI |
| เทียบกับตัวเลขการสรุปความแบบอ้างอิงต้นฉบับ | สูงกว่ามาก | คำนวณ |
ช่วงห่าง 72 จุดระหว่างโมเดลชั้นแนวหน้าที่ดีที่สุดและแย่ที่สุดบนการทดสอบเดียวกันนั้นน่าสนใจในตัวมันเอง การเลือกโมเดลมีความสำคัญอย่างมากในงานนี้ แต่แทบไม่มีความสำคัญเลยในการสรุปความแบบอ้างอิงต้นฉบับซึ่งทุกอย่างรวมกันอยู่ในระดับหลักหน่วยต่ำๆ แหล่งที่มา: รายงาน Stanford HAI AI Index ปี 2026
4. การสอพลอเป็นรูปแบบความล้มเหลวที่แยกจากกัน
กรอบคิดของ Stanford ควรแยกออกจากความผิดพลาดเชิงข้อเท็จจริงทั่วไป อาการหลอนที่เกิดจากการสอพลอหมายถึงการที่โมเดลคล้อยตามข้อสมมติที่ผู้ใช้ระบุไว้ แม้ว่าข้อสมมตินั้นจะผิด ซึ่งเป็นกลไกที่ต่างจากการที่โมเดลแค่ไม่รู้อะไรบางอย่าง มันยังหมายความว่าอัตราที่วัดได้ขึ้นอยู่บางส่วนกับวิธีตั้งคำถาม ไม่ใช่แค่สิ่งที่โมเดลรู้เท่านั้น
| ตัวชี้วัด | ค่า | แหล่งที่มา |
|---|---|---|
| รูปแบบความล้มเหลว | คล้อยตามข้อสมมติที่ผิดของผู้ใช้ | Stanford HAI, 2026 |
| ช่วงอัตราระหว่างโมเดล | 22% ถึง 94% | Stanford HAI, 2026 |
| โมเดลที่ประเมิน | โมเดลชั้นแนวหน้า 26 ตัว | Stanford HAI, 2026 |
| ความแตกต่างจากความผิดพลาดเชิงข้อเท็จจริงทั่วไป | กลไกต่างกัน | Stanford HAI, 2026 |
| การพึ่งพารูปแบบการตั้งคำถาม | สูง | คำนวณ |
| บทที่รายงาน | AI ที่มีความรับผิดชอบ | Stanford HAI, 2026 |
| ข้อค้นพบที่กว้างกว่าของ AI Index เรื่องการรายงาน | การเปิดเผยข้อมูล AI ที่มีความรับผิดชอบล้าหลังความสามารถ | Stanford HAI, 2026 |
| นัยต่อการประเมิน | การออกแบบคำถามเป็นส่วนหนึ่งของการวัด | คำนวณ |
ผลในทางปฏิบัติสร้างความอึดอัดใจให้กับใครก็ตามที่นำระบบเหล่านี้ไปใช้งาน โมเดลอาจแม่นยำสูงมากเมื่อถูกถามอย่างเป็นกลาง แต่กลับไม่น่าเชื่อถืออย่างมากเมื่อผู้ใช้ยืนยันสิ่งที่ผิดก่อน บริบทการนำไปใช้งานอยู่ในสถิติการนำ AI มาใช้ในองค์กรของเรา แหล่งที่มา: Stanford HAI, 12 ข้อสรุปจาก AI Index ปี 2026
5. การอ่านคำกล่าวอ้างของผู้ผลิต
ข้อสรุปในทางปฏิบัติกลายเป็นรายการตรวจสอบสั้นๆ คำกล่าวอ้างเรื่องอาการหลอนต่ำกว่า 1% แทบจะแน่นอนว่าหมายถึงการสรุปความแบบอ้างอิงต้นฉบับ ซึ่งโมเดลได้รับต้นฉบับมาแล้ว และไม่ได้บอกอะไรเกี่ยวกับการดึงความจำโดยไม่มีตัวช่วยเลย คำถามที่ถูกต้องไม่เคยเป็น “อัตราการเกิดอาการหลอนคือเท่าไร” แต่เป็น “บนเกณฑ์มาตรฐานใด งานประเภทใด ขนาดตัวอย่างเท่าไร” เสมอ
| ตัวชี้วัด | ค่า | แหล่งที่มา |
|---|---|---|
| สิ่งที่คำกล่าวอ้างต่ำกว่า 1% มักวัด | การสรุปความแบบอ้างอิงต้นฉบับ | Vectara |
| สิ่งที่มันไม่ได้วัด | การดึงความจำข้อเท็จจริงโดยไม่มีตัวช่วย | คำนวณ |
| อัตราของโมเดลเดียวกันบนการทดสอบภายในที่ยากกว่า | 7.6% | Vectara |
| แถบอัตราบนการทดสอบแบบดึงความรู้แบบเปิด | 22% ถึง 94% | Stanford HAI, 2026 |
| จำนวนบทความในชุดทดสอบปัจจุบันของ Vectara | มากกว่า 7,700 | Vectara |
| จำนวนโมเดลที่ครอบคลุมโดยช่วงของ Stanford | 26 | Stanford HAI, 2026 |
| คำถามที่ควรถามต่อคำกล่าวอ้างใดๆ | เกณฑ์มาตรฐานใด งานใด ตัวอย่างแบบไหน | คำนวณ |
| การเปรียบเทียบข้ามแหล่งที่มาถูกต้องหรือไม่ | ไม่ถูกต้อง เว้นแต่วิธีการจะตรงกัน | คำนวณ |
การใช้งานที่อ้างอิงการค้นคืนข้อมูลนั้นอยู่ใกล้ปลายด้านมองโลกในแง่ดีจริงๆ เพราะมันจำลองเงื่อนไขของเกณฑ์มาตรฐานแบบมองโลกในแง่ดีขึ้นมาใหม่ ซึ่งเป็นวิธีเดียวที่ถูกต้องในการใช้ตัวเลขต่ำเหล่านั้น ในทางกลับกันก็เป็นจริงเช่นกัน แชตบอตที่ตอบคำถามปลายเปิดโดยไม่มีการค้นคืนข้อมูลควรถูกประเมินเทียบกับแถบมองโลกในแง่ร้าย และการอ้างตัวเลขจากการสรุปความแบบอ้างอิงต้นฉบับสำหรับผลิตภัณฑ์แบบนั้นถือเป็นความผิดพลาดเชิงประเภทมากกว่าการพูดเกินจริง บริบทเรื่องการค้นหาและการค้นคืนข้อมูลอยู่ในสถิติการค้นหาด้วย AIของเรา และบริบทภูมิทัศน์ของโมเดลอยู่ในสถิติ AI แบบโอเพนซอร์ส แหล่งที่มา: การวัดความน่าเชื่อถือของ LLM ใน RAG ด้วยลีดเดอร์บอร์ดที่พัฒนาต่อเนื่อง
สรุป: อาการหลอนของ AI ในตัวเลข
| ตัวชี้วัด | ค่า | แหล่งที่มา |
|---|---|---|
| ตัวเลขต่ำสุดที่เผยแพร่ | 0.7% | Vectara |
| แถบผลงานโมเดลอันดับต้น การสรุปความแบบอ้างอิงต้นฉบับ | ราว 1.8% | Vectara |
| โมเดลเดียวกันภายใต้ FaithJudge | 7.6% | Vectara |
| อัตราส่วนระหว่างสองค่านี้ | ราว 11 เท่า | คำนวณ |
| ช่วงในบรรดา 26 โมเดลชั้นแนวหน้า | 22% ถึง 94% | Stanford HAI |
| ช่วงระหว่างโมเดลที่ดีที่สุดและแย่ที่สุด | 72 จุด | คำนวณ |
| จำนวนโมเดลที่ Stanford HAI ทดสอบ | 26 | Stanford HAI |
| รูปแบบความล้มเหลวที่ Stanford วัด | อาการหลอนที่เกิดจากการสอพลอ | Stanford HAI |
| จำนวนบทความในชุดทดสอบที่ปรับปรุงของ Vectara | มากกว่า 7,700 | Vectara |
| เจตนาการออกแบบของการปรับปรุง | ยากขึ้น | Vectara |
| ผลต่อตัวเลขที่วัดได้ | สูงขึ้น | Vectara |
| งานในการสรุปความแบบอ้างอิงต้นฉบับ | ความตรงกับต้นฉบับที่ป้อนให้ | Vectara |
| งานในเกณฑ์มาตรฐานแบบดึงความรู้แบบเปิด | การผลิตข้อเท็จจริงโดยไม่มีตัวช่วย | Stanford HAI |
| บทที่รายงานของ Stanford HAI | AI ที่มีความรับผิดชอบ | Stanford HAI |
| วันที่เผยแพร่ AI Index | เมษายน 2026 | Stanford HAI |
| ช่วงของตัวเลขทั้งหมดที่เผยแพร่ในปี 2026 | มากกว่าสองอันดับขนาด | คำนวณ |
วิธีการและแหล่งข้อมูล
- ตัวเลขการสรุปความแบบอ้างอิงต้นฉบับ การเปรียบเทียบกับ FaithJudge และการปรับปรุงชุดทดสอบในเดือนพฤศจิกายน 2025 มาจากลีดเดอร์บอร์ดอาการหลอนสาธารณะของ Vectara และเอกสารประกอบ (ที่เก็บลีดเดอร์บอร์ด, ประกาศลีดเดอร์บอร์ดรุ่นถัดไป)
- ช่วง 22% ถึง 94% ในบรรดา 26 โมเดลชั้นแนวหน้า กรอบคิดเรื่องการสอพลอ และบริบทบทว่าด้วย AI ที่มีความรับผิดชอบ มาจาก AI Index ปี 2026 ของ Stanford HAI ซึ่งเผยแพร่ในเดือนเมษายน 2026 (รายงาน, ข้อสรุป, หน้าแรก AI Index)
- ภูมิหลังเชิงวิธีการเกี่ยวกับเหตุผลที่การออกแบบลีดเดอร์บอร์ดเป็นตัวกำหนดความน่าเชื่อถือที่วัดได้ มาจากงานวิจัยที่เผยแพร่เกี่ยวกับเกณฑ์มาตรฐาน RAG ที่พัฒนาต่อเนื่อง (arXiv)
- ข้อสังเกตเรื่องข้อมูล: ตัวเลขในบทความสรุปนี้ต้องไม่ถูกนำมาเฉลี่ย เปรียบเทียบ หรือนำเสนอเป็นอัตราเดียว Vectara วัดความตรงกับเอกสารที่ป้อนให้ ส่วน Stanford HAI วัดรูปแบบความล้มเหลวที่ต่างออกไปภายใต้เงื่อนไขที่ต่างกัน การปรับปรุงของ Vectara ในเดือนพฤศจิกายน 2025 เพิ่มความยากของการทดสอบโดยตั้งใจ ดังนั้นตัวเลขก่อนและหลังการเปลี่ยนแปลงนี้จึงเปรียบเทียบกันไม่ได้ และการที่ดูเหมือนแย่ลงอาจสะท้อนการทดสอบที่ยากขึ้นมากกว่าโมเดลที่แย่ลง ตัวเลขเฉพาะโมเดลเปลี่ยนแปลงเร็วเมื่อมีเวอร์ชันใหม่ออกมา ผลลัพธ์ของโมเดลที่ระบุชื่อซึ่งเก่ากว่าหนึ่งไตรมาสควรถือว่าล้าสมัย การวัดการสอพลอของ Stanford ขึ้นอยู่กับรูปแบบการตั้งคำถาม ซึ่งเป็นส่วนหนึ่งของการออกแบบการทดลองมากกว่าคุณสมบัติที่ตายตัวของโมเดล Vectara เป็นผู้ผลิตเชิงพาณิชย์ของผลิตภัณฑ์ AI แบบอ้างอิงการค้นคืนข้อมูล ซึ่งทำให้มีผลประโยชน์ในเกณฑ์มาตรฐานที่การอ้างอิงต้นฉบับทำผลงานได้ดี แถวที่ระบุว่า “คำนวณ” ได้มาจากการคำนวณทางคณิตศาสตร์หรือการอนุมานโดยตรงจากตัวเลขที่เผยแพร่
- ปรับปรุงล่าสุด: 2 สิงหาคม 2026 เราจะปรับปรุงบทความสรุปนี้ทุกไตรมาสเมื่อ Vectara ปรับปรุงลีดเดอร์บอร์ดและ Stanford HAI เผยแพร่ AI Index ฉบับใหม่