Sur les mêmes 1 000 questions de raisonnement Big Bench Hard, GPT-4o a répondu correctement à 92% d’entre elles lorsqu’elles arrivaient sous forme de texte, mais sa version vocale en temps réel (parole vers parole) n’en a réussi que 66% lorsque les questions étaient énoncées à voix haute (Artificial Analysis, lancement de Big Bench Audio 2024). L’écart ne s’est pas refermé partout : dans le benchmark de service client tau-Voice 2026, un agent texte GPT-5 a mené à bien 85% des tâches, tandis que les agents vocaux en duplex intégral en ont réussi 31% à 51% avec un audio propre et 26% à 38% avec du bruit et des accents réalistes (Ray et al., tau-Voice, arXiv 2026). La compétence la plus faible n’est pas celle des mots mais celle de la voix elle-même : GPT-4o-Audio a répondu juste à 21,44% des questions de perception paralinguistique dans MMSU, contre 59,70% pour les questions fondées sur le sens (Wang et al., MMSU, ICLR 2026). Dans les chaînes, le risque commence au niveau de la reconnaissance vocale en entrée, où les erreurs et les transcriptions inventées se répercutent directement sur la réponse. Nous avons agrégé des données issues de S2SBench, AfriVox, SD-QA, Spoken SQuAD, de la fiche système GPT-4o d’OpenAI (OpenAI GPT-4o System Card), des rapports techniques de Qwen2-Audio et de Kimi-Audio, ainsi que de plus d’une douzaine d’articles et de classements de benchmarks publiés à l’ACL, à l’ICLR et sur arXiv.
Dans ce tour d’horizon, un « modèle de langage vocal » (aussi appelé LLM vocal ou grand modèle de langage audio) est un modèle qui reçoit directement de l’audio en entrée. Une « chaîne » est l’architecture plus ancienne : un système de reconnaissance vocale écrit une transcription, puis un LLM uniquement textuel répond à partir de cette transcription.
TL;DR
- GPT-4o a obtenu 92% aux questions texte et 66% en parole vers parole sur Big Bench Audio (Artificial Analysis, lancement de Big Bench Audio 2024).
- DiVA est passé de 81,08 avec une entrée texte à 55,70 avec les mêmes instructions énoncées à voix haute (Chen et al., VoiceBench, arXiv v3 2024).
- L’entraînement en deux étapes de Baichuan-Audio a réduit à 3,4 points l’écart de complétion d’histoires orales avec une base texte (S2SBench, arXiv 2025).
- Une chaîne Whisper plus Llama-3.1-8B a obtenu 55,25% sur VoxEval contre 37,63% pour le meilleur modèle de bout en bout (Cui et al., VoxEval, ACL 2025).
- Gemini 2.0 Flash a atteint 65,6% sur MMAR, battant toutes les chaînes légende plus LLM, dont la meilleure a obtenu 55,5% (article du benchmark MMAR, arXiv 2025).
- GPT-4o-Audio a obtenu 21,44% en perception paralinguistique contre 59,70% en perception sémantique (Wang et al., MMSU, ICLR 2026).
- Une chaîne Whisper plus GPT-4 n’a identifié correctement le genre du locuteur que dans 21,9% des cas (AIR-Bench, ACL 2024).
- L’ajout d’accents a fait passer le taux de réussite des tâches de commerce de détail des agents vocaux de 55% à 44% en moyenne (Ray et al., tau-Voice, arXiv 2026).
- EXAONE-3.5-32B est passé d’un F1 de 0,863 sur audio propre à 0,586 à un rapport signal sur bruit de -10 dB dans une chaîne en coréen (Jung et Choi, arXiv 2026).
- Dynamic-SUPERB est passé de 55 instances d’évaluation à 180 tâches (Dynamic-SUPERB, ICASSP 2024 ; Dynamic-SUPERB Phase-2, ICLR 2025).
1. La taille des benchmarks de question-réponse parlée
La taille des benchmarks a rapidement augmenté entre 2023 et 2026, mais dans deux directions différentes. Dynamic-SUPERB est passé de 55 instances d’évaluation (construites à partir de 33 tâches et 22 jeux de données) à 180 tâches dans Phase-2, dont 125 apportées par la communauté de recherche (Dynamic-SUPERB Phase-2, ICLR 2025). C’est de la largeur : de nombreux tests courts, chacun sondant une compétence. VoxEval a pris la voie inverse et a creusé une seule compétence, les questions de connaissances, en transformant 56 matières de MMLU en 13 938 paires question-réponse orales, puis en générant chaque paire dans 11 conditions audio, soit 153 318 variations (Cui et al., VoxEval, ACL 2025).
Ce qu’il faut retenir en pratique pour qui lit une fiche de modèle : un score affiché peut provenir de 1 000 éléments ou de 19 000, de voix synthétiques ou d’enregistrements réels. Big Bench Audio et MMAR comptent chacun 1 000 éléments, ce qui rend difficile de lire un écart de 1 à 2 points entre deux modèles comme un véritable classement.
| Métrique | Valeur | Source |
|---|---|---|
| Dynamic-SUPERB Phase 1 : instances d’évaluation, tâches et jeux de données | 55 instances, 33 tâches, 22 jeux de données | Dynamic-SUPERB, ICASSP 2024 |
| Benchmark de base d’AIR-Bench : tâches et questions à choix unique | 19 tâches, environ 19 000 questions | AIR-Bench, ACL 2024 |
| Benchmark de dialogue d’AIR-Bench : questions ouvertes, dont celles portant sur la parole | 2 000 questions, dont 800 sur la parole | AIR-Bench, ACL 2024 |
| MMAU : clips audio et compétences distinctes testées | 10 000 clips, 27 compétences | Article du benchmark MMAU, arXiv 2024 |
| MMSU : questions et tâches (perception et raisonnement) | 5 000 questions, 47 tâches (24 de perception, 23 de raisonnement) | Wang et al., MMSU, ICLR 2026 |
| VoiceBench (version revue) : instructions orales et tâches | 6 783 instructions, 8 tâches | Chen et al., VoiceBench, TACL 2026 |
| SD-QA : requêtes audio, dialectes, locuteurs et langues | plus de 68 000 requêtes, 24 dialectes, 255 locuteurs, 5 langues | Faisal et al., SD-QA, EMNLP Findings 2021 |
Contexte : Big Bench Audio a été enregistré avec 23 voix synthétiques issues de modèles de synthèse vocale (Artificial Analysis, lancement de Big Bench Audio 2024), et seulement environ 6,57% de l’audio de Dynamic-SUPERB Phase-2 dure plus de 30 secondes (Dynamic-SUPERB Phase-2, ICLR 2025). La plupart de ces tests mesurent donc des questions courtes, et non des conversations longues ou désordonnées.
2. Mêmes questions, à l’oral et à l’écrit
C’est la comparaison centrale : un contenu identique, livré une fois en texte et une fois en audio, au même modèle ou à la même famille de modèles. DiVA, un modèle vocal de bout en bout, a obtenu 81,08 sur VoiceBench avec du texte et 55,70 lorsque les mêmes instructions étaient énoncées à voix haute, alors qu’une chaîne Whisper plus LLaMA-3.1-8B n’a perdu que 2,37 points (Chen et al., VoiceBench, arXiv v3 2024). Le modèle maîtrise manifestement le contenu ; ce qui se brise, c’est le passage du son au sens.
Les conceptions plus récentes et plus soignées montrent que l’écart peut se réduire à quelques points. S2SBench, de la South China University of Technology et de Baichuan, a mesuré l’entraînement en deux étapes de Baichuan-Audio à 79,6% en complétion d’histoires orales, soit 3,4 points derrière la base texte Qwen2.5-7B à 83,0% (S2SBench, arXiv 2025). Les tâches d’agent restent bien plus difficiles : tau-Voice (écrit τ-Voice dans l’article) teste des agents vocaux en duplex intégral sur 278 tâches de compagnie aérienne, de commerce de détail et de télécommunications, et avec un audio réaliste la voie orale perd encore plus de la moitié de la capacité du texte. La vitesse de réponse est l’autre face de ce compromis, traitée dans nos statistiques sur le délai avant le premier audio.
| Métrique | Valeur | Source |
|---|---|---|
| Score global VoiceBench, chaîne Whisper + LLaMA-3.1-8B : entrée texte contre entrée orale | 81,43 contre 79,06 | Chen et al., VoiceBench, arXiv v3 2024 |
| Score global VoiceBench, modèle de bout en bout DiVA : entrée texte contre entrée orale | 81,08 contre 55,70 | Chen et al., VoiceBench, arXiv v3 2024 |
| Précision sur Big Bench Audio : GPT-4o texte vers texte contre GPT-4o Realtime Preview parole vers parole | 92% contre 66% | Artificial Analysis, lancement de Big Bench Audio 2024 |
| Complétion d’histoires orales (sStoryCloze) : Qwen2.5-7B avec texte contre Baichuan-Audio en deux étapes avec parole | 83,0% contre 79,6% | S2SBench, arXiv 2025 |
| Énoncés de bon sens en chinois (sCMMLU, 4 743 éléments) : Qwen2.5-7B avec texte contre modèle instruct GLM-4-Voice avec parole | 70,3% contre 64,3% | S2SBench, arXiv 2025 |
| Réussite des tâches tau-Voice : agent texte GPT-5 contre agents vocaux avec audio propre | 85% contre 31% à 51% | Ray et al., tau-Voice, arXiv 2026 |
| tau-Voice : part de la capacité texte de GPT-5 conservée par les agents vocaux avec un audio réaliste | environ 30% à 45% | Ray et al., tau-Voice, arXiv 2026 |
Cas atypique : VoxEval a constaté qu’un même modèle peut obtenir des scores très différents selon le côté qui est audio. SPIRIT-LM a obtenu 20,84% en parole vers parole, 23,77% en parole vers texte et 1,38% en texte vers parole sur les mêmes questions (Cui et al., VoxEval, ACL 2025), ce qui rappelle que le côté sortie compte autant que le côté entrée.
3. Chaîne (ASR + LLM) contre modèles vocaux de bout en bout
Pour les questions dont la réponse tient dans les mots, l’ancienne chaîne reste très difficile à battre. Sur les questions MMLU orales de VoxEval, une chaîne Whisper plus Llama-3.1-8B a obtenu 55,25%, alors que le meilleur modèle vocal de bout en bout, GLM-4-Voice, a obtenu 37,63%, et GLM-4-Voice était le seul modèle de bout en bout à franchir la ligne de 25% du hasard (Cui et al., VoxEval, ACL 2025). Dynamic-SUPERB Phase-2 rapporte le même schéma : en reconnaissance vocale et en compréhension du langage oral, aucun modèle testé n’a surpassé la chaîne Whisper-LLaMA (Dynamic-SUPERB Phase-2, ICLR 2025).
Le tableau s’inverse dès que la réponse dépend du son lui-même. Sur MMAR, qui mêle parole, musique et sons, Gemini 2.0 Flash a battu toutes les chaînes qui transformaient d’abord l’audio en légende textuelle (article du benchmark MMAR, arXiv 2025). La leçon : les chaînes gagnent quand une transcription porte tout ; les modèles de bout en bout gagnent quand la transcription jette l’indice.
| Métrique | Valeur | Source |
|---|---|---|
| Précision sur VoxEval : chaîne Whisper + Llama-3.1-8B contre GLM-4-Voice de bout en bout | 55,25% contre 37,63% | Cui et al., VoxEval, ACL 2025 |
| Sous-ensemble de 12 matières de VoxEval : gpt-4o-audio-preview contre chaîne Whisper + Llama-3.1 | 0,718 contre 0,606 | Cui et al., VoxEval, ACL 2025 |
| AIR-Bench dialogue, score GPT-4 moyen (1 à 10) : chaîne Whisper + GPT-4 contre meilleur modèle de bout en bout (Qwen-Audio Turbo) | 7,54 contre 6,34 | AIR-Bench, ACL 2024 |
| AIR-Bench base, précision moyenne : Qwen-Audio Turbo de bout en bout contre chaîne Whisper + GPT-4 | 57,8% contre 53,6% | AIR-Bench, ACL 2024 |
| Ensemble de test MMAU, questions sur la parole : GPT-4o lisant une légende audio détaillée contre Gemini Pro v1.5 écoutant l’audio | 68,66% contre 55,90% | Article du benchmark MMAU, arXiv 2024 |
| Précision moyenne sur MMAR : Gemini 2.0 Flash de bout en bout contre meilleure chaîne légende + LLM (légende + DeepSeek-R1) | 65,6% contre 55,5% | Article du benchmark MMAR, arXiv 2025 |
| Score global VoiceBench avec entrée orale : chaîne Whisper + GPT-4o contre GPT-4o-Audio | 87,23 contre 86,42 | Chen et al., VoiceBench, arXiv v3 2024 |
Contexte : AIR-Bench montre les deux faces dans un même article. La chaîne a gagné le test de dialogue ouvert mais perdu le test de base, et les auteurs attribuent son mauvais score de base aux questions sur le genre, l’âge et l’émotion du locuteur (voir la section 4).
4. L’écart paralinguistique : entendre comment quelque chose est dit
« Paralinguistique » désigne tout ce qui, dans une voix, dépasse les mots : émotion, âge et genre du locuteur, style d’élocution, emphase. C’est là que les LLM vocaux sont les plus faibles. Dans MMSU, GPT-4o-Audio a répondu correctement à 59,70% des questions de perception sémantique mais à seulement 21,44% des questions de perception paralinguistique, et Gemini-1.5-Pro, le meilleur modèle globalement, n’a atteint que 31,23% en perception paralinguistique (Wang et al., MMSU, ICLR 2026). Les erreurs de perception, et non les erreurs de raisonnement, représentaient 50,3% des fautes de GPT-4o-Audio et 51,0% de celles de Gemini-1.5-Pro.
Reconnaître les mots est devenu facile ; lire la voix, non. Qwen2-Audio transcrit l’ensemble LibriSpeech test-clean avec un taux d’erreur de mots de 1,6%, mais n’atteint que 55,3% de précision au test de reconnaissance d’émotions MELD (Qwen2-Audio Technical Report, 2024). Pour le versant clinique de la détection d’émotions, voir nos statistiques sur la précision de la reconnaissance des émotions dans la parole.
| Métrique | Valeur | Source |
|---|---|---|
| Perception MMSU, GPT-4o-Audio : questions sémantiques contre questions paralinguistiques | 59,70% contre 21,44% | Wang et al., MMSU, ICLR 2026 |
| Perception MMSU, Gemini-1.5-Pro : questions sémantiques contre questions paralinguistiques | 57,06% contre 31,23% | Wang et al., MMSU, ICLR 2026 |
| Précision AIR-Bench sur le genre du locuteur : chaîne Whisper + GPT-4 contre Qwen-Audio Turbo | 21,9% contre 82,5% | AIR-Bench, ACL 2024 |
| Précision AIR-Bench en identification de la langue parlée : chaîne Whisper + GPT-4 | 96,8% | AIR-Bench, ACL 2024 |
| Qwen2-Audio : taux d’erreur de mots LibriSpeech test-clean contre précision émotionnelle MELD | 1,6% contre 55,3% | Qwen2-Audio Technical Report, 2024 |
| Reconnaissance des émotions Dynamic-SUPERB Phase-2, meilleur modèle (Qwen2-Audio-7B-Instruct) | 75,8% | Dynamic-SUPERB Phase-2, ICLR 2025 |
| Vérification du locuteur Dynamic-SUPERB Phase-2, meilleur système (hasard = 50%) | 51,3% | Dynamic-SUPERB Phase-2, ICLR 2025 |
Contexte : certaines compétences d’identification du locuteur sont volontairement désactivées. OpenAI rapporte un score de 0,98 pour le GPT-4o déployé sur les demandes d’identification de locuteur qu’il doit refuser, contre 0,83 pour une version précoce (OpenAI, GPT-4o System Card 2024). Un faible score d’identité du locuteur peut relever d’une politique de sécurité, et pas seulement d’un échec de perception.
5. Accents, bruit et parole désordonnée
Un audio propre flatte tous les modèles. Dans l’ablation commerce de détail de tau-Voice, l’ajout des seuls accents a fait passer le taux moyen de réussite des tâches de 55% à 44%, tandis que l’ajout du seul bruit de fond l’a ramené à 51% (Ray et al., tau-Voice, arXiv 2026). La pénalité liée aux accents allait de 1 point à 18 points selon le fournisseur, ce qui signifie que le classement d’un éditeur sur audio propre en dit peu sur sa façon de gérer les accents de vos utilisateurs.
Le bruit suit une falaise, pas une pente. Dans une étude de 2026 sur une chaîne de question-réponse parlée en coréen, la qualité des réponses a à peine bougé jusqu’à un rapport signal sur bruit de +10 dB, puis a chuté nettement sous 0 dB à mesure que le taux d’erreur de caractères du système de reconnaissance grimpait (Jung et Choi, Korean Spoken QA Error Propagation, arXiv 2026). Les effets des accents sur le système de reconnaissance lui-même sont traités dans nos statistiques sur le biais d’accent de l’ASR.
| Métrique | Valeur | Source |
|---|---|---|
| Réussite des tâches de commerce de détail tau-Voice, moyenne de 3 fournisseurs vocaux : audio propre contre avec accents ajoutés | 55% contre 44% | Ray et al., tau-Voice, arXiv 2026 |
| Commerce de détail tau-Voice : baisse liée à l’ajout d’accents, xAI contre Google | 18 points contre 1 point | Ray et al., tau-Voice, arXiv 2026 |
| Question-réponse parlée en coréen, F1 d’EXAONE-3.5-32B : question écrite contre audio propre contre audio à -10 dB de SNR | 0,870 contre 0,863 contre 0,586 | Jung et Choi, arXiv 2026 |
| Question-réponse parlée en coréen, taux d’erreur de caractères de l’ASR : propre contre 0 dB contre -10 dB de SNR | 0,0315 contre 0,1143 contre 0,4977 | Jung et Choi, arXiv 2026 |
| VoiceBench : perte moyenne de score lorsque les instructions contiennent des mots mal prononcés (tous les modèles) | 20,34% | Chen et al., VoiceBench, arXiv v3 2024 |
| VoxEval : variation de la précision de la chaîne Whisper + Llama lorsque la hauteur de la voix du locuteur est modifiée | moins 9,56 points | Cui et al., VoxEval, ACL 2025 |
| Ensemble de test anglais SD-QA, taux d’erreur de mots d’un système de reconnaissance de l’anglais américain : locuteurs du sud-est des États-Unis contre locuteurs nigérians | 5,25% contre 15,35% | Faisal et al., SD-QA, EMNLP Findings 2021 |
Données les plus récentes disponibles pour la question-réponse parlée au niveau des dialectes : Faisal et al., SD-QA, 2021. Sur son ensemble de test anglais, le F1 de sélection de passage est passé de 58,7 avec la question écrite d’origine à 55,8 avec une transcription ASR en anglais américain. Données les plus récentes disponibles pour la compréhension de lecture à partir de transcriptions seules : Spoken SQuAD, 2018, où cinq modèles de lecture ont obtenu un F1 moyen de 74,54 sur le texte SQuAD mais de 55,40 sur les transcriptions ASR de Spoken SQuAD, avec un taux d’erreur de mots de 22,73% (article Spoken SQuAD, arXiv 2018). Les tests de diversité vocale sont eux aussi minces : OpenAI a comparé 3 voix système à 27 échantillons de voix anglaises et a qualifié la performance sur des voix humaines de légèrement mais non significativement inférieure (OpenAI, GPT-4o System Card 2024). La solution passe désormais par le modèle : l’ajustement fin de Qwen2.5-Omni sur trois langues nigérianes a permis jusqu’à 54% de réduction relative du taux d’erreur de mots (Awobade et al., AfriVox, EACL 2026).
6. Plafonds humains et frontière de 2026
Les benchmarks de raisonnement audio les plus difficiles laissent encore une large marge par rapport aux humains. Les auditeurs humains ont obtenu 89,72% sur MMSU, alors que le meilleur des 22 modèles vocaux et omni, Gemini-1.5-Pro, a obtenu 60,68% (Wang et al., MMSU, ICLR 2026). Sur MMAU, la marge est comparable : 82,23% pour les humains contre 54,90% pour Gemini Pro v1.5, le meilleur modèle de bout en bout, sur la partition test-mini de 1 000 questions (article du benchmark MMAU, arXiv 2024).
En même temps, les tests de raisonnement oral les plus faciles sont presque résolus. Big Bench Audio est passé de 66% pour le modèle temps réel de GPT-4o en décembre 2024 à un classement 2026 où la première place, StepAudio 3 Realtime, obtient 99,7% parmi 44 modèles (Artificial Analysis, classement Speech to Speech 2026). Les règles de notation ont changé entre-temps, donc les deux chiffres ne sont pas sur la même échelle, mais la direction est claire : en haut du classement, les versions orales d’énigmes de type texte ne sont plus le goulot d’étranglement. C’est la perception propre à la voix qui l’est.
| Métrique | Valeur | Source |
|---|---|---|
| MMAU test-mini : auditeurs humains contre Gemini Pro v1.5 | 82,23% contre 54,90% | Article du benchmark MMAU, arXiv 2024 |
| Ensemble de test MMAU (9 000 questions) : Gemini Pro v1.5 contre Qwen2-Audio-Instruct | 52,97% contre 52,50% | Article du benchmark MMAU, arXiv 2024 |
| MMAR : Gemini 2.0 Flash contre hasard | 65,6% contre 29,32% | Article du benchmark MMAR, arXiv 2025 |
| MMAR, GPT-4o Audio : questions sur la parole seule contre questions sur la musique seule | 70,41% contre 50,97% | Article du benchmark MMAR, arXiv 2025 |
| MMAR : modèles évalués, open source plus propriétaires | 30 (24 plus 6) | Article du benchmark MMAR, arXiv 2025 |
| Moyenne VoiceBench rapportée par l’équipe Kimi-Audio : Kimi-Audio contre GLM-4-Voice | 76,93 contre 57,17 | Kimi Team, Kimi-Audio Technical Report 2025 |
| Kimi-Audio : audio utilisé pour le préentraînement | plus de 13 millions d’heures | Kimi Team, Kimi-Audio Technical Report 2025 |
Contexte : les moyennes de Kimi-Audio proviennent de l’évaluation propre à l’équipe de développement ; elles ne sont donc pas interchangeables avec les scores globaux des auteurs de VoiceBench dans les sections 2 et 3, car les deux articles ont mené des évaluations distinctes.
Résumé : les benchmarks de question-réponse parlée des modèles vocaux en chiffres
| Métrique | Valeur | Source |
|---|---|---|
| Big Bench Audio : GPT-4o texte vers texte contre parole vers parole | 92% contre 66% | Artificial Analysis, lancement de Big Bench Audio 2024 |
| tau-Voice : agent texte GPT-5 contre agents vocaux avec audio propre | 85% contre 31% à 51% | Ray et al., tau-Voice, arXiv 2026 |
| VoiceBench, DiVA de bout en bout : entrée texte contre entrée orale | 81,08 contre 55,70 | Chen et al., VoiceBench, arXiv v3 2024 |
| Complétion d’histoires S2SBench : base texte contre meilleur modèle vocal | 83,0% contre 79,6% | S2SBench, arXiv 2025 |
| VoxEval : chaîne Whisper + Llama contre GLM-4-Voice | 55,25% contre 37,63% | Cui et al., VoxEval, ACL 2025 |
| MMAR : Gemini 2.0 Flash contre meilleure chaîne légende + LLM | 65,6% contre 55,5% | Article du benchmark MMAR, arXiv 2025 |
| MMSU, GPT-4o-Audio : perception sémantique contre paralinguistique | 59,70% contre 21,44% | Wang et al., MMSU, ICLR 2026 |
| AIR-Bench genre du locuteur : chaîne Whisper + GPT-4 contre Qwen-Audio Turbo | 21,9% contre 82,5% | AIR-Bench, ACL 2024 |
| Qwen2-Audio : taux d’erreur de mots LibriSpeech contre précision émotionnelle MELD | 1,6% contre 55,3% | Qwen2-Audio Technical Report, 2024 |
| F1 de question-réponse parlée en coréen (EXAONE-3.5-32B) : audio propre contre -10 dB de SNR | 0,863 contre 0,586 | Jung et Choi, arXiv 2026 |
| Taux d’erreur de mots SD-QA en anglais : locuteurs du sud-est des États-Unis contre nigérians | 5,25% contre 15,35% | Faisal et al., SD-QA, EMNLP Findings 2021 |
| Modèles de lecture Spoken SQuAD, F1 moyen : texte contre transcriptions ASR | 74,54 contre 55,40 | Article Spoken SQuAD, arXiv 2018 |
| AfriVox : meilleure réduction relative du taux d’erreur de mots par ajustement fin de Qwen2.5-Omni | jusqu’à 54% | Awobade et al., AfriVox, EACL 2026 |
| MMAU test-mini : humains contre Gemini Pro v1.5 | 82,23% contre 54,90% | Article du benchmark MMAU, arXiv 2024 |
| Tâches de Dynamic-SUPERB Phase-2 | 180 (125 nouvelles) | Dynamic-SUPERB Phase-2, ICLR 2025 |
| Audio de préentraînement de Kimi-Audio | plus de 13 millions d’heures | Kimi Team, Kimi-Audio Technical Report 2025 |
| Score du leader 2026 sur Big Bench Audio | 99,7% (StepAudio 3 Realtime) | Artificial Analysis, classement Speech to Speech 2026 |
Méthodologie et sources
- Chen et al., VoiceBench: Benchmarking LLM-Based Voice Assistants, arXiv v3, décembre 2024 et sa version revue dans Transactions of the ACL, volume 14, 2026.
- AIR-Bench: Benchmarking Large Audio-Language Models via Generative Comprehension, ACL 2024.
- Dynamic-SUPERB, ICASSP 2024 et Dynamic-SUPERB Phase-2, ICLR 2025.
- MMAU: A Massive Multi-Task Audio Understanding and Reasoning Benchmark, arXiv 2024.
- MMAR: A Challenging Benchmark for Deep Reasoning in Speech, Audio, Music, and Their Mix, arXiv 2025.
- Wang et al., MMSU: A Massive Multi-task Spoken Language Understanding and Reasoning Benchmark, ICLR 2026.
- Cui et al., VoxEval, ACL 2025.
- S2SBench: Quantifying Intelligence Degradation in Speech-to-Speech LLMs, South China University of Technology et Baichuan, arXiv 2025.
- Ray et al., tau-Voice: Benchmarking Full-Duplex Voice Agents on Real-World Domains, Sierra et Princeton University, arXiv mars 2026.
- Jung et Choi, Analyzing Error Propagation in Korean Spoken QA with ASR-LLM Cascades, arXiv 2026.
- Faisal et al., SD-QA: Spoken Dialectal Question Answering for the Real World, Findings of EMNLP 2021.
- Spoken SQuAD: Mitigating the Impact of Speech Recognition Errors on Listening Comprehension, arXiv 2018.
- Awobade et al., AfriVox: Probing Multilingual and Accent Robustness of Speech LLMs, EACL 2026.
- Artificial Analysis, Evaluating Audio Reasoning with Big Bench Audio, 20 décembre 2024, classement Speech to Speech 2026 et méthodologie d’évaluation parole vers parole.
- OpenAI, GPT-4o System Card, 2024.
- Qwen2-Audio Technical Report, 2024 et Kimi Team, Kimi-Audio Technical Report, 2025.
- Note sur les données : la notation de Big Bench Audio est passée de la v1.0 (questions sans réponse non pénalisées, de décembre 2024 à mars 2026) à la v1.1 (les 1 000 questions comptées, mars 2026) puis à la v1.2 (juge et correcteur mis à jour, mai 2026), si bien que les chiffres de 66% (2024) et de 99,7% (2026) ne sont pas sur la même échelle. La page du classement ne donne aucune date pour ses scores, et son graphique représente 37 des 44 modèles ; nous l’avons consultée le 31 octobre 2026. Les scores VoiceBench cités ici proviennent du préprint de décembre 2024, dont le texte et les tableaux divergent par endroits (le texte dit que la chaîne a perdu 4,37 points, le tableau en indique 2,37 ; nous avons retenu le tableau), et la version revue de 2026 peut rapporter d’autres scores. Le texte de VoxEval rapporte des baisses allant jusqu’à 6% liées au style d’élocution et à la qualité audio, alors que son tableau indique moins 9,56 points pour la hauteur de la voix ; nous avons retenu le tableau. Le texte de l’article MMSU et son Tableau 4 divergent sur la catégorie d’erreur de GPT-4o-Audio qui représente 14,7%. MMAR annonce 30 modèles, alors que son tableau compte 31 lignes. Dynamic-SUPERB Phase-2 affirme qu’aucun modèle ne dépasse le hasard en recherche par l’exemple, alors que son tableau indique 53,5% pour un modèle. Les chiffres de S2SBench pour GLM-4-Voice sur sCMMLU utilisent le modèle instruct, faute de modèle de base fourni. SD-QA (2021) et Spoken SQuAD (2018) ont plus de trois ans et ne couvrent que des systèmes en chaîne. tau-Voice a testé 3 agents vocaux commerciaux, si bien que leur écart peut évoluer vite à mesure que les fournisseurs mettent à jour leurs modèles, et les tableaux de MMSU, de MMAU et de Kimi-Audio portent surtout sur les générations de modèles de 2024 et 2025.
Dernière mise à jour : 31 octobre 2026. Nous actualisons ce tour d’horizon chaque trimestre, et la prochaine mise à jour est attendue lorsque Artificial Analysis publiera la prochaine version de son Speech to Speech Index et que les articles de benchmarks de LLM vocaux de l’ICLR 2027 paraîtront.