Con las mismas 1.000 preguntas de razonamiento de Big Bench Hard, GPT-4o respondió correctamente el 92% cuando llegaron como texto, pero su versión de voz a voz en tiempo real respondió solo el 66% cuando las preguntas se dijeron en voz alta (Artificial Analysis, lanzamiento de Big Bench Audio 2024). La brecha no se ha cerrado en todas partes: en el benchmark de atención al cliente tau-Voice de 2026, un agente de texto GPT-5 completó el 85% de las tareas, mientras que los agentes de voz full-duplex completaron del 31% al 51% con audio limpio y del 26% al 38% con ruido y acentos realistas (Ray et al., tau-Voice, arXiv 2026). La habilidad más débil no son las palabras, sino la voz misma: GPT-4o-Audio acertó el 21,44% de las preguntas de percepción paralingüística en MMSU, frente al 59,70% de las preguntas basadas en el significado (Wang et al., MMSU, ICLR 2026). En los pipelines, el riesgo empieza en la etapa inicial de reconocimiento de voz, donde los errores y el texto de transcripción inventado pasan directamente a la respuesta. Reunimos datos de S2SBench, AfriVox, SD-QA, Spoken SQuAD, la OpenAI GPT-4o System Card, los informes técnicos de Qwen2-Audio y Kimi-Audio, y más de una docena de artículos de benchmarks y clasificaciones de ACL, ICLR y arXiv.
En este informe, un “modelo de lenguaje de voz” (también llamado LLM de voz o gran modelo de lenguaje de audio) es un modelo que recibe el audio directamente. Un “pipeline” es el diseño anterior: un reconocedor de voz escribe una transcripción y un LLM solo de texto responde a partir de esa transcripción.
TL;DR
- GPT-4o obtuvo 92% en preguntas de texto y 66% de voz a voz en Big Bench Audio (Artificial Analysis, lanzamiento de Big Bench Audio 2024).
- DiVA bajó de 81,08 con entrada de texto a 55,70 con las mismas instrucciones habladas (Chen et al., VoiceBench, arXiv v3 2024).
- El entrenamiento en dos etapas de Baichuan-Audio redujo la brecha en completar historias habladas a 3,4 puntos por detrás de una línea base de texto (S2SBench, arXiv 2025).
- Un pipeline Whisper más Llama-3.1-8B obtuvo 55,25% en VoxEval frente a 37,63% del mejor modelo de extremo a extremo (Cui et al., VoxEval, ACL 2025).
- Gemini 2.0 Flash alcanzó 65,6% en MMAR, superando a todos los pipelines de descripción más LLM, el mejor de los cuales obtuvo 55,5% (artículo del benchmark MMAR, arXiv 2025).
- GPT-4o-Audio obtuvo 21,44% en percepción paralingüística frente a 59,70% en percepción semántica (Wang et al., MMSU, ICLR 2026).
- Un pipeline Whisper más GPT-4 identificó correctamente el género del hablante solo el 21,9% de las veces (AIR-Bench, ACL 2024).
- Añadir acentos redujo el éxito medio en las tareas de comercio minorista de los agentes de voz de 55% a 44% (Ray et al., tau-Voice, arXiv 2026).
- EXAONE-3.5-32B cayó de F1 0,863 con audio limpio a 0,586 a -10 dB de relación señal-ruido en un pipeline coreano (Jung y Choi, arXiv 2026).
- Dynamic-SUPERB pasó de 55 instancias de evaluación a 180 tareas (Dynamic-SUPERB, ICASSP 2024; Dynamic-SUPERB Phase-2, ICLR 2025).
1. Qué Tan Grandes Se Han Vuelto los Benchmarks de Preguntas y Respuestas Habladas
El tamaño de los benchmarks creció rápido entre 2023 y 2026, pero en dos direcciones distintas. Dynamic-SUPERB pasó de 55 instancias de evaluación (construidas a partir de 33 tareas y 22 conjuntos de datos) a 180 tareas en la Fase 2, 125 de ellas aportadas por la comunidad investigadora (Dynamic-SUPERB Phase-2, ICLR 2025). Eso es amplitud: muchas pruebas cortas, cada una centrada en una habilidad. VoxEval tomó el camino opuesto y profundizó en una sola habilidad, las preguntas de conocimiento, al convertir 56 materias de MMLU en 13.938 pares hablados de pregunta y respuesta, y luego generar cada par en 11 condiciones de audio, para un total de 153.318 variaciones (Cui et al., VoxEval, ACL 2025).
La conclusión práctica para quien lee la ficha de un modelo: una única puntuación destacada puede provenir de 1.000 elementos o de 19.000 elementos, y de voces sintéticas o de grabaciones reales. Big Bench Audio y MMAR tienen 1.000 elementos cada uno, lo que hace que una diferencia de 1 a 2 puntos entre dos modelos sea difícil de leer como una clasificación real.
| Métrica | Valor | Fuente |
|---|---|---|
| Dynamic-SUPERB Fase 1: instancias de evaluación, tareas y conjuntos de datos | 55 instancias, 33 tareas, 22 conjuntos de datos | Dynamic-SUPERB, ICASSP 2024 |
| Benchmark de base de AIR-Bench: tareas y preguntas de opción única | 19 tareas, unas 19.000 preguntas | AIR-Bench, ACL 2024 |
| Benchmark de chat de AIR-Bench: preguntas abiertas, de las cuales sobre voz | 2.000 preguntas, 800 sobre voz | AIR-Bench, ACL 2024 |
| MMAU: clips de audio y habilidades distintas evaluadas | 10.000 clips, 27 habilidades | artículo del benchmark MMAU, arXiv 2024 |
| MMSU: preguntas y tareas (percepción y razonamiento) | 5.000 preguntas, 47 tareas (24 de percepción, 23 de razonamiento) | Wang et al., MMSU, ICLR 2026 |
| VoiceBench (versión de revista): instrucciones habladas y tareas | 6.783 instrucciones, 8 tareas | Chen et al., VoiceBench, TACL 2026 |
| SD-QA: prompts de audio, dialectos, hablantes e idiomas | más de 68.000 prompts, 24 dialectos, 255 hablantes, 5 idiomas | Faisal et al., SD-QA, EMNLP Findings 2021 |
Contexto: Big Bench Audio se locutó con 23 voces sintéticas tomadas de modelos de texto a voz (Artificial Analysis, lanzamiento de Big Bench Audio 2024), y solo alrededor del 6,57% del audio de Dynamic-SUPERB Phase-2 dura más de 30 segundos (Dynamic-SUPERB Phase-2, ICLR 2025). Por lo tanto, la mayoría de estas pruebas miden preguntas cortas, no conversaciones largas o desordenadas.
2. Las Mismas Preguntas, Habladas vs Escritas
Esta es la comparación central: contenido idéntico, entregado una vez como texto y otra como audio, al mismo modelo o a la misma familia de modelos. DiVA, un modelo de voz de extremo a extremo, obtuvo 81,08 en VoiceBench cuando recibió texto y 55,70 cuando las mismas instrucciones se hablaron, mientras que un pipeline Whisper más LLaMA-3.1-8B perdió solo 2,37 puntos (Chen et al., VoiceBench, arXiv v3 2024). El modelo claramente domina el contenido; lo que se rompe es el camino del sonido al significado.
Los diseños más nuevos y cuidadosos muestran que la brecha puede reducirse a unos pocos puntos. S2SBench, de la Universidad de Tecnología del Sur de China y Baichuan, midió el entrenamiento en dos etapas de Baichuan-Audio en 79,6% en completar historias habladas, 3,4 puntos por detrás de la línea base de texto Qwen2.5-7B, con 83,0% (S2SBench, arXiv 2025). Las tareas de agente siguen siendo mucho más difíciles: tau-Voice (escrito τ-Voice en el artículo) evalúa agentes de voz full-duplex en 278 tareas de aerolíneas, comercio minorista y telecomunicaciones, y con audio realista el camino hablado aún pierde más de la mitad de la capacidad del texto. La velocidad de respuesta es el otro lado de ese equilibrio, tratada en nuestras estadísticas de tiempo hasta el primer audio.
| Métrica | Valor | Fuente |
|---|---|---|
| Puntuación global de VoiceBench, pipeline Whisper + LLaMA-3.1-8B: entrada de texto vs entrada hablada | 81,43 vs 79,06 | Chen et al., VoiceBench, arXiv v3 2024 |
| Puntuación global de VoiceBench, modelo de extremo a extremo DiVA: entrada de texto vs entrada hablada | 81,08 vs 55,70 | Chen et al., VoiceBench, arXiv v3 2024 |
| Precisión en Big Bench Audio: GPT-4o de texto a texto vs GPT-4o Realtime Preview de voz a voz | 92% vs 66% | Artificial Analysis, lanzamiento de Big Bench Audio 2024 |
| Completar historias habladas (sStoryCloze): Qwen2.5-7B con texto vs Baichuan-Audio en dos etapas con voz | 83,0% vs 79,6% | S2SBench, arXiv 2025 |
| Enunciados de sentido común en chino (sCMMLU, 4.743 elementos): Qwen2.5-7B con texto vs modelo instruct GLM-4-Voice con voz | 70,3% vs 64,3% | S2SBench, arXiv 2025 |
| Éxito en las tareas de tau-Voice: agente de texto GPT-5 vs agentes de voz con audio limpio | 85% vs 31% a 51% | Ray et al., tau-Voice, arXiv 2026 |
| tau-Voice: proporción de la capacidad de texto de GPT-5 que conservan los agentes de voz con audio realista | aproximadamente 30% a 45% | Ray et al., tau-Voice, arXiv 2026 |
Caso atípico: VoxEval encontró que un mismo modelo puede puntuar de forma muy distinta según qué lado sea audio. SPIRIT-LM obtuvo 20,84% de voz a voz, 23,77% de voz a texto y 1,38% de texto a voz en las mismas preguntas (Cui et al., VoxEval, ACL 2025), un recordatorio de que el lado de la salida importa tanto como el de la entrada.
3. Pipeline (ASR + LLM) vs Modelos de Voz de Extremo a Extremo
Para preguntas cuya respuesta está en las palabras, el viejo pipeline sigue siendo muy difícil de superar. En las preguntas habladas de MMLU de VoxEval, un pipeline Whisper más Llama-3.1-8B obtuvo 55,25%, mientras que el mejor modelo de voz de extremo a extremo, GLM-4-Voice, obtuvo 37,63%, y GLM-4-Voice fue el único modelo de extremo a extremo que superó la línea de 25% de respuesta aleatoria (Cui et al., VoxEval, ACL 2025). Dynamic-SUPERB Phase-2 informa del mismo patrón: en reconocimiento de voz y comprensión del lenguaje hablado, ningún modelo evaluado superó al pipeline Whisper-LLaMA (Dynamic-SUPERB Phase-2, ICLR 2025).
El panorama se invierte cuando la respuesta depende del sonido mismo. En MMAR, que mezcla voz, música y sonido, Gemini 2.0 Flash superó a todos los pipelines que primero convertían el audio en una descripción de texto (artículo del benchmark MMAR, arXiv 2025). La lección: los pipelines ganan cuando una transcripción lo contiene todo; los modelos de extremo a extremo ganan cuando la transcripción descarta la pista.
| Métrica | Valor | Fuente |
|---|---|---|
| Precisión en VoxEval: pipeline Whisper + Llama-3.1-8B vs GLM-4-Voice de extremo a extremo | 55,25% vs 37,63% | Cui et al., VoxEval, ACL 2025 |
| Subconjunto de 12 materias de VoxEval: gpt-4o-audio-preview vs pipeline Whisper + Llama-3.1 | 0,718 vs 0,606 | Cui et al., VoxEval, ACL 2025 |
| Chat de AIR-Bench, puntuación media de GPT-4 (1 a 10): pipeline Whisper + GPT-4 vs mejor modelo de extremo a extremo (Qwen-Audio Turbo) | 7,54 vs 6,34 | AIR-Bench, ACL 2024 |
| Base de AIR-Bench, precisión media: Qwen-Audio Turbo de extremo a extremo vs pipeline Whisper + GPT-4 | 57,8% vs 53,6% | AIR-Bench, ACL 2024 |
| Conjunto de prueba de MMAU, preguntas de voz: GPT-4o leyendo una descripción de audio detallada vs Gemini Pro v1.5 escuchando el audio | 68,66% vs 55,90% | artículo del benchmark MMAU, arXiv 2024 |
| Precisión media en MMAR: Gemini 2.0 Flash de extremo a extremo vs mejor pipeline de descripción + LLM (descripción + DeepSeek-R1) | 65,6% vs 55,5% | artículo del benchmark MMAR, arXiv 2025 |
| Puntuación global de VoiceBench con entrada hablada: pipeline Whisper + GPT-4o vs GPT-4o-Audio | 87,23 vs 86,42 | Chen et al., VoiceBench, arXiv v3 2024 |
Contexto: AIR-Bench muestra ambos lados en un solo artículo. El pipeline ganó la prueba de chat abierto pero perdió la prueba de base, y los autores atribuyen su débil puntuación de base a las preguntas sobre género, edad y emoción del hablante (véase la sección 4).
4. La Brecha Paralingüística: Oír Cómo Se Dice Algo
“Paralingüístico” significa todo lo que hay en una voz además de las palabras: emoción, edad y género del hablante, estilo de habla, énfasis. Aquí es donde los LLM de voz son más débiles. En MMSU, GPT-4o-Audio respondió correctamente el 59,70% de las preguntas de percepción semántica, pero solo el 21,44% de las preguntas de percepción paralingüística, y Gemini-1.5-Pro, el mejor modelo en general, alcanzó solo 31,23% en percepción paralingüística (Wang et al., MMSU, ICLR 2026). Los errores de percepción, y no los de razonamiento, representaron el 50,3% de los fallos de GPT-4o-Audio y el 51,0% de los de Gemini-1.5-Pro.
Reconocer palabras se ha vuelto fácil; leer la voz, no. Qwen2-Audio transcribe el conjunto test-clean de LibriSpeech con una tasa de error de palabras de 1,6%, pero alcanza solo 55,3% de precisión en la prueba de reconocimiento de emociones MELD (Qwen2-Audio Technical Report, 2024). Para el lado clínico de la detección de emociones, consulte nuestras estadísticas de precisión del reconocimiento de emociones en el habla.
| Métrica | Valor | Fuente |
|---|---|---|
| Percepción en MMSU, GPT-4o-Audio: preguntas semánticas vs preguntas paralingüísticas | 59,70% vs 21,44% | Wang et al., MMSU, ICLR 2026 |
| Percepción en MMSU, Gemini-1.5-Pro: preguntas semánticas vs preguntas paralingüísticas | 57,06% vs 31,23% | Wang et al., MMSU, ICLR 2026 |
| Precisión en género del hablante en AIR-Bench: pipeline Whisper + GPT-4 vs Qwen-Audio Turbo | 21,9% vs 82,5% | AIR-Bench, ACL 2024 |
| Precisión en identificación del idioma hablado en AIR-Bench: pipeline Whisper + GPT-4 | 96,8% | AIR-Bench, ACL 2024 |
| Qwen2-Audio: tasa de error de palabras en test-clean de LibriSpeech vs precisión de emociones en MELD | 1,6% vs 55,3% | Qwen2-Audio Technical Report, 2024 |
| Reconocimiento de emociones en Dynamic-SUPERB Phase-2, mejor modelo (Qwen2-Audio-7B-Instruct) | 75,8% | Dynamic-SUPERB Phase-2, ICLR 2025 |
| Verificación del hablante en Dynamic-SUPERB Phase-2, mejor sistema (azar = 50%) | 51,3% | Dynamic-SUPERB Phase-2, ICLR 2025 |
Contexto: algunas habilidades de identidad del hablante se desactivan deliberadamente. OpenAI informa de una puntuación de 0,98 para el GPT-4o desplegado en las solicitudes de identificación de hablante que debe rechazar, frente a 0,83 de una versión temprana (OpenAI, GPT-4o System Card 2024). Una puntuación baja en identidad del hablante puede ser una política de seguridad y no solo un fallo de percepción.
5. Acentos, Ruido y Habla Imperfecta
El audio limpio favorece a todos los modelos. En la ablación de comercio minorista de tau-Voice, añadir solo acentos redujo el éxito medio en las tareas de 55% a 44%, mientras que añadir solo ruido de fondo lo redujo a 51% (Ray et al., tau-Voice, arXiv 2026). La penalización por acentos fue de 1 punto a 18 puntos según el proveedor, lo que significa que la clasificación de un proveedor con audio limpio dice poco sobre cómo maneja los acentos de sus usuarios.
El ruido sigue un precipicio, no una pendiente. En un estudio de 2026 con un pipeline coreano de preguntas y respuestas habladas, la calidad de las respuestas apenas cambió hasta +10 dB de relación señal-ruido y luego cayó bruscamente por debajo de 0 dB a medida que subía la tasa de error de caracteres del reconocedor de voz (Jung y Choi, Korean Spoken QA Error Propagation, arXiv 2026). Los efectos de los acentos sobre el propio reconocedor se tratan en nuestras estadísticas de sesgo de acento en ASR.
| Métrica | Valor | Fuente |
|---|---|---|
| Éxito en las tareas de comercio minorista de tau-Voice, media de 3 proveedores de voz: audio limpio vs con acentos añadidos | 55% vs 44% | Ray et al., tau-Voice, arXiv 2026 |
| tau-Voice comercio minorista: caída por añadir acentos, xAI vs Google | 18 puntos vs 1 punto | Ray et al., tau-Voice, arXiv 2026 |
| Preguntas y respuestas habladas en coreano, F1 de EXAONE-3.5-32B: pregunta escrita vs audio limpio vs audio a -10 dB de SNR | 0,870 vs 0,863 vs 0,586 | Jung y Choi, arXiv 2026 |
| Preguntas y respuestas habladas en coreano, tasa de error de caracteres del ASR: limpio vs 0 dB vs -10 dB de SNR | 0,0315 vs 0,1143 vs 0,4977 | Jung y Choi, arXiv 2026 |
| VoiceBench: pérdida media de puntuación cuando las instrucciones contienen palabras mal pronunciadas (todos los modelos) | 20,34% | Chen et al., VoiceBench, arXiv v3 2024 |
| VoxEval: cambio en la precisión del pipeline Whisper + Llama cuando se altera el tono de voz del hablante | menos 9,56 puntos | Cui et al., VoxEval, ACL 2025 |
| Conjunto de prueba en inglés de SD-QA, tasa de error de palabras de un reconocedor de inglés de EE. UU.: hablantes del sudeste de EE. UU. vs hablantes nigerianos | 5,25% vs 15,35% | Faisal et al., SD-QA, EMNLP Findings 2021 |
Datos más recientes disponibles sobre preguntas y respuestas habladas por dialecto: Faisal et al., SD-QA, 2021. En su conjunto de prueba en inglés, el F1 de selección de pasajes bajó de 58,7 con la pregunta original escrita a 55,8 con una transcripción de ASR en inglés de EE. UU. Datos más recientes disponibles sobre comprensión lectora solo con transcripciones: Spoken SQuAD, 2018, donde cinco modelos de lectura promediaron un F1 de 74,54 en el texto de SQuAD pero de 55,40 en las transcripciones de ASR de Spoken SQuAD, con una tasa de error de palabras de 22,73% (artículo de Spoken SQuAD, arXiv 2018). Las pruebas de diversidad de voces también son escasas: OpenAI comparó 3 voces del sistema con 27 muestras de voces en inglés y calificó el rendimiento con voces humanas como ligeramente peor, pero sin diferencia significativa (OpenAI, GPT-4o System Card 2024). La solución se está trasladando al lado del modelo: el ajuste fino de Qwen2.5-Omni en tres idiomas nigerianos logró una reducción relativa de hasta 54% en la tasa de error de palabras (Awobade et al., AfriVox, EACL 2026).
6. Techos Humanos y la Frontera de 2026
Los benchmarks de razonamiento sobre audio más difíciles aún dejan un amplio margen frente a los humanos. Los oyentes humanos obtuvieron 89,72% en MMSU, mientras que el mejor de 22 modelos de voz y omni, Gemini-1.5-Pro, obtuvo 60,68% (Wang et al., MMSU, ICLR 2026). En MMAU el margen es similar: 82,23% para los humanos frente a 54,90% para Gemini Pro v1.5, el mejor modelo de extremo a extremo, en la división test-mini de 1.000 preguntas (artículo del benchmark MMAU, arXiv 2024).
Al mismo tiempo, las pruebas de razonamiento hablado más fáciles están casi resueltas. Big Bench Audio pasó de 66% para el modelo en tiempo real de GPT-4o en diciembre de 2024 a una clasificación de 2026 en la que la entrada principal, StepAudio 3 Realtime, marca 99,7% entre 44 modelos (Artificial Analysis, clasificación Speech to Speech 2026). Las reglas de puntuación cambiaron entretanto, así que las dos cifras no están en la misma escala, pero la dirección es clara: en la parte alta de la clasificación, las versiones habladas de acertijos de estilo textual ya no son el cuello de botella. La percepción específica de la voz sí lo es.
| Métrica | Valor | Fuente |
|---|---|---|
| MMAU test-mini: oyentes humanos vs Gemini Pro v1.5 | 82,23% vs 54,90% | artículo del benchmark MMAU, arXiv 2024 |
| Conjunto de prueba de MMAU (9.000 preguntas): Gemini Pro v1.5 vs Qwen2-Audio-Instruct | 52,97% vs 52,50% | artículo del benchmark MMAU, arXiv 2024 |
| MMAR: Gemini 2.0 Flash vs respuesta aleatoria | 65,6% vs 29,32% | artículo del benchmark MMAR, arXiv 2025 |
| MMAR, GPT-4o Audio: preguntas solo de voz vs preguntas solo de música | 70,41% vs 50,97% | artículo del benchmark MMAR, arXiv 2025 |
| MMAR: modelos evaluados, de código abierto más de código cerrado | 30 (24 más 6) | artículo del benchmark MMAR, arXiv 2025 |
| Promedio de VoiceBench informado por el equipo de Kimi-Audio: Kimi-Audio vs GLM-4-Voice | 76,93 vs 57,17 | Kimi Team, Kimi-Audio Technical Report 2025 |
| Kimi-Audio: audio usado en el preentrenamiento | más de 13 millones de horas | Kimi Team, Kimi-Audio Technical Report 2025 |
Contexto: los promedios de Kimi-Audio son la evaluación del propio equipo desarrollador, por lo que no son intercambiables con las puntuaciones globales de los autores de VoiceBench de las secciones 2 y 3, porque los dos artículos ejecutaron evaluaciones distintas.
Resumen: Benchmarks de Preguntas y Respuestas Habladas para Modelos de Lenguaje de Voz en Cifras
| Métrica | Valor | Fuente |
|---|---|---|
| Big Bench Audio: GPT-4o de texto a texto vs de voz a voz | 92% vs 66% | Artificial Analysis, lanzamiento de Big Bench Audio 2024 |
| tau-Voice: agente de texto GPT-5 vs agentes de voz con audio limpio | 85% vs 31% a 51% | Ray et al., tau-Voice, arXiv 2026 |
| VoiceBench, DiVA de extremo a extremo: entrada de texto vs entrada hablada | 81,08 vs 55,70 | Chen et al., VoiceBench, arXiv v3 2024 |
| Completar historias en S2SBench: línea base de texto vs mejor modelo de voz | 83,0% vs 79,6% | S2SBench, arXiv 2025 |
| VoxEval: pipeline Whisper + Llama vs GLM-4-Voice | 55,25% vs 37,63% | Cui et al., VoxEval, ACL 2025 |
| MMAR: Gemini 2.0 Flash vs mejor pipeline de descripción + LLM | 65,6% vs 55,5% | artículo del benchmark MMAR, arXiv 2025 |
| MMSU, GPT-4o-Audio: percepción semántica vs paralingüística | 59,70% vs 21,44% | Wang et al., MMSU, ICLR 2026 |
| Género del hablante en AIR-Bench: pipeline Whisper + GPT-4 vs Qwen-Audio Turbo | 21,9% vs 82,5% | AIR-Bench, ACL 2024 |
| Qwen2-Audio: tasa de error de palabras en LibriSpeech vs precisión de emociones en MELD | 1,6% vs 55,3% | Qwen2-Audio Technical Report, 2024 |
| F1 de preguntas y respuestas habladas en coreano (EXAONE-3.5-32B): audio limpio vs -10 dB de SNR | 0,863 vs 0,586 | Jung y Choi, arXiv 2026 |
| Tasa de error de palabras en inglés en SD-QA: hablantes del sudeste de EE. UU. vs nigerianos | 5,25% vs 15,35% | Faisal et al., SD-QA, EMNLP Findings 2021 |
| Modelos de lectura de Spoken SQuAD, F1 medio: texto vs transcripciones de ASR | 74,54 vs 55,40 | artículo de Spoken SQuAD, arXiv 2018 |
| AfriVox: mejor reducción relativa de la tasa de error de palabras con ajuste fino de Qwen2.5-Omni | hasta 54% | Awobade et al., AfriVox, EACL 2026 |
| MMAU test-mini: humanos vs Gemini Pro v1.5 | 82,23% vs 54,90% | artículo del benchmark MMAU, arXiv 2024 |
| Tareas de Dynamic-SUPERB Phase-2 | 180 (125 nuevas) | Dynamic-SUPERB Phase-2, ICLR 2025 |
| Audio de preentrenamiento de Kimi-Audio | más de 13 millones de horas | Kimi Team, Kimi-Audio Technical Report 2025 |
| Puntuación del líder de Big Bench Audio en 2026 | 99,7% (StepAudio 3 Realtime) | Artificial Analysis, clasificación Speech to Speech 2026 |
Metodología y Fuentes
- Chen et al., VoiceBench: Benchmarking LLM-Based Voice Assistants, arXiv v3, diciembre de 2024 y su versión de revista en Transactions of the ACL, volumen 14, 2026.
- AIR-Bench: Benchmarking Large Audio-Language Models via Generative Comprehension, ACL 2024.
- Dynamic-SUPERB, ICASSP 2024 y Dynamic-SUPERB Phase-2, ICLR 2025.
- MMAU: A Massive Multi-Task Audio Understanding and Reasoning Benchmark, arXiv 2024.
- MMAR: A Challenging Benchmark for Deep Reasoning in Speech, Audio, Music, and Their Mix, arXiv 2025.
- Wang et al., MMSU: A Massive Multi-task Spoken Language Understanding and Reasoning Benchmark, ICLR 2026.
- Cui et al., VoxEval, ACL 2025.
- S2SBench: Quantifying Intelligence Degradation in Speech-to-Speech LLMs, Universidad de Tecnología del Sur de China y Baichuan, arXiv 2025.
- Ray et al., tau-Voice: Benchmarking Full-Duplex Voice Agents on Real-World Domains, Sierra y Universidad de Princeton, arXiv, marzo de 2026.
- Jung y Choi, Analyzing Error Propagation in Korean Spoken QA with ASR-LLM Cascades, arXiv 2026.
- Faisal et al., SD-QA: Spoken Dialectal Question Answering for the Real World, Findings of EMNLP 2021.
- Spoken SQuAD: Mitigating the Impact of Speech Recognition Errors on Listening Comprehension, arXiv 2018.
- Awobade et al., AfriVox: Probing Multilingual and Accent Robustness of Speech LLMs, EACL 2026.
- Artificial Analysis, Evaluating Audio Reasoning with Big Bench Audio, 20 de diciembre de 2024, clasificación Speech to Speech 2026 y metodología de evaluación de voz a voz.
- OpenAI, GPT-4o System Card, 2024.
- Qwen2-Audio Technical Report, 2024 y Kimi Team, Kimi-Audio Technical Report, 2025.
- Nota sobre los datos: la puntuación de Big Bench Audio cambió de la v1.0 (preguntas sin respuesta no penalizadas, de diciembre de 2024 a marzo de 2026) a la v1.1 (se cuentan las 1.000 preguntas, marzo de 2026) y la v1.2 (juez y evaluador actualizados, mayo de 2026), por lo que las cifras de 66% (2024) y 99,7% (2026) no están en la misma escala. La página de la clasificación no indica la fecha de sus puntuaciones y su gráfico muestra 37 de los 44 modelos; la consultamos el 31 de octubre de 2026. Las puntuaciones de VoiceBench aquí provienen del preprint de diciembre de 2024, cuyo texto y cuyas tablas discrepan en algunos puntos (el texto dice que el pipeline perdió 4,37 puntos, la tabla muestra 2,37; usamos la tabla), y la versión de revista de 2026 podría informar puntuaciones distintas. El texto de VoxEval informa de caídas de hasta 6% por el estilo de habla y la calidad del audio, mientras que su tabla muestra menos 9,56 puntos por el tono de voz; usamos la tabla. La prosa del artículo de MMSU y la Tabla 4 discrepan sobre qué categoría de error de GPT-4o-Audio corresponde a 14,7%. MMAR dice 30 modelos, pero su tabla enumera 31 filas. Dynamic-SUPERB Phase-2 afirma que ningún modelo supera al azar en la búsqueda por ejemplo, mientras que su tabla muestra 53,5% para un modelo. Las cifras de S2SBench para GLM-4-Voice en sCMMLU usan el modelo instruct porque no se proporcionó ningún modelo base. SD-QA (2021) y Spoken SQuAD (2018) tienen más de tres años y cubren solo sistemas en pipeline. tau-Voice evaluó 3 agentes de voz comerciales, por lo que su dispersión puede cambiar rápidamente a medida que los proveedores actualicen sus modelos, y las tablas de MMSU, MMAU y Kimi-Audio cubren sobre todo las generaciones de modelos de 2024 y 2025.
Última actualización: 31 de octubre de 2026. Actualizamos este informe trimestralmente, y la próxima revisión se espera cuando Artificial Analysis publique la próxima versión de su Speech to Speech Index y aparezcan los artículos de benchmarks de LLM de voz de ICLR 2027.