Nas mesmas 1.000 perguntas de raciocínio do Big Bench Hard, o GPT-4o acertou 92% quando elas chegaram como texto, mas sua versão de fala para fala em tempo real acertou apenas 66% quando as perguntas foram faladas (Artificial Analysis, lançamento do Big Bench Audio 2024). A diferença não se fechou em todos os lugares: no benchmark de atendimento ao cliente tau-Voice de 2026, um agente de texto GPT-5 concluiu 85% das tarefas, enquanto agentes de voz full-duplex concluíram de 31% a 51% com áudio limpo e de 26% a 38% com ruído e sotaques realistas (Ray et al., tau-Voice, arXiv 2026). A habilidade mais fraca não são as palavras, mas a própria voz: o GPT-4o-Audio acertou 21,44% das perguntas de percepção paralinguística no MMSU, contra 59,70% das perguntas baseadas no significado (Wang et al., MMSU, ICLR 2026). Nos pipelines, o risco começa na etapa inicial de reconhecimento de fala, onde erros e texto de transcrição inventado fluem direto para a resposta. Reunimos dados do S2SBench, AfriVox, SD-QA, Spoken SQuAD, do OpenAI GPT-4o System Card, dos relatórios técnicos do Qwen2-Audio e do Kimi-Audio, e de mais de uma dúzia de artigos de benchmark e rankings da ACL, ICLR e arXiv.
Neste levantamento, um “modelo de linguagem de fala” (também chamado de LLM de fala ou grande modelo de linguagem de áudio) é um modelo que recebe o áudio diretamente. Um “pipeline” é o desenho mais antigo: um reconhecedor de fala escreve uma transcrição, e um LLM somente de texto responde a partir dessa transcrição.
TL;DR
- O GPT-4o obteve 92% nas perguntas em texto e 66% em fala para fala no Big Bench Audio (Artificial Analysis, lançamento do Big Bench Audio 2024).
- O DiVA caiu de 81,08 com entrada em texto para 55,70 com as mesmas instruções faladas (Chen et al., VoiceBench, arXiv v3 2024).
- O treinamento em duas etapas do Baichuan-Audio reduziu a diferença em completar histórias faladas para 3,4 pontos atrás de uma linha de base em texto (S2SBench, arXiv 2025).
- Um pipeline Whisper mais Llama-3.1-8B obteve 55,25% no VoxEval, contra 37,63% do melhor modelo ponta a ponta (Cui et al., VoxEval, ACL 2025).
- O Gemini 2.0 Flash chegou a 65,6% no MMAR, superando todos os pipelines de legenda mais LLM, dos quais o melhor obteve 55,5% (artigo do benchmark MMAR, arXiv 2025).
- O GPT-4o-Audio obteve 21,44% em percepção paralinguística contra 59,70% em percepção semântica (Wang et al., MMSU, ICLR 2026).
- Um pipeline Whisper mais GPT-4 identificou corretamente o gênero do locutor em apenas 21,9% das vezes (AIR-Bench, ACL 2024).
- Adicionar sotaques reduziu o sucesso médio nas tarefas de varejo dos agentes de voz de 55% para 44% (Ray et al., tau-Voice, arXiv 2026).
- O EXAONE-3.5-32B caiu de F1 0,863 com áudio limpo para 0,586 a -10 dB de relação sinal-ruído em um pipeline coreano (Jung e Choi, arXiv 2026).
- O Dynamic-SUPERB cresceu de 55 instâncias de avaliação para 180 tarefas (Dynamic-SUPERB, ICASSP 2024; Dynamic-SUPERB Phase-2, ICLR 2025).
1. O Tamanho que os Benchmarks de Perguntas e Respostas Faladas Alcançaram
O tamanho dos benchmarks cresceu rápido entre 2023 e 2026, mas em duas direções diferentes. O Dynamic-SUPERB passou de 55 instâncias de avaliação (construídas a partir de 33 tarefas e 22 conjuntos de dados) para 180 tarefas na Fase 2, 125 delas contribuídas pela comunidade de pesquisa (Dynamic-SUPERB Phase-2, ICLR 2025). Isso é amplitude: muitos testes curtos, cada um sondando uma habilidade. O VoxEval seguiu o caminho oposto e foi fundo em uma única habilidade, perguntas de conhecimento, transformando 56 disciplinas do MMLU em 13.938 pares falados de pergunta e resposta, e depois gerando cada par em 11 condições de áudio, num total de 153.318 variações (Cui et al., VoxEval, ACL 2025).
A lição prática para quem lê o cartão de um modelo: uma única pontuação de destaque pode vir de 1.000 itens ou de 19.000 itens, e de vozes sintéticas ou de gravações reais. O Big Bench Audio e o MMAR têm 1.000 itens cada, o que torna uma diferença de 1 a 2 pontos entre dois modelos difícil de interpretar como um ranking real.
| Métrica | Valor | Fonte |
|---|---|---|
| Dynamic-SUPERB Fase 1: instâncias de avaliação, tarefas e conjuntos de dados | 55 instâncias, 33 tarefas, 22 conjuntos de dados | Dynamic-SUPERB, ICASSP 2024 |
| Benchmark de base do AIR-Bench: tarefas e perguntas de escolha única | 19 tarefas, cerca de 19.000 perguntas | AIR-Bench, ACL 2024 |
| Benchmark de chat do AIR-Bench: perguntas abertas, das quais sobre fala | 2.000 perguntas, 800 sobre fala | AIR-Bench, ACL 2024 |
| MMAU: clipes de áudio e habilidades distintas testadas | 10.000 clipes, 27 habilidades | artigo do benchmark MMAU, arXiv 2024 |
| MMSU: perguntas e tarefas (percepção e raciocínio) | 5.000 perguntas, 47 tarefas (24 de percepção, 23 de raciocínio) | Wang et al., MMSU, ICLR 2026 |
| VoiceBench (versão em periódico): instruções faladas e tarefas | 6.783 instruções, 8 tarefas | Chen et al., VoiceBench, TACL 2026 |
| SD-QA: prompts de áudio, dialetos, locutores e idiomas | mais de 68.000 prompts, 24 dialetos, 255 locutores, 5 idiomas | Faisal et al., SD-QA, EMNLP Findings 2021 |
Contexto: o Big Bench Audio foi narrado com 23 vozes sintéticas obtidas de modelos de texto para fala (Artificial Analysis, lançamento do Big Bench Audio 2024), e apenas cerca de 6,57% do áudio do Dynamic-SUPERB Phase-2 dura mais de 30 segundos (Dynamic-SUPERB Phase-2, ICLR 2025). A maioria desses testes mede, portanto, perguntas curtas, não conversas longas ou bagunçadas.
2. As Mesmas Perguntas, Faladas e Digitadas
Esta é a comparação central: conteúdo idêntico, entregue uma vez como texto e outra como áudio, ao mesmo modelo ou à mesma família de modelos. O DiVA, um modelo de fala ponta a ponta, obteve 81,08 no VoiceBench quando recebeu texto e 55,70 quando as mesmas instruções foram faladas, enquanto um pipeline Whisper mais LLaMA-3.1-8B perdeu apenas 2,37 pontos (Chen et al., VoiceBench, arXiv v3 2024). O modelo claramente domina o conteúdo; o que quebra é o caminho do som até o significado.
Os projetos mais novos e cuidadosos mostram que a diferença pode encolher para poucos pontos. O S2SBench, da Universidade de Tecnologia do Sul da China e da Baichuan, mediu o treinamento em duas etapas do Baichuan-Audio em 79,6% em completar histórias faladas, 3,4 pontos atrás da linha de base em texto Qwen2.5-7B, com 83,0% (S2SBench, arXiv 2025). As tarefas de agente continuam bem mais difíceis: o tau-Voice (escrito τ-Voice no artigo) testa agentes de voz full-duplex em 278 tarefas de companhias aéreas, varejo e telecomunicações, e, com áudio realista, o caminho falado ainda perde mais da metade da capacidade do texto. A velocidade de resposta é o outro lado dessa troca, tratada em nossas estatísticas de tempo até o primeiro áudio.
| Métrica | Valor | Fonte |
|---|---|---|
| Pontuação geral do VoiceBench, pipeline Whisper + LLaMA-3.1-8B: entrada em texto vs entrada falada | 81,43 vs 79,06 | Chen et al., VoiceBench, arXiv v3 2024 |
| Pontuação geral do VoiceBench, modelo ponta a ponta DiVA: entrada em texto vs entrada falada | 81,08 vs 55,70 | Chen et al., VoiceBench, arXiv v3 2024 |
| Precisão no Big Bench Audio: GPT-4o texto para texto vs GPT-4o Realtime Preview fala para fala | 92% vs 66% | Artificial Analysis, lançamento do Big Bench Audio 2024 |
| Completar histórias faladas (sStoryCloze): Qwen2.5-7B com texto vs Baichuan-Audio em duas etapas com fala | 83,0% vs 79,6% | S2SBench, arXiv 2025 |
| Afirmações de senso comum em chinês (sCMMLU, 4.743 itens): Qwen2.5-7B com texto vs modelo instruct GLM-4-Voice com fala | 70,3% vs 64,3% | S2SBench, arXiv 2025 |
| Sucesso nas tarefas do tau-Voice: agente de texto GPT-5 vs agentes de voz com áudio limpo | 85% vs 31% a 51% | Ray et al., tau-Voice, arXiv 2026 |
| tau-Voice: parcela da capacidade de texto do GPT-5 mantida pelos agentes de voz com áudio realista | cerca de 30% a 45% | Ray et al., tau-Voice, arXiv 2026 |
Ponto fora da curva: o VoxEval constatou que um mesmo modelo pode pontuar de forma muito diferente conforme o lado que é áudio. O SPIRIT-LM obteve 20,84% de fala para fala, 23,77% de fala para texto e 1,38% de texto para fala nas mesmas perguntas (Cui et al., VoxEval, ACL 2025), um lembrete de que o lado da saída importa tanto quanto o da entrada.
3. Pipeline (ASR + LLM) vs Modelos de Fala Ponta a Ponta
Para perguntas cuja resposta está nas palavras, o velho pipeline continua muito difícil de superar. Nas perguntas faladas de MMLU do VoxEval, um pipeline Whisper mais Llama-3.1-8B obteve 55,25%, enquanto o melhor modelo de fala ponta a ponta, o GLM-4-Voice, obteve 37,63%, e o GLM-4-Voice foi o único modelo ponta a ponta a superar a linha de 25% de chute aleatório (Cui et al., VoxEval, ACL 2025). O Dynamic-SUPERB Phase-2 relata o mesmo padrão: em reconhecimento de fala e compreensão de linguagem falada, nenhum modelo testado superou o pipeline Whisper-LLaMA (Dynamic-SUPERB Phase-2, ICLR 2025).
O quadro se inverte quando a resposta depende do próprio som. No MMAR, que mistura fala, música e som, o Gemini 2.0 Flash superou todos os pipelines que primeiro transformavam o áudio em uma legenda de texto (artigo do benchmark MMAR, arXiv 2025). A lição: os pipelines vencem quando uma transcrição carrega tudo; os modelos ponta a ponta vencem quando a transcrição descarta a pista.
| Métrica | Valor | Fonte |
|---|---|---|
| Precisão no VoxEval: pipeline Whisper + Llama-3.1-8B vs GLM-4-Voice ponta a ponta | 55,25% vs 37,63% | Cui et al., VoxEval, ACL 2025 |
| Subconjunto de 12 disciplinas do VoxEval: gpt-4o-audio-preview vs pipeline Whisper + Llama-3.1 | 0,718 vs 0,606 | Cui et al., VoxEval, ACL 2025 |
| Chat do AIR-Bench, pontuação média do GPT-4 (1 a 10): pipeline Whisper + GPT-4 vs melhor modelo ponta a ponta (Qwen-Audio Turbo) | 7,54 vs 6,34 | AIR-Bench, ACL 2024 |
| Base do AIR-Bench, precisão média: Qwen-Audio Turbo ponta a ponta vs pipeline Whisper + GPT-4 | 57,8% vs 53,6% | AIR-Bench, ACL 2024 |
| Conjunto de teste do MMAU, perguntas de fala: GPT-4o lendo uma legenda de áudio detalhada vs Gemini Pro v1.5 ouvindo o áudio | 68,66% vs 55,90% | artigo do benchmark MMAU, arXiv 2024 |
| Precisão média no MMAR: Gemini 2.0 Flash ponta a ponta vs melhor pipeline de legenda + LLM (legenda + DeepSeek-R1) | 65,6% vs 55,5% | artigo do benchmark MMAR, arXiv 2025 |
| Pontuação geral do VoiceBench com entrada falada: pipeline Whisper + GPT-4o vs GPT-4o-Audio | 87,23 vs 86,42 | Chen et al., VoiceBench, arXiv v3 2024 |
Contexto: o AIR-Bench mostra os dois lados em um único artigo. O pipeline venceu o teste de chat aberto, mas perdeu o teste de base, e os autores atribuem sua fraca pontuação de base às perguntas sobre gênero, idade e emoção do locutor (veja a seção 4).
4. A Lacuna Paralinguística: Ouvir Como Algo É Dito
“Paralinguístico” significa tudo o que há em uma voz além das palavras: emoção, idade e gênero do locutor, estilo de fala, ênfase. É aqui que os LLMs de fala são mais fracos. No MMSU, o GPT-4o-Audio acertou 59,70% das perguntas de percepção semântica, mas apenas 21,44% das perguntas de percepção paralinguística, e o Gemini-1.5-Pro, o melhor modelo no geral, chegou a apenas 31,23% em percepção paralinguística (Wang et al., MMSU, ICLR 2026). Erros de percepção, e não de raciocínio, responderam por 50,3% dos erros do GPT-4o-Audio e por 51,0% dos do Gemini-1.5-Pro.
Reconhecer palavras ficou fácil; ler a voz, não. O Qwen2-Audio transcreve o conjunto test-clean do LibriSpeech com taxa de erro de palavras de 1,6%, mas chega a apenas 55,3% de precisão no teste de reconhecimento de emoções MELD (Qwen2-Audio Technical Report, 2024). Para o lado clínico da detecção de emoções, veja nossas estatísticas de precisão do reconhecimento de emoções na fala.
| Métrica | Valor | Fonte |
|---|---|---|
| Percepção no MMSU, GPT-4o-Audio: perguntas semânticas vs perguntas paralinguísticas | 59,70% vs 21,44% | Wang et al., MMSU, ICLR 2026 |
| Percepção no MMSU, Gemini-1.5-Pro: perguntas semânticas vs perguntas paralinguísticas | 57,06% vs 31,23% | Wang et al., MMSU, ICLR 2026 |
| Precisão em gênero do locutor no AIR-Bench: pipeline Whisper + GPT-4 vs Qwen-Audio Turbo | 21,9% vs 82,5% | AIR-Bench, ACL 2024 |
| Precisão em identificação do idioma falado no AIR-Bench: pipeline Whisper + GPT-4 | 96,8% | AIR-Bench, ACL 2024 |
| Qwen2-Audio: taxa de erro de palavras no test-clean do LibriSpeech vs precisão de emoções no MELD | 1,6% vs 55,3% | Qwen2-Audio Technical Report, 2024 |
| Reconhecimento de emoções no Dynamic-SUPERB Phase-2, melhor modelo (Qwen2-Audio-7B-Instruct) | 75,8% | Dynamic-SUPERB Phase-2, ICLR 2025 |
| Verificação de locutor no Dynamic-SUPERB Phase-2, melhor sistema (acaso = 50%) | 51,3% | Dynamic-SUPERB Phase-2, ICLR 2025 |
Contexto: algumas habilidades de identidade do locutor são desligadas de propósito. A OpenAI relata uma pontuação de 0,98 para o GPT-4o em produção nos pedidos de identificação de locutor que ele deve recusar, contra 0,83 de uma versão inicial (OpenAI, GPT-4o System Card 2024). Uma pontuação baixa em identidade do locutor pode ser uma política de segurança, e não apenas uma falha de percepção.
5. Sotaques, Ruído e Fala Imperfeita
O áudio limpo favorece todos os modelos. Na ablação de varejo do tau-Voice, adicionar apenas sotaques reduziu o sucesso médio nas tarefas de 55% para 44%, enquanto adicionar apenas ruído de fundo o reduziu para 51% (Ray et al., tau-Voice, arXiv 2026). A penalidade dos sotaques variou de 1 ponto a 18 pontos conforme o provedor, o que significa que o ranking de um fornecedor com áudio limpo diz pouco sobre como ele lida com os sotaques dos seus usuários.
O ruído segue um precipício, não uma rampa. Em um estudo de 2026 com um pipeline coreano de perguntas e respostas faladas, a qualidade das respostas mal se alterou até +10 dB de relação sinal-ruído, e depois caiu bruscamente abaixo de 0 dB, à medida que a taxa de erro de caracteres do reconhecedor de fala subia (Jung e Choi, Korean Spoken QA Error Propagation, arXiv 2026). Os efeitos dos sotaques sobre o próprio reconhecedor são tratados em nossas estatísticas de viés de sotaque em ASR.
| Métrica | Valor | Fonte |
|---|---|---|
| Sucesso nas tarefas de varejo do tau-Voice, média de 3 provedores de voz: áudio limpo vs com sotaques adicionados | 55% vs 44% | Ray et al., tau-Voice, arXiv 2026 |
| tau-Voice varejo: queda por adicionar sotaques, xAI vs Google | 18 pontos vs 1 ponto | Ray et al., tau-Voice, arXiv 2026 |
| Perguntas e respostas faladas em coreano, F1 do EXAONE-3.5-32B: pergunta digitada vs áudio limpo vs áudio a -10 dB de SNR | 0,870 vs 0,863 vs 0,586 | Jung e Choi, arXiv 2026 |
| Perguntas e respostas faladas em coreano, taxa de erro de caracteres do ASR: limpo vs 0 dB vs -10 dB de SNR | 0,0315 vs 0,1143 vs 0,4977 | Jung e Choi, arXiv 2026 |
| VoiceBench: perda média de pontuação quando as instruções contêm palavras mal pronunciadas (todos os modelos) | 20,34% | Chen et al., VoiceBench, arXiv v3 2024 |
| VoxEval: variação na precisão do pipeline Whisper + Llama quando o tom de voz do locutor é alterado | menos 9,56 pontos | Cui et al., VoxEval, ACL 2025 |
| Conjunto de teste em inglês do SD-QA, taxa de erro de palavras de um reconhecedor de inglês dos EUA: falantes do Sudeste dos EUA vs falantes nigerianos | 5,25% vs 15,35% | Faisal et al., SD-QA, EMNLP Findings 2021 |
Dados mais recentes disponíveis sobre perguntas e respostas faladas por dialeto: Faisal et al., SD-QA, 2021. No conjunto de teste em inglês, o F1 de seleção de trechos caiu de 58,7 com a pergunta original digitada para 55,8 com uma transcrição de ASR em inglês dos EUA. Dados mais recentes disponíveis sobre compreensão de leitura somente com transcrições: Spoken SQuAD, 2018, em que cinco modelos de leitura tiveram F1 médio de 74,54 no texto do SQuAD, mas de 55,40 nas transcrições de ASR do Spoken SQuAD, com taxa de erro de palavras de 22,73% (artigo do Spoken SQuAD, arXiv 2018). O teste de diversidade de vozes também é escasso: a OpenAI comparou 3 vozes do sistema com 27 amostras de vozes em inglês e classificou o desempenho com vozes humanas como ligeiramente pior, mas sem diferença significativa (OpenAI, GPT-4o System Card 2024). A correção está migrando para o lado do modelo: o ajuste fino do Qwen2.5-Omni em três idiomas nigerianos trouxe uma redução relativa de até 54% na taxa de erro de palavras (Awobade et al., AfriVox, EACL 2026).
6. Tetos Humanos e a Fronteira de 2026
Os benchmarks de raciocínio sobre áudio mais difíceis ainda deixam uma ampla margem em relação aos humanos. Ouvintes humanos obtiveram 89,72% no MMSU, enquanto o melhor entre 22 modelos de fala e omni, o Gemini-1.5-Pro, obteve 60,68% (Wang et al., MMSU, ICLR 2026). No MMAU a margem é semelhante: 82,23% para humanos contra 54,90% para o Gemini Pro v1.5, o melhor modelo ponta a ponta, na divisão test-mini de 1.000 perguntas (artigo do benchmark MMAU, arXiv 2024).
Ao mesmo tempo, os testes de raciocínio falado mais fáceis estão quase resolvidos. O Big Bench Audio foi de 66% para o modelo em tempo real do GPT-4o em dezembro de 2024 para um ranking de 2026 em que a primeira colocada, o StepAudio 3 Realtime, marca 99,7% entre 44 modelos (Artificial Analysis, ranking Speech to Speech 2026). As regras de pontuação mudaram nesse intervalo, então os dois números não estão na mesma escala, mas a direção é clara: no topo do ranking, versões faladas de quebra-cabeças em estilo de texto deixaram de ser o gargalo. A percepção específica da voz é.
| Métrica | Valor | Fonte |
|---|---|---|
| MMAU test-mini: ouvintes humanos vs Gemini Pro v1.5 | 82,23% vs 54,90% | artigo do benchmark MMAU, arXiv 2024 |
| Conjunto de teste do MMAU (9.000 perguntas): Gemini Pro v1.5 vs Qwen2-Audio-Instruct | 52,97% vs 52,50% | artigo do benchmark MMAU, arXiv 2024 |
| MMAR: Gemini 2.0 Flash vs chute aleatório | 65,6% vs 29,32% | artigo do benchmark MMAR, arXiv 2025 |
| MMAR, GPT-4o Audio: perguntas somente de fala vs perguntas somente de música | 70,41% vs 50,97% | artigo do benchmark MMAR, arXiv 2025 |
| MMAR: modelos avaliados, de código aberto mais de código fechado | 30 (24 mais 6) | artigo do benchmark MMAR, arXiv 2025 |
| Média do VoiceBench informada pela equipe do Kimi-Audio: Kimi-Audio vs GLM-4-Voice | 76,93 vs 57,17 | Kimi Team, Kimi-Audio Technical Report 2025 |
| Kimi-Audio: áudio usado no pré-treinamento | mais de 13 milhões de horas | Kimi Team, Kimi-Audio Technical Report 2025 |
Contexto: as médias do Kimi-Audio são a avaliação da própria equipe desenvolvedora, portanto não são intercambiáveis com as pontuações gerais dos autores do VoiceBench nas seções 2 e 3, porque os dois artigos executaram avaliações separadas.
Resumo: Benchmarks de Perguntas e Respostas Faladas para Modelos de Linguagem de Fala em Números
| Métrica | Valor | Fonte |
|---|---|---|
| Big Bench Audio: GPT-4o texto para texto vs fala para fala | 92% vs 66% | Artificial Analysis, lançamento do Big Bench Audio 2024 |
| tau-Voice: agente de texto GPT-5 vs agentes de voz com áudio limpo | 85% vs 31% a 51% | Ray et al., tau-Voice, arXiv 2026 |
| VoiceBench, DiVA ponta a ponta: entrada em texto vs entrada falada | 81,08 vs 55,70 | Chen et al., VoiceBench, arXiv v3 2024 |
| Completar histórias no S2SBench: linha de base em texto vs melhor modelo de fala | 83,0% vs 79,6% | S2SBench, arXiv 2025 |
| VoxEval: pipeline Whisper + Llama vs GLM-4-Voice | 55,25% vs 37,63% | Cui et al., VoxEval, ACL 2025 |
| MMAR: Gemini 2.0 Flash vs melhor pipeline de legenda + LLM | 65,6% vs 55,5% | artigo do benchmark MMAR, arXiv 2025 |
| MMSU, GPT-4o-Audio: percepção semântica vs paralinguística | 59,70% vs 21,44% | Wang et al., MMSU, ICLR 2026 |
| Gênero do locutor no AIR-Bench: pipeline Whisper + GPT-4 vs Qwen-Audio Turbo | 21,9% vs 82,5% | AIR-Bench, ACL 2024 |
| Qwen2-Audio: taxa de erro de palavras no LibriSpeech vs precisão de emoções no MELD | 1,6% vs 55,3% | Qwen2-Audio Technical Report, 2024 |
| F1 de perguntas e respostas faladas em coreano (EXAONE-3.5-32B): áudio limpo vs -10 dB de SNR | 0,863 vs 0,586 | Jung e Choi, arXiv 2026 |
| Taxa de erro de palavras em inglês no SD-QA: falantes do Sudeste dos EUA vs nigerianos | 5,25% vs 15,35% | Faisal et al., SD-QA, EMNLP Findings 2021 |
| Modelos de leitura do Spoken SQuAD, F1 médio: texto vs transcrições de ASR | 74,54 vs 55,40 | artigo do Spoken SQuAD, arXiv 2018 |
| AfriVox: melhor redução relativa da taxa de erro de palavras com ajuste fino do Qwen2.5-Omni | até 54% | Awobade et al., AfriVox, EACL 2026 |
| MMAU test-mini: humanos vs Gemini Pro v1.5 | 82,23% vs 54,90% | artigo do benchmark MMAU, arXiv 2024 |
| Tarefas do Dynamic-SUPERB Phase-2 | 180 (125 novas) | Dynamic-SUPERB Phase-2, ICLR 2025 |
| Áudio de pré-treinamento do Kimi-Audio | mais de 13 milhões de horas | Kimi Team, Kimi-Audio Technical Report 2025 |
| Pontuação da líder do Big Bench Audio em 2026 | 99,7% (StepAudio 3 Realtime) | Artificial Analysis, ranking Speech to Speech 2026 |
Metodologia e Fontes
- Chen et al., VoiceBench: Benchmarking LLM-Based Voice Assistants, arXiv v3, dezembro de 2024 e sua versão em periódico na Transactions of the ACL, volume 14, 2026.
- AIR-Bench: Benchmarking Large Audio-Language Models via Generative Comprehension, ACL 2024.
- Dynamic-SUPERB, ICASSP 2024 e Dynamic-SUPERB Phase-2, ICLR 2025.
- MMAU: A Massive Multi-Task Audio Understanding and Reasoning Benchmark, arXiv 2024.
- MMAR: A Challenging Benchmark for Deep Reasoning in Speech, Audio, Music, and Their Mix, arXiv 2025.
- Wang et al., MMSU: A Massive Multi-task Spoken Language Understanding and Reasoning Benchmark, ICLR 2026.
- Cui et al., VoxEval, ACL 2025.
- S2SBench: Quantifying Intelligence Degradation in Speech-to-Speech LLMs, Universidade de Tecnologia do Sul da China e Baichuan, arXiv 2025.
- Ray et al., tau-Voice: Benchmarking Full-Duplex Voice Agents on Real-World Domains, Sierra e Universidade de Princeton, arXiv, março de 2026.
- Jung e Choi, Analyzing Error Propagation in Korean Spoken QA with ASR-LLM Cascades, arXiv 2026.
- Faisal et al., SD-QA: Spoken Dialectal Question Answering for the Real World, Findings of EMNLP 2021.
- Spoken SQuAD: Mitigating the Impact of Speech Recognition Errors on Listening Comprehension, arXiv 2018.
- Awobade et al., AfriVox: Probing Multilingual and Accent Robustness of Speech LLMs, EACL 2026.
- Artificial Analysis, Evaluating Audio Reasoning with Big Bench Audio, 20 de dezembro de 2024, ranking Speech to Speech 2026 e metodologia de benchmarking de fala para fala.
- OpenAI, GPT-4o System Card, 2024.
- Qwen2-Audio Technical Report, 2024 e Kimi Team, Kimi-Audio Technical Report, 2025.
- Nota sobre os dados: a pontuação do Big Bench Audio mudou da v1.0 (perguntas sem resposta não penalizadas, de dezembro de 2024 a março de 2026) para a v1.1 (todas as 1.000 perguntas contadas, março de 2026) e a v1.2 (juiz e avaliador atualizados, maio de 2026), então os números de 66% (2024) e 99,7% (2026) não estão na mesma escala. A página do ranking não informa a data de suas pontuações, e seu gráfico mostra 37 dos 44 modelos; nós a lemos em 31 de outubro de 2026. As pontuações do VoiceBench aqui vêm do preprint de dezembro de 2024, cujo texto e cujas tabelas divergem em alguns pontos (o texto diz que o pipeline perdeu 4,37 pontos, a tabela mostra 2,37; usamos a tabela), e a versão em periódico de 2026 pode informar pontuações diferentes. O texto do VoxEval relata quedas de até 6% por estilo de fala e qualidade do áudio, enquanto sua tabela mostra menos 9,56 pontos para o tom de voz; usamos a tabela. A prosa do artigo do MMSU e a Tabela 4 divergem sobre qual categoria de erro do GPT-4o-Audio corresponde a 14,7%. O MMAR diz 30 modelos, mas sua tabela lista 31 linhas. O Dynamic-SUPERB Phase-2 afirma que nenhum modelo supera o acaso na busca por exemplo, enquanto sua tabela mostra 53,5% para um modelo. Os números do S2SBench para o GLM-4-Voice no sCMMLU usam o modelo instruct porque nenhum modelo base foi fornecido. O SD-QA (2021) e o Spoken SQuAD (2018) têm mais de três anos e cobrem apenas sistemas em pipeline. O tau-Voice testou 3 agentes de voz comerciais, então sua dispersão pode mudar rapidamente conforme os provedores atualizam os modelos, e as tabelas do MMSU, do MMAU e do Kimi-Audio cobrem sobretudo as gerações de modelos de 2024 e 2025.
Última atualização: 31 de outubro de 2026. Atualizamos este levantamento trimestralmente, e a próxima revisão é esperada quando a Artificial Analysis publicar a próxima versão do seu Speech to Speech Index e os artigos de benchmark de LLM de fala da ICLR 2027 aparecerem.