O Open ASR Leaderboard, a tabela de classificação da Hugging Face que compara modelos de reconhecimento automático de fala, passa a incluir dados privados de dois novos sotaques do inglês: o egípcio e o nigeriano. A novidade resulta de uma colaboração com a Liva AI. Cada conjunto é conversacional e espontâneo, com 1,34 horas de áudio para o egípcio e 1,55 horas para o nigeriano, cerca de 2,9 horas no total. As transcrições incluem pontuação, maiúsculas e disfluências da fala.
A adição surge alguns meses depois de a plataforma ter introduzido dados privados. Nessa altura, foram acrescentados 11 subconjuntos da Appen e da DataOceanAI, que cobrem fala guionizada e conversacional em cinco sotaques. Mais tarde, juntou-se um subconjunto de inglês com sotaque indiano, desenvolvido com a Voice Arena. Os autores afirmam que a comunidade destacou a importância de conjuntos de teste retidos para avaliações fiáveis.
A expansão é apresentada como parte de um esforço contínuo para melhorar a representação de sotaques e línguas nas avaliações e reforçar a confiança nos resultados. Os novos dados privados pretendem reduzir o que o artigo designa por benchmaxxing, e chegam também através de novos fornecedores. São afirmações da própria equipa, que o artigo não acompanha de medições independentes.
Com os novos sotaques, a tabela passa a reportar a divisão entre EUA e não-EUA e entre o Círculo Interior, com EUA, Reino Unido, Austrália e Canadá, e os Círculos Exterior e em Expansão, com Índia, Nigéria e Egito, segundo os Três Círculos de Kachru. A separação entre os dois últimos deverá ser feita quando entrarem mais sotaques. A Liva AI recolhe dados de interação multimodal através de produtos de consumo usados por pessoas reais. Segundo a descrição do artigo, por controlar tanto o ambiente de recolha como a distribuição, pode desenhar produtos em torno de lacunas específicas dos modelos, caracterização que não foi verificada de forma independente. Os excertos disponíveis não apresentam resultados de modelos nos novos subconjuntos, pelo que não é possível saber como os sistemas atuais se comportam com estes sotaques. Para acompanhar a evolução, a referência é a página do leaderboard na Hugging Face.
Porque importa
A avaliação de sistemas de reconhecimento de fala depende da diversidade dos dados de teste. Ao juntar sotaques menos representados e conjuntos privados, a tabela procura oferecer uma leitura mais completa do desempenho, sem garantir por si só que os modelos deixam de ser otimizados para testes públicos.