Selon les informations publiées sur le blog de Hugging Face, les benchmarks existants indiquent que l'intelligence artificielle vocale se rapproche du niveau de performance humaine. Cependant, les conversations réelles montrent un tableau différent. Cela pourrait signifier que les évaluations actuelles ne reflètent pas entièrement les réalités de l'utilisation des modèles vocaux dans la vie quotidienne.

La nouvelle métrique Real World VoiceEQ, présentée par Hugging Face, vise à évaluer plus précisément la qualité de l'intelligence artificielle vocale du point de vue de la perception humaine. Cela pourrait aider à identifier les lacunes qui ne sont pas prises en compte dans les benchmarks standard et à améliorer l'application des modèles vocaux dans des conditions réelles.