Investigación / Reconocimiento de voz robusto y búsqueda en habla / [15]
ALBAYZIN 2018: ¿hasta qué punto encuentran los sistemas términos hablados en audio en español?
ALBAYZIN 2018 spoken term detection evaluation: a multi-domain international evaluation in Spanish. EURASIP Journal on Audio, Speech, and Music Processing, 2019.
Una evaluación internacional abierta de detección de términos hablados en español sobre tres dominios de habla. Tres grupos de investigación enviaron 11 sistemas, y el rendimiento resultó muy sensible a los cambios de dominio de los datos.
La tarea
La detección de términos hablados toma un término de búsqueda escrito como texto, de una o varias palabras, y encuentra dónde se pronuncia en una colección de grabaciones. Un sistema devuelve los archivos que contienen el término, el instante de inicio y de fin de cada aparición y una puntuación de su confianza en la detección.
La evaluación
ALBAYZIN 2018 fue una evaluación abierta internacionalmente para esta tarea en español. Usó tres bases de datos de dominios distintos: MAVIR, un conjunto de charlas de talleres; RTVE, programas informativos; y COREMAH, conversaciones espontáneas entre dos personas.
Participaron tres grupos de investigación, que enviaron 11 sistemas. El artículo describe la evaluación, las bases de datos, la métrica y los sistemas, y presenta los resultados junto con una fusión de los sistemas primarios.
Qué muestran los análisis
Los resultados se desglosan según propiedades de los términos de búsqueda: si están dentro o fuera del vocabulario del sistema, si tienen una palabra o varias, y si son nativos o extranjeros. La conclusión general es que la tarea dista mucho de estar resuelta y que el rendimiento es muy sensible a un cambio de dominio de los datos.
Por qué importa
Una evaluación compartida con condiciones públicas es lo que permite comparar sistemas distintos en igualdad de condiciones, y aquí muestra cuánto pierde un sistema ajustado para un tipo de habla al enfrentarse a otro.
Citar
Tejedor J., Toledano D.T., Lopez-Otero P., Docío-Fernández L., Montalvo A.R., Ramírez J.M., Peñagarikano M., Rodríguez-Fuentes L.J. ALBAYZIN 2018 spoken term detection evaluation: a multi-domain international evaluation in Spanish. EURASIP Journal on Audio, Speech, and Music Processing, 2019.
PDF distribuido con licencia CC BY 4.0; copia de la versión publicada.