Investigación / Reconocimiento de voz robusto y búsqueda en habla / [16]
¿MFCC o PLP? Qué le pasa al reconocimiento del habla cuando la sala se llena de ruido
Evaluación de Rasgos Acústicos para el Reconocimiento Automático del Habla en Escenarios Ruidosos usando Kaldi. Revista Ingeniería Electrónica, Automática y Comunicaciones (RIELAC) 40(3), 2019.
En 16 sistemas Kaldi entrenados con habla en español, MFCC y RASTA-PLP rinden igual en condiciones silenciosas, pero MFCC pierde menos precisión a medida que crece el ruido, mientras que RASTA-PLP decodifica más rápido.
El problema
Antes del aprendizaje profundo, todo reconocedor del habla empezaba convirtiendo el audio en un rasgo acústico compacto. Dominaban dos recetas: MFCC (Davis y Mermelstein, 1980), basada en un banco de filtros Mel, y PLP (Hermansky, 1990), basada en modelos de la audición humana y en predicción lineal. No había consenso sobre cuál aguanta mejor cuando el habla se graba con ruido.
Qué hicimos
Entrenamos ocho reconocedores Kaldi de complejidad creciente, desde HMM-GMM de monofonemas hasta SGMM, una DNN y una combinación de sistemas, cada uno dos veces: una con MFCC y otra con RASTA-PLP, con la misma configuración en todo lo demás. Los datos de entrenamiento eran habla espontánea en español del corpus TC-STAR. Después decodificamos 3,6 horas de habla de prueba limpia y con 18 ruidos reales de la base de datos DEMAND, mezclados a 5–15 dB y 15–25 dB de SNR, en interiores y exteriores.
Qué encontramos
Con habla limpia, la elección apenas importa: para sistemas con el mismo modelo acústico, las diferencias de WER se quedan por debajo de un punto, con una excepción. A medida que crece el ruido, los sistemas con MFCC pierden menos precisión, y la diferencia se amplía con cada escalón de bajada de la SNR, hasta 3,6 puntos para el sistema combinado y 7,6 puntos para un sistema de trifonemas en el escenario exterior más ruidoso. RASTA-PLP tuvo su propia ventaja: la decodificación fue más rápida en todos los sistemas, 50 minutos menos sobre el conjunto de prueba con el modelo tri3.
Mi contribución
Fue mi proyecto de fin de carrera de ingeniería. Diseñé y ejecuté todos los experimentos: entrené los 16 sistemas Kaldi, construí los conjuntos de prueba con ruido con FaNT y DEMAND, y analicé la WER y los tiempos de decodificación.
Pruébalo tú mismo
El tutorial MFCC y PLP desde cero construye ambos rasgos paso a paso sobre habla real.
Por qué importa
La elección de rasgos es un compromiso, no algo gratis: robustez para despliegues con ruido frente a velocidad para la decodificación en tiempo real. La misma pregunta, qué representación del sonido sobrevive al mundo real, recorre todo mi trabajo posterior sobre la voz como señal clínica.
Citar
Ramírez Sánchez J.M., Montalvo Bereau A.R., Calvo de Lara J.R. Evaluación de Rasgos Acústicos para el Reconocimiento Automático del Habla en Escenarios Ruidosos usando Kaldi. Revista Ingeniería Electrónica, Automática y Comunicaciones (RIELAC) 40(3), 2019.