Documentos de traballo · fala, saúde e IA fiableVigo, 2026

Investigación / Recoñecemento de voz robusto e busca na fala / [16]

MFCC ou PLP? Que lle pasa ao recoñecemento da fala cando hai ruído na sala

Evaluación de Rasgos Acústicos para el Reconocimiento Automático del Habla en Escenarios Ruidosos usando Kaldi. Revista Ingeniería Electrónica, Automática y Comunicaciones (RIELAC) 40(3), 2019.

Nunha frase

En 16 sistemas Kaldi adestrados con fala en español, MFCC e RASTA-PLP funcionan igual en condicións de silencio, pero MFCC perde menos precisión a medida que medra o ruído, mentres que RASTA-PLP decodifica máis rápido.

16sistemas Kaldi
18tipos de ruído real
3,6 hde fala de proba en español
−3,6 puntosde WER con MFCC, exterior con ruído

O problema

Antes da aprendizaxe profunda, todo recoñecedor da fala comezaba convertendo o audio nunha característica acústica compacta. Dominaban dúas receitas: MFCC (Davis e Mermelstein, 1980), baseada nun banco de filtros Mel, e PLP (Hermansky, 1990), baseada en modelos da audición humana e na predición lineal. Non había consenso sobre cal das dúas resiste mellor cando a fala se grava con ruído.

Que fixemos

Adestramos oito recoñecedores Kaldi de complexidade crecente, desde HMM-GMM de monofonemas ata SGMM, unha DNN e unha combinación de sistemas, cada un dúas veces: unha con MFCC e outra con RASTA-PLP, co resto da configuración idéntica. Os datos de adestramento foron fala espontánea en español do corpus TC-STAR. Despois decodificamos 3,6 horas de fala de proba limpa e con 18 ruídos reais da base de datos DEMAND, mesturados a unha SNR de 5–15 dB e de 15–25 dB, en interior e en exterior.

MFCC RASTA-PLP 0 %10 %20 %30 %40 % Limpa 20,8 % 21,1 % Interior 15–25 dB 22,2 % 22,9 % Exterior 15–25 dB 21,7 % 22,9 % Interior 5–15 dB 28,8 % 31,9 % Exterior 5–15 dB 30,7 % 34,4 %
Figura 1. Taxa de erro de palabra do sistema Kaldi combinado, do escenario máis silencioso ao máis ruidoso. As dúas características empatan con fala limpa; a diferenza ábrese a medida que medra o ruído. Canto máis baixa, mellor.

Que atopamos

Con fala limpa a elección apenas importa: para sistemas co mesmo modelo acústico, as diferenzas de WER quedan por baixo dun punto, cunha excepción. A medida que medra o ruído, os sistemas con MFCC perden menos precisión, e a diferenza aumenta con cada baixada da SNR, ata chegar a 3,6 puntos no sistema combinado e a 7,6 puntos nun sistema de trifonemas no escenario exterior máis ruidoso. RASTA-PLP tiña a súa propia vantaxe: a decodificación foi máis rápida en todos os sistemas, 50 minutos menos sobre o conxunto de proba no modelo tri3.

A miña contribución

Este foi o meu proxecto de fin de carreira. Deseñei e executei todos os experimentos: adestrei os 16 sistemas Kaldi, construín os conxuntos de proba con ruído con FaNT e DEMAND e analicei a WER e os tempos de decodificación.

Próbao ti

O titorial MFCC e PLP desde cero constrúe as dúas características paso a paso sobre fala real.

Por que importa

A elección da característica é un compromiso, non un regalo: robustez para despregamentos con ruído fronte a velocidade para a decodificación en tempo real. A mesma pregunta, que representación do son sobrevive ao mundo real, percorre todo o meu traballo posterior sobre a voz como sinal clínico.

Citar

Ramírez Sánchez J.M., Montalvo Bereau A.R., Calvo de Lara J.R. Evaluación de Rasgos Acústicos para el Reconocimiento Automático del Habla en Escenarios Ruidosos usando Kaldi. Revista Ingeniería Electrónica, Automática y Comunicaciones (RIELAC) 40(3), 2019.