Tutoriales / T1
MFCC y PLP desde cero: cómo aprendieron a escuchar las máquinas
Construye paso a paso en NumPy los dos rasgos clásicos del habla, sigue un fotograma de voz real a través de ambos pipelines y observa qué les hace el ruido. El front end que usaba todo reconocedor antes del deep learning, y el tema de mi primer artículo.
Por qué empezar aquí
Antes de Whisper y wav2vec, todo reconocedor de voz empezaba con un front end diseñado a mano que convertía el audio en un vector corto cada 10 ms. Dos recetas dominaron durante treinta años y eran las opciones por defecto en Kaldi: MFCC (Davis & Mermelstein, 1980) y PLP (Hermansky, 1990). Los MFCC (coeficientes cepstrales en frecuencia Mel) son una descripción compacta del espectro a corto plazo del habla, tomada en la escala Mel de tono percibido. PLP (predicción lineal perceptual) es una descripción del mismo espectro tras aplicar tres propiedades de la audición: bandas críticas, igual sonoridad y compresión de la sonoridad. Compararlos con ruido fue mi tesis de ingeniería y mi primer artículo.
Un fotograma, dos pipelines
| Paso | MFCC | PLP |
|---|---|---|
| Deformación de la frecuencia | 40 filtros Mel triangulares | 21 bandas críticas Bark |
| Sonoridad | logaritmo | curva de igual sonoridad y después raíz cúbica |
| Suavizado | transformada coseno (DCT) | modelo todo polos (LPC, orden 12) |
| Salida | 13 coeficientes cepstrales | 13 coeficientes cepstrales |
Dos modelos del oído
Ambos deforman la frecuencia como lo hace el oído: resolución fina por debajo de 1 kHz, gruesa por encima. PLP también modela cómo se percibe la sonoridad, y muestrea el espectro en pasos de 1 Bark: 21 bandas cubren 0–8 kHz.
Comprobados frente a referencias
- MFCC coincide con
librosacon un margen de 10−8 una vez alineadas las convenciones de ventana, relleno y Mel. - PLP se comprueba pieza a pieza: Levinson-Durbin frente al solucionador de Toeplitz de SciPy (10−15) y la recursión del cepstrum frente a un cepstrum por FFT de fuerza bruta (10−16). El paquete
spafe, muy utilizado, se aparta del artículo de Hermansky en varios pasos; el notebook muestra dónde, en lugar de forzar la coincidencia.
Qué hace el ruido
En el artículo de 2019 entrenamos 16 reconocedores de Kaldi con habla en español y decodificamos 3,6 horas de audio de prueba con ruido real. Los dos rasgos empatan en condiciones de silencio; MFCC aguanta mejor a medida que crece el ruido.
El notebook hace un experimento mucho más pequeño: añade ruido blanco y de murmullo (babble) de 20 a 0 dB y mide cuánto se aleja cada rasgo de su versión limpia.
Los tres front ends se degradan casi en paralelo, a menos de un 5 % unos de otros. Eso no contradice el artículo: la distorsión de los rasgos no es la tasa de error de palabra. Sin un modelo acústico, el notebook puede mostrar cómo se mueven los rasgos, no cuál preferiría un reconocedor.
De MFCC a Whisper
La entrada de Whisper es la primera mitad del pipeline MFCC: un espectrograma log-Mel de 80 bandas a 25 ms / 10 ms, que el notebook reproduce con una correlación de 0,94. Los modelos profundos prescindieron de la transformada coseno final: existía para decorrelacionar los rasgos de cara a los modelos gaussianos, y una red aprende su propia mezcla. Los dos tutoriales siguientes parten exactamente de esta representación: fine-tuning de Whisper y adaptarlo con LoRA.
Referencias: Davis & Mermelstein, 1980; Hermansky, JASA 1990; Hermansky & Morgan, IEEE TSAP 1994; Povey et al., Kaldi, 2011; Panayotov et al., LibriSpeech, 2015; Ramírez Sánchez, Montalvo Bereau & Calvo de Lara, RIELAC 2019.