Documentos de trabajo · habla, salud e IA fiableVigo, 2026

Tutoriales / T1

MFCC y PLP desde cero: cómo aprendieron a escuchar las máquinas

En una frase

Construye paso a paso en NumPy los dos rasgos clásicos del habla, sigue un fotograma de voz real a través de ambos pipelines y observa qué les hace el ruido. El front end que usaba todo reconocedor antes del deep learning, y el tema de mi primer artículo.

Por qué empezar aquí

Antes de Whisper y wav2vec, todo reconocedor de voz empezaba con un front end diseñado a mano que convertía el audio en un vector corto cada 10 ms. Dos recetas dominaron durante treinta años y eran las opciones por defecto en Kaldi: MFCC (Davis & Mermelstein, 1980) y PLP (Hermansky, 1990). Los MFCC (coeficientes cepstrales en frecuencia Mel) son una descripción compacta del espectro a corto plazo del habla, tomada en la escala Mel de tono percibido. PLP (predicción lineal perceptual) es una descripción del mismo espectro tras aplicar tres propiedades de la audición: bandas críticas, igual sonoridad y compresión de la sonoridad. Compararlos con ruido fue mi tesis de ingeniería y mi primer artículo.

Un fotograma, dos pipelines

forma de onda · 5,9 s · LibriSpeech espectro · 0–8 kHz Mel · 40 bandasMFCC · 13 Bark · 21 bandasPLP · 13 MFCC en el tiempoPLP en el tiempo →→→→
Figura 1. Una locución real de LibriSpeech, fotograma a fotograma. Cada fotograma de 25 ms se convierte en un espectro de potencia, que se divide en dos caminos: un banco de filtros Mel y una transformada coseno dan 13 MFCC; las bandas críticas Bark, la compresión de la sonoridad y un modelo todo polos dan 13 coeficientes PLP. Debajo, ambas matrices se imprimen a lo largo del tiempo. Todos los valores salen del notebook.
Tabla 1. Los mismos cinco pasos, dos visiones de la audición.
PasoMFCCPLP
Deformación de la frecuencia40 filtros Mel triangulares21 bandas críticas Bark
Sonoridadlogaritmocurva de igual sonoridad y después raíz cúbica
Suavizadotransformada coseno (DCT)modelo todo polos (LPC, orden 12)
Salida13 coeficientes cepstrales13 coeficientes cepstrales

Dos modelos del oído

Mel · 40 triángulos (MFCC) Bark · 21 bandas críticas (PLP) 0 kHz2 kHz4 kHz6 kHz8 kHz
Figura 2. Los filtros, sobre el mismo eje de 0–8 kHz. Los triángulos Mel son estrechos y densos en las frecuencias bajas; los filtros Bark siguen la curva de enmascaramiento de banda crítica de Hermansky, con un flanco bajo suave y un flanco alto abrupto.

Ambos deforman la frecuencia como lo hace el oído: resolución fina por debajo de 1 kHz, gruesa por encima. PLP también modela cómo se percibe la sonoridad, y muestrea el espectro en pasos de 1 Bark: 21 bandas cubren 0–8 kHz.

Comprobados frente a referencias

  • MFCC coincide con librosa con un margen de 10−8 una vez alineadas las convenciones de ventana, relleno y Mel.
  • PLP se comprueba pieza a pieza: Levinson-Durbin frente al solucionador de Toeplitz de SciPy (10−15) y la recursión del cepstrum frente a un cepstrum por FFT de fuerza bruta (10−16). El paquete spafe, muy utilizado, se aparta del artículo de Hermansky en varios pasos; el notebook muestra dónde, en lugar de forzar la coincidencia.

Qué hace el ruido

En el artículo de 2019 entrenamos 16 reconocedores de Kaldi con habla en español y decodificamos 3,6 horas de audio de prueba con ruido real. Los dos rasgos empatan en condiciones de silencio; MFCC aguanta mejor a medida que crece el ruido.

MFCC RASTA-PLP 0 %10 %20 %30 %40 % Limpio 20,8 % 21,1 % Interior 15–25 dB 22,2 % 22,9 % Exterior 15–25 dB 21,7 % 22,9 % Interior 5–15 dB 28,8 % 31,9 % Exterior 5–15 dB 30,7 % 34,4 %
Figura 3. Del artículo: tasa de error de palabra del sistema Kaldi combinado con cada rasgo. Cuanto más baja, mejor.

El notebook hace un experimento mucho más pequeño: añade ruido blanco y de murmullo (babble) de 20 a 0 dB y mide cuánto se aleja cada rasgo de su versión limpia.

MFCCPLPRASTA-PLP ruido blanco 0,60,81,01,2 20 dB15 dB10 dB5 dB0 dB ruido de conversaciones 0,60,81,01,2 20 dB15 dB10 dB5 dB0 dB
Figura 4. Cuánto se aleja cada rasgo de su versión limpia a medida que crece el ruido (diferencia RMS tras normalizar; 1,41 significaría que no guardan relación). Diez locuciones, CPU, segundos.

Los tres front ends se degradan casi en paralelo, a menos de un 5 % unos de otros. Eso no contradice el artículo: la distorsión de los rasgos no es la tasa de error de palabra. Sin un modelo acústico, el notebook puede mostrar cómo se mueven los rasgos, no cuál preferiría un reconocedor.

De MFCC a Whisper

La entrada de Whisper es la primera mitad del pipeline MFCC: un espectrograma log-Mel de 80 bandas a 25 ms / 10 ms, que el notebook reproduce con una correlación de 0,94. Los modelos profundos prescindieron de la transformada coseno final: existía para decorrelacionar los rasgos de cara a los modelos gaussianos, y una red aprende su propia mezcla. Los dos tutoriales siguientes parten exactamente de esta representación: fine-tuning de Whisper y adaptarlo con LoRA.

Referencias: Davis & Mermelstein, 1980; Hermansky, JASA 1990; Hermansky & Morgan, IEEE TSAP 1994; Povey et al., Kaldi, 2011; Panayotov et al., LibriSpeech, 2015; Ramírez Sánchez, Montalvo Bereau & Calvo de Lara, RIELAC 2019.