Documentos de traballo · fala, saúde e IA fiableVigo, 2026

Titoriais / T1

MFCC e PLP desde cero: como aprenderon a escoitar as máquinas

Nunha frase

Constrúe paso a paso en NumPy os dous trazos clásicos da fala, segue un fotograma de voz real a través de ambos pipelines e observa que lles fai o ruído. O front end que usaba todo recoñecedor antes do deep learning, e o tema do meu primeiro artigo.

Por que empezar aquí

Antes de Whisper e wav2vec, todo recoñecedor de voz comezaba cun front end deseñado a man que convertía o audio nun vector curto cada 10 ms. Dúas receitas dominaron durante trinta anos e eran as opcións por defecto en Kaldi: MFCC (Davis & Mermelstein, 1980) e PLP (Hermansky, 1990). Os MFCC (coeficientes cepstrais en frecuencia Mel) son unha descrición compacta do espectro a curto prazo da fala, tomada na escala Mel do ton percibido. O PLP (predición lineal perceptual) é unha descrición do mesmo espectro despois de aplicar tres propiedades do oído: bandas críticas, igual sonoridade e compresión da sonoridade. Comparalos con ruído foi a miña tese de enxeñaría e o meu primeiro artigo.

Un fotograma, dous pipelines

forma de onda · 5,9 s · LibriSpeech espectro · 0–8 kHz Mel · 40 bandasMFCC · 13 Bark · 21 bandasPLP · 13 MFCC no tempoPLP no tempo →→→→
Figura 1. Un enunciado real de LibriSpeech, fotograma a fotograma. Cada fotograma de 25 ms convértese nun espectro de potencia, que se divide en dous camiños: un banco de filtros Mel e unha transformada coseno dan 13 MFCC; as bandas críticas Bark, a compresión da sonoridade e un modelo todo-polos dan 13 coeficientes PLP. Debaixo, as dúas matrices imprímense ao longo do tempo. Todos os valores saen do notebook.
Táboa 1. Os mesmos cinco pasos, dúas visións do oído.
PasoMFCCPLP
Deformación da frecuencia40 filtros Mel triangulares21 bandas críticas Bark
Sonoridadelogaritmocurva de igual sonoridade, despois raíz cúbica
Suavizadotransformada coseno (DCT)modelo todo-polos (LPC, orde 12)
Saída13 coeficientes cepstrais13 coeficientes cepstrais

Dous modelos do oído

Mel · 40 triángulos (MFCC) Bark · 21 bandas críticas (PLP) 0 kHz2 kHz4 kHz6 kHz8 kHz
Figura 2. Os filtros, no mesmo eixe de 0–8 kHz. Os triángulos Mel son estreitos e densos nas frecuencias baixas; os filtros Bark seguen a curva de enmascaramento de banda crítica de Hermansky, cun lado baixo suave e un lado alto abrupto.

Os dous deforman a frecuencia como o fai o oído: resolución fina por debaixo de 1 kHz, grosa por riba. O PLP modela tamén como se percibe a sonoridade, e mostrea o espectro en pasos de 1 Bark: 21 bandas cobren 0–8 kHz.

Comprobado contra referencias

  • MFCC coincide con librosa ata 10−8 unha vez aliñadas as convencións de xanela, recheo e Mel.
  • PLP compróbase peza a peza: Levinson-Durbin contra o resolvedor de Toeplitz de SciPy (10−15) e a recursión do cepstro contra un cepstro FFT por forza bruta (10−16). O paquete spafe, moi usado, afástase do artigo de Hermansky en varios pasos; o notebook amosa onde, en vez de forzar unha coincidencia.

Que fai o ruído

No artigo de 2019 adestramos 16 recoñecedores Kaldi con fala en español e decodificamos 3,6 horas de audio de proba con ruído real. Os dous trazos empatan en condicións tranquilas; MFCC resiste mellor a medida que medra o ruído.

MFCC RASTA-PLP 0 %10 %20 %30 %40 % Limpo 20,8 % 21,1 % Interior 15–25 dB 22,2 % 22,9 % Exterior 15–25 dB 21,7 % 22,9 % Interior 5–15 dB 28,8 % 31,9 % Exterior 5–15 dB 30,7 % 34,4 %
Figura 3. Do artigo: taxa de erro de palabra do sistema Kaldi combinado con cada trazo. Canto máis baixa, mellor.

O notebook fai un experimento moito máis pequeno: engade ruído branco e ruído de balbordo (babble) de 20 a 0 dB e mide canto se afasta cada trazo da súa versión limpa.

MFCCPLPRASTA-PLP ruído branco 0,60,81,01,2 20 dB15 dB10 dB5 dB0 dB ruído de conversas 0,60,81,01,2 20 dB15 dB10 dB5 dB0 dB
Figura 4. Canto se move cada trazo da súa versión limpa a medida que medra o ruído (diferenza RMS despois de normalizar; 1,41 significaría que non teñen relación). Dez enunciados, CPU, segundos.

Os tres front ends degrádanse case en paralelo, a menos dun 5 % uns doutros. Iso non contradí o artigo: a distorsión dos trazos non é a taxa de erro de palabra. Sen un modelo acústico, o notebook pode amosar como se moven os trazos, non cal preferiría un recoñecedor.

De MFCC a Whisper

A entrada de Whisper é a primeira metade do pipeline MFCC: un espectrograma log-Mel de 80 bandas a 25 ms / 10 ms, que o notebook reproduce cunha correlación de 0,94. Os modelos profundos abandonaron a transformada coseno final: existía para descorrelacionar os trazos para os modelos gaussianos, e unha rede aprende a súa propia mestura. Os dous titoriais seguintes parten exactamente desta representación: fine-tuning de Whisper e adaptalo con LoRA.

Referencias: Davis & Mermelstein, 1980; Hermansky, JASA 1990; Hermansky & Morgan, IEEE TSAP 1994; Povey et al., Kaldi, 2011; Panayotov et al., LibriSpeech, 2015; Ramírez Sánchez, Montalvo Bereau & Calvo de Lara, RIELAC 2019.