Titoriais / T1
MFCC e PLP desde cero: como aprenderon a escoitar as máquinas
Constrúe paso a paso en NumPy os dous trazos clásicos da fala, segue un fotograma de voz real a través de ambos pipelines e observa que lles fai o ruído. O front end que usaba todo recoñecedor antes do deep learning, e o tema do meu primeiro artigo.
Por que empezar aquí
Antes de Whisper e wav2vec, todo recoñecedor de voz comezaba cun front end deseñado a man que convertía o audio nun vector curto cada 10 ms. Dúas receitas dominaron durante trinta anos e eran as opcións por defecto en Kaldi: MFCC (Davis & Mermelstein, 1980) e PLP (Hermansky, 1990). Os MFCC (coeficientes cepstrais en frecuencia Mel) son unha descrición compacta do espectro a curto prazo da fala, tomada na escala Mel do ton percibido. O PLP (predición lineal perceptual) é unha descrición do mesmo espectro despois de aplicar tres propiedades do oído: bandas críticas, igual sonoridade e compresión da sonoridade. Comparalos con ruído foi a miña tese de enxeñaría e o meu primeiro artigo.
Un fotograma, dous pipelines
| Paso | MFCC | PLP |
|---|---|---|
| Deformación da frecuencia | 40 filtros Mel triangulares | 21 bandas críticas Bark |
| Sonoridade | logaritmo | curva de igual sonoridade, despois raíz cúbica |
| Suavizado | transformada coseno (DCT) | modelo todo-polos (LPC, orde 12) |
| Saída | 13 coeficientes cepstrais | 13 coeficientes cepstrais |
Dous modelos do oído
Os dous deforman a frecuencia como o fai o oído: resolución fina por debaixo de 1 kHz, grosa por riba. O PLP modela tamén como se percibe a sonoridade, e mostrea o espectro en pasos de 1 Bark: 21 bandas cobren 0–8 kHz.
Comprobado contra referencias
- MFCC coincide con
librosaata 10−8 unha vez aliñadas as convencións de xanela, recheo e Mel. - PLP compróbase peza a peza: Levinson-Durbin contra o resolvedor de Toeplitz de SciPy (10−15) e a recursión do cepstro contra un cepstro FFT por forza bruta (10−16). O paquete
spafe, moi usado, afástase do artigo de Hermansky en varios pasos; o notebook amosa onde, en vez de forzar unha coincidencia.
Que fai o ruído
No artigo de 2019 adestramos 16 recoñecedores Kaldi con fala en español e decodificamos 3,6 horas de audio de proba con ruído real. Os dous trazos empatan en condicións tranquilas; MFCC resiste mellor a medida que medra o ruído.
O notebook fai un experimento moito máis pequeno: engade ruído branco e ruído de balbordo (babble) de 20 a 0 dB e mide canto se afasta cada trazo da súa versión limpa.
Os tres front ends degrádanse case en paralelo, a menos dun 5 % uns doutros. Iso non contradí o artigo: a distorsión dos trazos non é a taxa de erro de palabra. Sen un modelo acústico, o notebook pode amosar como se moven os trazos, non cal preferiría un recoñecedor.
De MFCC a Whisper
A entrada de Whisper é a primeira metade do pipeline MFCC: un espectrograma log-Mel de 80 bandas a 25 ms / 10 ms, que o notebook reproduce cunha correlación de 0,94. Os modelos profundos abandonaron a transformada coseno final: existía para descorrelacionar os trazos para os modelos gaussianos, e unha rede aprende a súa propia mestura. Os dous titoriais seguintes parten exactamente desta representación: fine-tuning de Whisper e adaptalo con LoRA.
Referencias: Davis & Mermelstein, 1980; Hermansky, JASA 1990; Hermansky & Morgan, IEEE TSAP 1994; Povey et al., Kaldi, 2011; Panayotov et al., LibriSpeech, 2015; Ramírez Sánchez, Montalvo Bereau & Calvo de Lara, RIELAC 2019.