Titoriais / T2
Fine-tuning de Whisper con Optuna, validación cruzada e MLflow
Un ciclo completo e reproducible de fine-tuning de Whisper sobre voz real, con validación cruzada agrupada, pruning con Optuna, runs aniñados en MLflow e un test bloqueado, que remata nunha decisión explícita fronte a un baseline zero-shot.
Por que este titorial
A maioría dos notebooks de fine-tuning amosan unha execución e un número que baixa. Este constrúe o ciclo completo que precisa un proxecto real: busca de hiperparámetros sen fugas, execucións trazables e unha comprobación honesta fronte ao modelo do que partiches. Executa openai/whisper-tiny sobre fala real en inglés, na CPU dun portátil, en arredor de nove minutos.
Os datos e as particións
O notebook usa hf-internal-testing/librispeech_asr_dummy: 73 enunciados de inglés lido de LibriSpeech (CC BY 4.0), un falante, tres capítulos de libro. Os capítulos dan a agrupación.
| Fase | Datos | Decisión que permite |
|---|---|---|
| Baseline | capítulo de test (15 clips) | WER zero-shot do modelo sen tocar, medida primeiro |
| Busca de hiperparámetros | 2 capítulos de adestramento (58 clips), deixando un capítulo fóra cada vez | Escoller hiperparámetros pola perda media de validación |
| Reaxuste | os 58 clips de adestramento | Axustar o modelo candidato |
| Test | capítulo de test, puntuado unha vez | Quedar co modelo axustado ou co modelo base |
As particións fanse por grupos, nunca ao chou. Con datos clínicos agrúpase por paciente, para que a mesma voz nunca estea nos dous lados dunha partición.
Detalle práctico: o notebook decodifica FLAC con soundfile e evita así a dependencia de torchcodec/FFmpeg das versións recentes de datasets.
Os detalles que o fan fiable
- Un modelo novo por partición, para que ningunha partición contamine a seguinte.
- A perda para escoller, a WER para informar: a perda non precisa xerar texto dentro do ciclo.
- Pruning por partición, comunicado con dúas liñas:
trial.report(partial_mean_loss, step=fold_index + 1)
if trial.should_prune():
mlflow.set_tag('optuna.state', 'pruned')
raise optuna.TrialPruned()
- Unha WER xusta: o normalizador de inglés de Whisper fai que «Mr.» e «MISTER» sexan a mesma palabra.
- Execucións lexibles: MLflow aniña
tutorial → hpo → trial → fold, máisrefit; a decisión rexístrase na execución pai. - Nada sensible rexistrado: só parámetros e métricas agregadas. Nin audio, nin transcricións, nin pesos.
Resultados
| Execución | Taxa de aprendizaxe | Épocas | Perdas por partición | Perda media de VC | WER de test |
|---|---|---|---|---|---|
| Baseline zero-shot | – | – | – | – | 9,7 % |
| Proba 0 | 8,5 × 10−6 | 2 | 2,052; 1,744 | 1,898 | – |
| Proba 1 | 7,1 × 10−6 | 1 | 2,559; 2,592 | 2,575 | – |
| Proba 2 (seleccionada) | 2,1 × 10−5 | 2 | 1,501; 1,495 | 1,498 | – |
| Reaxuste con todo o adestramento | 2,1 × 10−5 | 2 | – | – | 11,5 % |
A busca funcionou como se esperaba: atopou a mellor das tres configuracións pola perda de validación. Pero o modelo axustado é peor no capítulo de test bloqueado ca o modelo do que partiu, así que o pipeline rexistra a decisión keep-base.
Esa é a lección, non un erro. Whisper preadestrouse con 680 000 horas de fala; seis minutos dun só falante non poden melloralo cun fine-tuning completo. O pipeline existe precisamente para detectar isto.
Pasar a proxectos reais
- Cambia o cargador de datos e mantén o resto. Agrupa as particións por falante ou por paciente.
- Bloquea
testantes da busca e puntúao unha soa vez. Nunca escollas parámetros nin épocas a partir del. - Rexistra sempre un baseline zero-shot ou do modelo anterior xunto ao candidato, e fai explícita a decisión de conservar ou substituír.
- Con poucos datos, prefire a adaptación eficiente en parámetros: mira PEFT e LoRA en Whisper.
- Rexistra as revisións do conxunto de datos e do checkpoint, os hashes do manifesto e a configuración resolta; nunca audio, transcricións nin información de saúde.
Referencias: Panayotov et al., LibriSpeech, ICASSP 2015; Optuna; MLflow Tracking; Whisper in Transformers.