Tutoriales / T2
Fine-tuning de Whisper con Optuna, validación cruzada y MLflow
Un ciclo completo y reproducible de fine-tuning de Whisper sobre voz real, con validación cruzada agrupada, pruning con Optuna, runs anidados en MLflow y un test bloqueado, que termina en una decisión explícita frente a un baseline zero-shot.
Por qué este tutorial
La mayoría de los notebooks de fine-tuning muestran un run y un número que baja. Este construye el ciclo completo que necesita un proyecto real: búsqueda de hiperparámetros sin fugas, runs trazables y una comprobación honesta frente al modelo del que partiste. Ejecuta openai/whisper-tiny sobre habla real en inglés, en la CPU de un portátil, en unos nueve minutos.
Los datos y las particiones
El notebook usa hf-internal-testing/librispeech_asr_dummy: 73 locuciones de inglés leído de LibriSpeech (CC BY 4.0), un hablante, tres capítulos de libro. Los capítulos dan la agrupación.
| Fase | Datos | Decisión que permite |
|---|---|---|
| Baseline | capítulo de test (15 clips) | WER zero-shot del modelo intacto, medido primero |
| Búsqueda de hiperparámetros | 2 capítulos de entrenamiento (58 clips), dejando fuera un capítulo cada vez | Elegir los hiperparámetros por la pérdida media de validación |
| Reentrenamiento | los 58 clips de entrenamiento | Ajustar el modelo candidato |
| Test | capítulo de test, evaluado una sola vez | Quedarse con el modelo con fine-tuning o con el modelo base |
Los folds se agrupan, nunca son aleatorios. Con datos clínicos se agrupa por paciente, para que la misma voz nunca esté a ambos lados de una partición.
Detalle práctico: el notebook decodifica FLAC con soundfile y evita así la dependencia de torchcodec/FFmpeg de las versiones recientes de datasets.
Los detalles que lo hacen fiable
- Un modelo nuevo por fold, para que ningún fold contamine al siguiente.
- Pérdida para seleccionar, WER para informar: la pérdida no necesita generar texto dentro del ciclo.
- Pruning por fold, notificado con dos líneas:
trial.report(partial_mean_loss, step=fold_index + 1)
if trial.should_prune():
mlflow.set_tag('optuna.state', 'pruned')
raise optuna.TrialPruned()
- Un WER justo: el normalizador de inglés de Whisper hace que «Mr.» y «MISTER» sean la misma palabra.
- Runs legibles: MLflow anida
tutorial → hpo → trial → fold, másrefit; la decisión se registra en el run padre. - Nada sensible en los registros: solo parámetros y métricas agregadas. Ni audio, ni transcripciones, ni pesos.
Resultados
| Run | Tasa de aprendizaje | Épocas | Pérdidas por fold | Pérdida media de CV | WER de test |
|---|---|---|---|---|---|
| Baseline zero-shot | – | – | – | – | 9,7 % |
| Trial 0 | 8,5 × 10−6 | 2 | 2,052; 1,744 | 1,898 | – |
| Trial 1 | 7,1 × 10−6 | 1 | 2,559; 2,592 | 2,575 | – |
| Trial 2 (seleccionado) | 2,1 × 10−5 | 2 | 1,501; 1,495 | 1,498 | – |
| Reentrenamiento con todo el conjunto de entrenamiento | 2,1 × 10−5 | 2 | – | – | 11,5 % |
La búsqueda funcionó como se esperaba: encontró la mejor de las tres configuraciones por pérdida de validación. Pero el modelo con fine-tuning es peor en el capítulo de test bloqueado que el modelo del que partió, así que el pipeline registra la decisión keep-base.
Esa es la lección, no un bug. Whisper se preentrenó con 680 000 horas de habla; seis minutos de un solo hablante no pueden mejorar eso con un fine-tuning completo. El pipeline existe precisamente para detectar esto.
Hacia proyectos reales
- Cambia el cargador de datos y conserva el resto. Agrupa los folds por hablante o por paciente.
- Bloquea
testantes de la búsqueda y evalúalo una sola vez. Nunca elijas parámetros ni épocas a partir de él. - Registra siempre un baseline zero-shot o del modelo anterior junto al candidato, y haz explícita la decisión de conservarlo o sustituirlo.
- Con pocos datos, prefiere la adaptación eficiente en parámetros: consulta PEFT y LoRA en Whisper.
- Registra las revisiones del dataset y del checkpoint, los hashes del manifiesto y la configuración resuelta; nunca audio, transcripciones ni información de salud.
Referencias: Panayotov et al., LibriSpeech, ICASSP 2015; Optuna; MLflow Tracking; Whisper en Transformers.