Documentos de trabajo · habla, salud e IA fiableVigo, 2026

Tutoriales / T2

Fine-tuning de Whisper con Optuna, validación cruzada y MLflow

En una frase

Un ciclo completo y reproducible de fine-tuning de Whisper sobre voz real, con validación cruzada agrupada, pruning con Optuna, runs anidados en MLflow y un test bloqueado, que termina en una decisión explícita frente a un baseline zero-shot.

Por qué este tutorial

La mayoría de los notebooks de fine-tuning muestran un run y un número que baja. Este construye el ciclo completo que necesita un proyecto real: búsqueda de hiperparámetros sin fugas, runs trazables y una comprobación honesta frente al modelo del que partiste. Ejecuta openai/whisper-tiny sobre habla real en inglés, en la CPU de un portátil, en unos nueve minutos.

Los datos y las particiones

El notebook usa hf-internal-testing/librispeech_asr_dummy: 73 locuciones de inglés leído de LibriSpeech (CC BY 4.0), un hablante, tres capítulos de libro. Los capítulos dan la agrupación.

Tabla 1. Qué datos ve cada fase y qué le está permitido decidir.
FaseDatosDecisión que permite
Baselinecapítulo de test (15 clips)WER zero-shot del modelo intacto, medido primero
Búsqueda de hiperparámetros2 capítulos de entrenamiento (58 clips), dejando fuera un capítulo cada vezElegir los hiperparámetros por la pérdida media de validación
Reentrenamientolos 58 clips de entrenamientoAjustar el modelo candidato
Testcapítulo de test, evaluado una sola vezQuedarse con el modelo con fine-tuning o con el modelo base

Los folds se agrupan, nunca son aleatorios. Con datos clínicos se agrupa por paciente, para que la misma voz nunca esté a ambos lados de una partición.

Detalle práctico: el notebook decodifica FLAC con soundfile y evita así la dependencia de torchcodec/FFmpeg de las versiones recientes de datasets.

Los detalles que lo hacen fiable

triallrpérdida fold 1pérdida fold 2resultado T0 8e-6 2,0 1,8 media 1,90 T1 7e-6 2,6 2,6 media 2,60 T2 2e-5 1,5 1,5 ■ MEJOR 1,50 T3 3e-6 2,9 × omitido PODADO T4 1.5e-5 1,7 1,6 media 1,65 T5 4e-6 2,4 × omitido PODADO
Figura 1. Cómo gasta la búsqueda su presupuesto, animado con pérdidas ilustrativas. Cada trial entrena un modelo nuevo por fold. Tras el fold 1, el pruner de mediana de Optuna detiene cualquier trial peor que la mediana de los completados, así que el fold 2 nunca se paga. Gana la pérdida media más baja.
  • Un modelo nuevo por fold, para que ningún fold contamine al siguiente.
  • Pérdida para seleccionar, WER para informar: la pérdida no necesita generar texto dentro del ciclo.
  • Pruning por fold, notificado con dos líneas:
trial.report(partial_mean_loss, step=fold_index + 1)
if trial.should_prune():
    mlflow.set_tag('optuna.state', 'pruned')
    raise optuna.TrialPruned()
  • Un WER justo: el normalizador de inglés de Whisper hace que «Mr.» y «MISTER» sean la misma palabra.
  • Runs legibles: MLflow anida tutorial → hpo → trial → fold, más refit; la decisión se registra en el run padre.
  • Nada sensible en los registros: solo parámetros y métricas agregadas. Ni audio, ni transcripciones, ni pesos.

Resultados

Tabla 2. Búsqueda y reentrenamiento, 3 trials × 2 folds por capítulo, CPU. Cuanto más bajo, mejor.
RunTasa de aprendizajeÉpocasPérdidas por foldPérdida media de CVWER de test
Baseline zero-shot––––9,7 %
Trial 08,5 × 10−622,052; 1,7441,898–
Trial 17,1 × 10−612,559; 2,5922,575–
Trial 2 (seleccionado)2,1 × 10−521,501; 1,4951,498–
Reentrenamiento con todo el conjunto de entrenamiento2,1 × 10−52––11,5 %
051015 Zero-shot 9,7 Con fine-tuning 11,5
Figura 2. Tasa de error de palabra (%) en el capítulo de test bloqueado, tras el normalizador de texto en inglés de Whisper. Barra sólida: el modelo con el que se queda el pipeline.

La búsqueda funcionó como se esperaba: encontró la mejor de las tres configuraciones por pérdida de validación. Pero el modelo con fine-tuning es peor en el capítulo de test bloqueado que el modelo del que partió, así que el pipeline registra la decisión keep-base.

Esa es la lección, no un bug. Whisper se preentrenó con 680 000 horas de habla; seis minutos de un solo hablante no pueden mejorar eso con un fine-tuning completo. El pipeline existe precisamente para detectar esto.

Hacia proyectos reales

  • Cambia el cargador de datos y conserva el resto. Agrupa los folds por hablante o por paciente.
  • Bloquea test antes de la búsqueda y evalúalo una sola vez. Nunca elijas parámetros ni épocas a partir de él.
  • Registra siempre un baseline zero-shot o del modelo anterior junto al candidato, y haz explícita la decisión de conservarlo o sustituirlo.
  • Con pocos datos, prefiere la adaptación eficiente en parámetros: consulta PEFT y LoRA en Whisper.
  • Registra las revisiones del dataset y del checkpoint, los hashes del manifiesto y la configuración resuelta; nunca audio, transcripciones ni información de salud.

Referencias: Panayotov et al., LibriSpeech, ICASSP 2015; Optuna; MLflow Tracking; Whisper en Transformers.