Documentos de traballo · fala, saúde e IA fiableVigo, 2026

Titoriais / T2

Fine-tuning de Whisper con Optuna, validación cruzada e MLflow

Nunha frase

Un ciclo completo e reproducible de fine-tuning de Whisper sobre voz real, con validación cruzada agrupada, pruning con Optuna, runs aniñados en MLflow e un test bloqueado, que remata nunha decisión explícita fronte a un baseline zero-shot.

Por que este titorial

A maioría dos notebooks de fine-tuning amosan unha execución e un número que baixa. Este constrúe o ciclo completo que precisa un proxecto real: busca de hiperparámetros sen fugas, execucións trazables e unha comprobación honesta fronte ao modelo do que partiches. Executa openai/whisper-tiny sobre fala real en inglés, na CPU dun portátil, en arredor de nove minutos.

Os datos e as particións

O notebook usa hf-internal-testing/librispeech_asr_dummy: 73 enunciados de inglés lido de LibriSpeech (CC BY 4.0), un falante, tres capítulos de libro. Os capítulos dan a agrupación.

Táboa 1. Que datos ve cada fase e que se lle permite decidir.
FaseDatosDecisión que permite
Baselinecapítulo de test (15 clips)WER zero-shot do modelo sen tocar, medida primeiro
Busca de hiperparámetros2 capítulos de adestramento (58 clips), deixando un capítulo fóra cada vezEscoller hiperparámetros pola perda media de validación
Reaxusteos 58 clips de adestramentoAxustar o modelo candidato
Testcapítulo de test, puntuado unha vezQuedar co modelo axustado ou co modelo base

As particións fanse por grupos, nunca ao chou. Con datos clínicos agrúpase por paciente, para que a mesma voz nunca estea nos dous lados dunha partición.

Detalle práctico: o notebook decodifica FLAC con soundfile e evita así a dependencia de torchcodec/FFmpeg das versións recentes de datasets.

Os detalles que o fan fiable

probalrperda partición 1perda partición 2resultado T0 8e-6 2,0 1,8 media 1,90 T1 7e-6 2,6 2,6 media 2,60 T2 2e-5 1,5 1,5 ■ MELLOR 1,50 T3 3e-6 2,9 × omitida PODADA T4 1.5e-5 1,7 1,6 media 1,65 T5 4e-6 2,4 × omitida PODADA
Figura 1. Como gasta a busca o seu orzamento, animado con perdas ilustrativas. Cada proba adestra un modelo novo por partición. Despois da partición 1, o pruner da mediana de Optuna detén calquera proba peor que a mediana das completadas, así que a partición 2 nunca se paga. Gaña a perda media máis baixa.
  • Un modelo novo por partición, para que ningunha partición contamine a seguinte.
  • A perda para escoller, a WER para informar: a perda non precisa xerar texto dentro do ciclo.
  • Pruning por partición, comunicado con dúas liñas:
trial.report(partial_mean_loss, step=fold_index + 1)
if trial.should_prune():
    mlflow.set_tag('optuna.state', 'pruned')
    raise optuna.TrialPruned()
  • Unha WER xusta: o normalizador de inglés de Whisper fai que «Mr.» e «MISTER» sexan a mesma palabra.
  • Execucións lexibles: MLflow aniña tutorial → hpo → trial → fold, máis refit; a decisión rexístrase na execución pai.
  • Nada sensible rexistrado: só parámetros e métricas agregadas. Nin audio, nin transcricións, nin pesos.

Resultados

Táboa 2. Busca e reaxuste, 3 probas × 2 particións por capítulo, CPU. Canto máis baixo, mellor.
ExecuciónTaxa de aprendizaxeÉpocasPerdas por particiónPerda media de VCWER de test
Baseline zero-shot––––9,7 %
Proba 08,5 × 10−622,052; 1,7441,898–
Proba 17,1 × 10−612,559; 2,5922,575–
Proba 2 (seleccionada)2,1 × 10−521,501; 1,4951,498–
Reaxuste con todo o adestramento2,1 × 10−52––11,5 %
051015 Zero-shot 9,7 Axustado 11,5
Figura 2. Taxa de erro de palabra (%) no capítulo de test bloqueado, despois do normalizador de texto en inglés de Whisper. Barra sólida: o modelo que conserva o pipeline.

A busca funcionou como se esperaba: atopou a mellor das tres configuracións pola perda de validación. Pero o modelo axustado é peor no capítulo de test bloqueado ca o modelo do que partiu, así que o pipeline rexistra a decisión keep-base.

Esa é a lección, non un erro. Whisper preadestrouse con 680 000 horas de fala; seis minutos dun só falante non poden melloralo cun fine-tuning completo. O pipeline existe precisamente para detectar isto.

Pasar a proxectos reais

  • Cambia o cargador de datos e mantén o resto. Agrupa as particións por falante ou por paciente.
  • Bloquea test antes da busca e puntúao unha soa vez. Nunca escollas parámetros nin épocas a partir del.
  • Rexistra sempre un baseline zero-shot ou do modelo anterior xunto ao candidato, e fai explícita a decisión de conservar ou substituír.
  • Con poucos datos, prefire a adaptación eficiente en parámetros: mira PEFT e LoRA en Whisper.
  • Rexistra as revisións do conxunto de datos e do checkpoint, os hashes do manifesto e a configuración resolta; nunca audio, transcricións nin información de saúde.

Referencias: Panayotov et al., LibriSpeech, ICASSP 2015; Optuna; MLflow Tracking; Whisper in Transformers.