Tutoriales / T3
PEFT y LoRA en Whisper: un clasificador final frente a un extractor de embeddings
Congela Whisper, inyecta adaptadores LoRA en los puntos adecuados y entrena menos del 2% de los parámetros, ya sea para un clasificador de extremo a extremo o para obtener embeddings que alimenten tu propio clasificador.
Por qué este tutorial
Los modelos de habla son grandes; los conjuntos de datos clínicos de audio son pequeños. Hacer fine-tuning de todos los pesos es caro y borra lo que el modelo ya sabe. Con PEFT el backbone se queda congelado y solo se entrenan adaptadores pequeños. El fine-tuning eficiente en parámetros de transformers de audio para el cribado clínico es el tema de mi tesis doctoral; este notebook destila su mecánica básica.
El notebook construye dos cosas a partir de la misma idea:
- Un clasificador: Whisper + LoRA + una cabeza nueva, que devuelve logits.
- Un extractor de embeddings: Whisper + LoRA, sin cabeza, que alimenta cualquier clasificador externo.
LoRA en una línea
LoRA (adaptación de rango bajo) es un método de fine-tuning que congela los pesos de un modelo preentrenado y entrena solo una pequeña actualización de rango bajo que se suma a algunas de sus capas. Una matriz de pesos preentrenada W0 se queda congelada, y LoRA aprende la actualización junto a ella:
W = W0 + BA, B ∈ ℝd×r, A ∈ ℝr×k, r ≪ min(d, k)
Solo se entrenan A y B, y r suele estar entre 4 y 32.
La decisión de diseño clave es target_modules: qué capas reciben un adaptador.
La decisión de diseño: dónde poner los adaptadores
| Parte A: clasificador final | Parte B: extractor de embeddings | |
|---|---|---|
| Clase del modelo | WhisperForAudioClassification | WhisperModel.get_encoder() |
target_modules de LoRA | q_proj, v_proj | q_proj, v_proj, fc1, fc2 |
modules_to_save | projector, classifier | ninguno |
| Qué conservas | encoder + LoRA + cabeza | solo encoder + LoRA |
Con una cabeza (A), los adaptadores solo tienen que desplazar a qué atiende el encoder: basta con la atención. Sin cabeza (B), es el propio embedding el que tiene que moverse, así que las capas feed-forward que lo remodelan también reciben adaptadores.
classifier_lora_config = LoraConfig(
r=8,
lora_alpha=16,
lora_dropout=0.05,
target_modules=["q_proj", "v_proj"], # encoder attention only
modules_to_save=["projector", "classifier"], # new head -> trained in full
)
En la Parte B, una sonda lineal desechable empuja una señal de entrenamiento hacia los adaptadores y después se descarta.
Resultados
Medido en una CPU de 8 núcleos sin GPU, con openai/whisper-tiny y tonos sintéticos como datos.
| Parte A: clasificador | Parte B: extractor | |
|---|---|---|
| Parámetros entrenables | 148 226 (1,75 %) | 86 016 (1,04 %) |
| Adaptador guardado | 0,60 MB | 0,35 MB |
| Modelo base en fp32 | 8,3 M parámetros, unos 33,2 MB | |
| Tiempo de entrenamiento (3 épocas) | 86 s | 98 s |
| Exactitud de validación | 0,50 → 1,00 | 1,00 antes y después |
El adaptador es unas 55 veces más pequeño que el modelo base, y al recargarlo sobre un backbone limpio se reproduce la misma exactitud.
La Parte B ya está en 1,00 antes de la adaptación porque las clases sintéticas solo se diferencian en el tono. Lo que se traslada es el mecanismo: en tareas reales, como voz sana frente a patológica, los embeddings de serie rara vez están alineados con la tarea.
Qué llevarse
- LoRA no es una receta única. Adaptar la atención basta para mover una frontera de decisión; remodelar una representación exige también las capas feed-forward.
modules_to_savees para capas nuevas, inicializadas al azar. Un adaptador de rango bajo sobre pesos aleatorios no tiene sentido.- Whisper siempre rellena el audio hasta una ventana de 30 segundos, así que el cómputo por clip es constante sea cual sea su duración. Ten esto en cuenta al planificar los tamaños de batch.
- Todo el flujo funciona en la CPU de un portátil con
whisper-tiny. Pasar a datos reales solo cambia la sección de carga de datos.
Relacionado: para ajustar todos los pesos en lugar de adaptadores, consulta fine-tuning de Whisper con Optuna y MLflow.
Referencias: Hu et al., LoRA, 2021 (arXiv:2106.09685); Radford et al., Whisper, 2022 (arXiv:2212.04356); Hugging Face PEFT.