Documentos de trabajo · habla, salud e IA fiableVigo, 2026

Tutoriales / T3

PEFT y LoRA en Whisper: un clasificador final frente a un extractor de embeddings

En una frase

Congela Whisper, inyecta adaptadores LoRA en los puntos adecuados y entrena menos del 2% de los parámetros, ya sea para un clasificador de extremo a extremo o para obtener embeddings que alimenten tu propio clasificador.

Por qué este tutorial

Los modelos de habla son grandes; los conjuntos de datos clínicos de audio son pequeños. Hacer fine-tuning de todos los pesos es caro y borra lo que el modelo ya sabe. Con PEFT el backbone se queda congelado y solo se entrenan adaptadores pequeños. El fine-tuning eficiente en parámetros de transformers de audio para el cribado clínico es el tema de mi tesis doctoral; este notebook destila su mecánica básica.

El notebook construye dos cosas a partir de la misma idea:

  1. Un clasificador: Whisper + LoRA + una cabeza nueva, que devuelve logits.
  2. Un extractor de embeddings: Whisper + LoRA, sin cabeza, que alimenta cualquier clasificador externo.

LoRA en una línea

LoRA (adaptación de rango bajo) es un método de fine-tuning que congela los pesos de un modelo preentrenado y entrena solo una pequeña actualización de rango bajo que se suma a algunas de sus capas. Una matriz de pesos preentrenada W0 se queda congelada, y LoRA aprende la actualización junto a ella:

W = W0 + BA,  B ∈ ℝd×r,  A ∈ ℝr×k,  r ≪ min(d, k)

Solo se entrenan A y B, y r suele estar entre 4 y 32.

W₀ · congeladaBA · rango 2ΔW = B·A +×= entrenables 64 de 320 parámetros (20 %) paso 24 / 24
Figura 1. Entrenamiento de LoRA, animado. Los pesos congelados W0 (tramados) nunca cambian. Solo aprenden las matrices estrechas B y A (en tinta). B empieza en cero, así que la actualización ΔW = B·A crece desde la nada. Aquí el rango 2 entrena el 20 % de los parámetros; en Whisper-tiny es el 1,75 %.

La decisión de diseño clave es target_modules: qué capas reciben un adaptador.

La decisión de diseño: dónde poner los adaptadores

Parte A: clasificador finalParte B: extractor de embeddings
Clase del modeloWhisperForAudioClassificationWhisperModel.get_encoder()
target_modules de LoRAq_proj, v_projq_proj, v_proj, fc1, fc2
modules_to_saveprojector, classifierninguno
Qué conservasencoder + LoRA + cabezasolo encoder + LoRA

Con una cabeza (A), los adaptadores solo tienen que desplazar a qué atiende el encoder: basta con la atención. Sin cabeza (B), es el propio embedding el que tiene que moverse, así que las capas feed-forward que lo remodelan también reciben adaptadores.

classifier_lora_config = LoraConfig(
    r=8,
    lora_alpha=16,
    lora_dropout=0.05,
    target_modules=["q_proj", "v_proj"],          # encoder attention only
    modules_to_save=["projector", "classifier"],  # new head -> trained in full
)

En la Parte B, una sonda lineal desechable empuja una señal de entrenamiento hacia los adaptadores y después se descarta.

Resultados

Medido en una CPU de 8 núcleos sin GPU, con openai/whisper-tiny y tonos sintéticos como datos.

Tabla 1. Qué entrena y qué guarda cada modo.
Parte A: clasificadorParte B: extractor
Parámetros entrenables148 226 (1,75 %)86 016 (1,04 %)
Adaptador guardado0,60 MB0,35 MB
Modelo base en fp328,3 M parámetros, unos 33,2 MB
Tiempo de entrenamiento (3 épocas)86 s98 s
Exactitud de validación0,50 → 1,001,00 antes y después

El adaptador es unas 55 veces más pequeño que el modelo base, y al recargarlo sobre un backbone limpio se reproduce la misma exactitud.

La Parte B ya está en 1,00 antes de la adaptación porque las clases sintéticas solo se diferencian en el tono. Lo que se traslada es el mecanismo: en tareas reales, como voz sana frente a patológica, los embeddings de serie rara vez están alineados con la tarea.

Qué llevarse

  • LoRA no es una receta única. Adaptar la atención basta para mover una frontera de decisión; remodelar una representación exige también las capas feed-forward.
  • modules_to_save es para capas nuevas, inicializadas al azar. Un adaptador de rango bajo sobre pesos aleatorios no tiene sentido.
  • Whisper siempre rellena el audio hasta una ventana de 30 segundos, así que el cómputo por clip es constante sea cual sea su duración. Ten esto en cuenta al planificar los tamaños de batch.
  • Todo el flujo funciona en la CPU de un portátil con whisper-tiny. Pasar a datos reales solo cambia la sección de carga de datos.

Relacionado: para ajustar todos los pesos en lugar de adaptadores, consulta fine-tuning de Whisper con Optuna y MLflow.

Referencias: Hu et al., LoRA, 2021 (arXiv:2106.09685); Radford et al., Whisper, 2022 (arXiv:2212.04356); Hugging Face PEFT.