Documentos de traballo · fala, saúde e IA fiableVigo, 2026

Titoriais / T3

PEFT e LoRA en Whisper: un clasificador para a tarefa final fronte a un extractor de embeddings

Nunha frase

Conxela Whisper, inxecta adaptadores LoRA nos puntos axeitados e adestra menos do 2% dos parámetros, xa sexa para un clasificador de extremo a extremo ou para obter embeddings que alimenten o teu propio clasificador.

Por que este titorial

Os modelos de fala son grandes; os conxuntos de datos clínicos de audio son pequenos. Axustar todos os pesos é caro e borra o que o modelo xa sabe. Con PEFT, o modelo base queda conxelado e só se adestran pequenos adaptadores. O axuste fino eficiente en parámetros de transformers de audio para o cribado clínico é o tema da miña tese de doutoramento; este notebook destila a mecánica básica.

O notebook constrúe dúas cousas a partir da mesma idea:

  1. Un clasificador: Whisper + LoRA + unha cabeza nova, que devolve logits.
  2. Un extractor de embeddings: Whisper + LoRA, sen cabeza, que alimenta calquera clasificador externo.

LoRA nunha liña

LoRA (adaptación de rango baixo) é un método de axuste fino que conxela os pesos dun modelo preadestrado e adestra só unha pequena actualización de rango baixo que se suma a algunhas das súas capas. Unha matriz de pesos preadestrada W0 queda conxelada, e LoRA aprende a actualización ao seu carón:

W = W0 + BA,  B ∈ ℝd×r,  A ∈ ℝr×k,  r ≪ min(d, k)

Só se adestran A e B, e r adoita estar entre 4 e 32.

W₀ · conxeladaBA · rango 2ΔW = B·A +×= adestrables 64 de 320 parámetros (20 %) paso 24 / 24
Figura 1. Adestramento de LoRA, animado. Os pesos conxelados W0 (tramados) nunca cambian. Só aprenden as matrices estreitas B e A (tinta). B comeza en cero, así que a actualización ΔW = B·A medra desde a nada. Aquí o rango 2 adestra o 20 % dos parámetros; en Whisper-tiny é o 1,75 %.

A decisión de deseño clave é target_modules: que capas reciben un adaptador.

A decisión de deseño: onde poñer os adaptadores

Parte A: clasificador para a tarefa finalParte B: extractor de embeddings
Clase do modeloWhisperForAudioClassificationWhisperModel.get_encoder()
target_modules de LoRAq_proj, v_projq_proj, v_proj, fc1, fc2
modules_to_saveprojector, classifierningún
Que conservascodificador + LoRA + cabezasó codificador + LoRA

Con cabeza (A), os adaptadores só precisan desprazar a que atende o codificador: abonda coa atención. Sen cabeza (B), o propio embedding ten que moverse, así que as capas feed-forward que o remodelan tamén reciben adaptadores.

classifier_lora_config = LoraConfig(
    r=8,
    lora_alpha=16,
    lora_dropout=0.05,
    target_modules=["q_proj", "v_proj"],          # encoder attention only
    modules_to_save=["projector", "classifier"],  # new head -> trained in full
)

Na Parte B, unha sonda lineal desbotable empuxa un sinal de adestramento cara aos adaptadores e despois descártase.

Resultados

Medido nunha CPU de 8 núcleos sen GPU, con openai/whisper-tiny e tons sintéticos como datos.

Táboa 1. Que adestra e que garda cada modo.
Parte A: clasificadorParte B: extractor
Parámetros adestrables148 226 (1,75 %)86 016 (1,04 %)
Adaptador gardado0,60 MB0,35 MB
Modelo base en fp328,3 M parámetros, uns 33,2 MB
Tempo de adestramento (3 épocas)86 s98 s
Exactitude de validación0,50 → 1,001,00 antes e despois

O adaptador é unhas 55 veces máis pequeno ca o modelo base, e cargalo de novo sobre un modelo base limpo reproduce a mesma exactitude.

A Parte B xa está en 1,00 antes da adaptación porque as clases sintéticas só se diferencian no ton. O que se transfire é o mecanismo: en tarefas reais, como voz sa fronte a voz patolóxica, os embeddings tal como veñen raramente están aliñados coa tarefa.

Con que quedar

  • LoRA non é unha receita única. Adaptar a atención abonda para mover unha fronteira de decisión; remodelar unha representación pide tamén as capas feed-forward.
  • modules_to_save é para capas novas, inicializadas ao chou. Un adaptador de rango baixo sobre pesos aleatorios non ten sentido.
  • Whisper sempre enche o audio ata unha xanela de 30 segundos, así que o cómputo por clip é constante sexa cal sexa a súa duración. Planifica os tamaños de lote tendo isto en conta.
  • Todo o fluxo corre na CPU dun portátil con whisper-tiny. Pasar a datos reais só cambia a sección de carga de datos.

Relacionado: para axustar todos os pesos en vez de adaptadores, mira fine-tuning de Whisper con Optuna e MLflow.

Referencias: Hu et al., LoRA, 2021 (arXiv:2106.09685); Radford et al., Whisper, 2022 (arXiv:2212.04356); Hugging Face PEFT.