Titoriais / T3
PEFT e LoRA en Whisper: un clasificador para a tarefa final fronte a un extractor de embeddings
Conxela Whisper, inxecta adaptadores LoRA nos puntos axeitados e adestra menos do 2% dos parámetros, xa sexa para un clasificador de extremo a extremo ou para obter embeddings que alimenten o teu propio clasificador.
Por que este titorial
Os modelos de fala son grandes; os conxuntos de datos clínicos de audio son pequenos. Axustar todos os pesos é caro e borra o que o modelo xa sabe. Con PEFT, o modelo base queda conxelado e só se adestran pequenos adaptadores. O axuste fino eficiente en parámetros de transformers de audio para o cribado clínico é o tema da miña tese de doutoramento; este notebook destila a mecánica básica.
O notebook constrúe dúas cousas a partir da mesma idea:
- Un clasificador: Whisper + LoRA + unha cabeza nova, que devolve logits.
- Un extractor de embeddings: Whisper + LoRA, sen cabeza, que alimenta calquera clasificador externo.
LoRA nunha liña
LoRA (adaptación de rango baixo) é un método de axuste fino que conxela os pesos dun modelo preadestrado e adestra só unha pequena actualización de rango baixo que se suma a algunhas das súas capas. Unha matriz de pesos preadestrada W0 queda conxelada, e LoRA aprende a actualización ao seu carón:
W = W0 + BA, B ∈ ℝd×r, A ∈ ℝr×k, r ≪ min(d, k)
Só se adestran A e B, e r adoita estar entre 4 e 32.
A decisión de deseño clave é target_modules: que capas reciben un adaptador.
A decisión de deseño: onde poñer os adaptadores
| Parte A: clasificador para a tarefa final | Parte B: extractor de embeddings | |
|---|---|---|
| Clase do modelo | WhisperForAudioClassification | WhisperModel.get_encoder() |
target_modules de LoRA | q_proj, v_proj | q_proj, v_proj, fc1, fc2 |
modules_to_save | projector, classifier | ningún |
| Que conservas | codificador + LoRA + cabeza | só codificador + LoRA |
Con cabeza (A), os adaptadores só precisan desprazar a que atende o codificador: abonda coa atención. Sen cabeza (B), o propio embedding ten que moverse, así que as capas feed-forward que o remodelan tamén reciben adaptadores.
classifier_lora_config = LoraConfig(
r=8,
lora_alpha=16,
lora_dropout=0.05,
target_modules=["q_proj", "v_proj"], # encoder attention only
modules_to_save=["projector", "classifier"], # new head -> trained in full
)
Na Parte B, unha sonda lineal desbotable empuxa un sinal de adestramento cara aos adaptadores e despois descártase.
Resultados
Medido nunha CPU de 8 núcleos sen GPU, con openai/whisper-tiny e tons sintéticos como datos.
| Parte A: clasificador | Parte B: extractor | |
|---|---|---|
| Parámetros adestrables | 148 226 (1,75 %) | 86 016 (1,04 %) |
| Adaptador gardado | 0,60 MB | 0,35 MB |
| Modelo base en fp32 | 8,3 M parámetros, uns 33,2 MB | |
| Tempo de adestramento (3 épocas) | 86 s | 98 s |
| Exactitude de validación | 0,50 → 1,00 | 1,00 antes e despois |
O adaptador é unhas 55 veces máis pequeno ca o modelo base, e cargalo de novo sobre un modelo base limpo reproduce a mesma exactitude.
A Parte B xa está en 1,00 antes da adaptación porque as clases sintéticas só se diferencian no ton. O que se transfire é o mecanismo: en tarefas reais, como voz sa fronte a voz patolóxica, os embeddings tal como veñen raramente están aliñados coa tarefa.
Con que quedar
- LoRA non é unha receita única. Adaptar a atención abonda para mover unha fronteira de decisión; remodelar unha representación pide tamén as capas feed-forward.
modules_to_saveé para capas novas, inicializadas ao chou. Un adaptador de rango baixo sobre pesos aleatorios non ten sentido.- Whisper sempre enche o audio ata unha xanela de 30 segundos, así que o cómputo por clip é constante sexa cal sexa a súa duración. Planifica os tamaños de lote tendo isto en conta.
- Todo o fluxo corre na CPU dun portátil con
whisper-tiny. Pasar a datos reais só cambia a sección de carga de datos.
Relacionado: para axustar todos os pesos en vez de adaptadores, mira fine-tuning de Whisper con Optuna e MLflow.
Referencias: Hu et al., LoRA, 2021 (arXiv:2106.09685); Radford et al., Whisper, 2022 (arXiv:2212.04356); Hugging Face PEFT.