Titoriais / T4
Radial LoRA en Whisper, implementado desde cero
Nunha frase
Escribe R-LoRA en poucas liñas de PyTorch, compróbao numericamente, adestra un clasificador Whisper xunto a un LoRA de referencia e aprende as dúas cousas que cambian na práctica: a taxa de aprendizaxe e a fusión.
Por que este titorial
R-LoRA é un cambio dun só parámetro en LoRA que introducín para a fala clínica, e a biblioteca peft non o inclúe. Este notebook escríbeo desde cero e pásao polos mesmos pasos ca o titorial de LoRA, cos mesmos datos, para que os dous se poidan ler en paralelo.
Que fas no notebook
- Escribe
RLoRALinear, un módulo que envolve calquerann.Linear, e comproba as súas tres propiedades: é igual á capa conxelada na inicialización, é igual a LoRA cando λ = 0 e non é lineal na súa entrada. - Insíreo en Whisper cunha pequena función que fai o papel de
target_modules, e adestra un clasificador xunto a un LoRA de referencia depeftco mesmo rango e a mesma semente. - Iguala a taxa de aprendizaxe. Coa taxa de LoRA, R-LoRA aprende máis amodo, porque a súa rama ve unha entrada dividida por ‖x‖λ, unhas 8 veces máis pequena nas entradas de atención de Whisper. Escalar a taxa dos adaptadores por ese factor medido fai que converxa tan rápido coma LoRA.
- Le o λ aprendido, un por capa adaptada.
- Intenta fusionalo. LoRA intégrase nos pesos sen ningún cambio na saída; unha fusión inxenua de R-LoRA cambia os logits, e por iso hai que servilo enteiro.
- Garda e carga de novo só o adaptador, e constrúe un extractor de embeddings con R-LoRA nas capas de atención e feed-forward.
Con que quedar
- R-LoRA son unhas dez liñas sobre LoRA, e nada nelas é específico de Whisper nin da fala.
- Non reutilices a cegas a taxa de aprendizaxe de LoRA: mide a escala que ve a rama, ou axusta a taxa para cada método.
- A tarefa sintética é doada, así que os dous métodos a resolven. As melloras do artigo veñen de datos clínicos escasos cuxas representacións se amontoan en poucas direccións; o notebook ensina o mecanismo, non o resultado.