Tutoriales / T4
Radial LoRA en Whisper, implementado desde cero
En una frase
Escribe R-LoRA en unas pocas líneas de PyTorch, compruébalo numéricamente, entrena un clasificador Whisper junto a un LoRA de referencia y aprende las dos cosas que cambian en la práctica: la tasa de aprendizaje y la fusión.
Por qué este tutorial
R-LoRA es un cambio de un solo parámetro en LoRA que introduje para el habla clínica, y la biblioteca peft no lo incluye. Este notebook lo escribe desde cero y lo hace pasar por los mismos pasos que el tutorial de LoRA, con los mismos datos, para que los dos se puedan leer en paralelo.
Qué haces en el notebook
- Escribe
RLoRALinear, un módulo que envuelve cualquiernn.Linear, y comprueba sus tres propiedades: es igual a la capa congelada al inicializarse, es igual a LoRA cuando λ = 0 y no es lineal en su entrada. - Inyéctalo en Whisper con una pequeña función que hace el papel de
target_modules, y entrena un clasificador junto a un LoRA de referencia depeftcon el mismo rango y la misma semilla. - Ajusta la tasa de aprendizaje. Con la tasa de LoRA, R-LoRA aprende más despacio, porque su rama ve una entrada dividida por ‖x‖λ, unas 8 veces más pequeña en las entradas de atención de Whisper. Escalar la tasa de los adaptadores por ese factor medido hace que converja tan rápido como LoRA.
- Lee los λ aprendidos, uno por capa adaptada.
- Intenta fusionarlo. LoRA se integra en los pesos sin ningún cambio en la salida; una fusión ingenua de R-LoRA cambia los logits, y por eso hay que servirlo entero.
- Guarda y recarga solo el adaptador, y construye un extractor de embeddings con R-LoRA en las capas de atención y feed-forward.
Qué llevarse
- R-LoRA son unas diez líneas sobre LoRA, y nada en ellas es específico de Whisper ni del habla.
- No reutilices a ciegas la tasa de aprendizaje de LoRA: mide la escala que ve la rama o ajusta la tasa para cada método.
- La tarea sintética es fácil, así que ambos métodos la resuelven. Las ganancias del artículo vienen de datos clínicos escasos cuyas representaciones se apiñan en pocas direcciones; el notebook enseña el mecanismo, no el resultado.