Documentos de trabajo · habla, salud e IA fiableVigo, 2026

Tutoriales / T4

Radial LoRA en Whisper, implementado desde cero

En una frase

Escribe R-LoRA en unas pocas líneas de PyTorch, compruébalo numéricamente, entrena un clasificador Whisper junto a un LoRA de referencia y aprende las dos cosas que cambian en la práctica: la tasa de aprendizaje y la fusión.

Por qué este tutorial

R-LoRA es un cambio de un solo parámetro en LoRA que introduje para el habla clínica, y la biblioteca peft no lo incluye. Este notebook lo escribe desde cero y lo hace pasar por los mismos pasos que el tutorial de LoRA, con los mismos datos, para que los dos se puedan leer en paralelo.

LoRA lineal en x x W₀ · congelado A B × α / r + h r × kd × r R-LoRA aprende λ x W₀ · congelado T_λ A B × α / r + h r × kd × r atemperado radial λ = 0 LoRA sin más λ = 0,5 normalizado en parte λ = 1 solo dirección h = W₀x + (α/r) · B A T_λ(x) T_λ(x) = x / (‖x‖ + ε)^λ, λ ∈ [0, 1] B empieza en cero: el entrenamiento parte del modelo preentrenado. T_λ no es lineal: la actualización no puede fusionarse con W₀.
Figura 1. Lo que implementa el notebook: la rama de LoRA con un operador extra, Tλ, que atempera el tamaño de su entrada.

Qué haces en el notebook

  1. Escribe RLoRALinear, un módulo que envuelve cualquier nn.Linear, y comprueba sus tres propiedades: es igual a la capa congelada al inicializarse, es igual a LoRA cuando λ = 0 y no es lineal en su entrada.
  2. Inyéctalo en Whisper con una pequeña función que hace el papel de target_modules, y entrena un clasificador junto a un LoRA de referencia de peft con el mismo rango y la misma semilla.
  3. Ajusta la tasa de aprendizaje. Con la tasa de LoRA, R-LoRA aprende más despacio, porque su rama ve una entrada dividida por ‖x‖λ, unas 8 veces más pequeña en las entradas de atención de Whisper. Escalar la tasa de los adaptadores por ese factor medido hace que converja tan rápido como LoRA.
  4. Lee los λ aprendidos, uno por capa adaptada.
  5. Intenta fusionarlo. LoRA se integra en los pesos sin ningún cambio en la salida; una fusión ingenua de R-LoRA cambia los logits, y por eso hay que servirlo entero.
  6. Guarda y recarga solo el adaptador, y construye un extractor de embeddings con R-LoRA en las capas de atención y feed-forward.

Qué llevarse

  • R-LoRA son unas diez líneas sobre LoRA, y nada en ellas es específico de Whisper ni del habla.
  • No reutilices a ciegas la tasa de aprendizaje de LoRA: mide la escala que ve la rama o ajusta la tasa para cada método.
  • La tarea sintética es fácil, así que ambos métodos la resuelven. Las ganancias del artículo vienen de datos clínicos escasos cuyas representaciones se apiñan en pocas direcciones; el notebook enseña el mecanismo, no el resultado.