Documentos de trabajo · habla, salud e IA fiableVigo, 2026

Escritos /

Radial LoRA: cuando la dirección importa más que el tamaño

En una frase

R-LoRA es una variante de LoRA que atempera el tamaño de la entrada del adaptador con un exponente aprendido por capa. En cuatro corpus de voz clínica supera a LoRA en 12,4 puntos de Macro-F1, y se aplica sin cambios a cualquier Transformer que LoRA pueda adaptar.

Los grandes modelos de habla preentrenados saben mucho de la voz, pero los conjuntos de datos clínicos son pequeños: unos cientos de hablantes como mucho. Adaptar un modelo de 95 millones de parámetros a 150 pacientes es el problema cotidiano de la IA para la salud basada en el habla, y el tema de mi tesis. Radial LoRA (R-LoRA) es el método que propongo para abordarlo, presentado en IberSPEECH 2026: un cambio de un solo parámetro en LoRA que, en cuatro corpus clínicos, eleva el Macro-F1 en 12,4 puntos con el mismo presupuesto de parámetros.

+12,4puntos de Macro-F1 sobre LoRA
p = 4,4 × 10⁻¹⁰prueba pareada, 160 comparaciones
+24parámetros más que LoRA
< 1 %de tiempo de inferencia añadido frente a LoRA sin fusionar

La idea en un párrafo

LoRA adapta una matriz de pesos congelada sumándole una pequeña actualización de rango bajo, y esa actualización es lineal en su entrada: reacciona tanto a lo grande que es una activación oculta como a la dirección hacia la que apunta. Dentro de un Transformer, la normalización de capa mantiene las representaciones sobre una esfera de radio fijo, y en muchas dimensiones el ángulo entre dos vectores dice más que su distancia. R-LoRA pide al adaptador que atienda primero a la dirección: antes de la proyección de rango bajo, divide la entrada por su norma elevada a una potencia aprendible λ.

LoRA lineal en x x W₀ · congelado A B × α / r + h r × kd × r R-LoRA aprende λ x W₀ · congelado T_λ A B × α / r + h r × kd × r atemperado radial λ = 0 LoRA sin más λ = 0,5 normalizado en parte λ = 1 solo dirección h = W₀x + (α/r) · B A T_λ(x) T_λ(x) = x / (‖x‖ + ε)^λ, λ ∈ [0, 1] B empieza en cero: el entrenamiento parte del modelo preentrenado. T_λ no es lineal: la actualización no puede fusionarse con W₀.
Figura 1. LoRA y R-LoRA. Ambos mantienen congelado el peso preentrenado y añaden una rama de rango bajo; R-LoRA inserta un operador, Tλ, que atempera el tamaño de la entrada. A la derecha: la misma entrada tras atemperarla con λ = 0, 0,5 y 1.

Cómo funciona

Para un peso congelado W₀, LoRA calcula h = W₀x + (α/r)·BAx, donde A y B son matrices estrechas de rango r. R-LoRA cambia una sola cosa: la rama recibe Tλ(x) = x / (‖x‖ + ε)λ en lugar de x.

  • λ = 0 devuelve el LoRA original.
  • λ = 1 proyecta la entrada sobre la esfera unidad: la actualización depende solo de su dirección.
  • Los valores intermedios conservan parte de la magnitud.

λ se aprende, un valor por proyección adaptada, mediante una sigmoide que lo mantiene entre 0 y 1. Como en LoRA, B empieza en cero, así que el entrenamiento parte exactamente del modelo preentrenado y descubre por sí solo cuánta normalización necesita cada capa. En Wav2Vec2 base, con adaptadores en las proyecciones de consulta y valor de sus 12 capas, eso suma 24 parámetros a los 290 000 de LoRA con rango 8.

Por qué debería ayudar en el habla clínica

El artículo mide primero la geometría del modelo congelado en cada corpus. Las representaciones están apiñadas: sus vectores apuntan casi en la misma dirección, ocupan una pequeña fracción del espacio, y a los hablantes sanos y patológicos los separan ángulos pequeños.

CorpusTareaCoseno medioDimensiones con el 90 % de la varianzaÁngulo entre clases
NeuroVozenfermedad de Parkinson0,81308,5°
COPERIA /a/COVID persistente, vocal sostenida0,842421,1°
COPERIA tosCOVID persistente, tos0,94225,4°
VisIAideación suicida, habla espontánea0,901612,2°

Cuando todo apunta casi en la misma dirección, la señal útil está en pequeñas diferencias de dirección, y un adaptador lineal gasta parte de su capacidad en seguir el tamaño de la entrada.

Qué encontramos

La comparación es estricta: Wav2Vec2 base, ocho rangos de 2 a 256, R-LoRA y LoRA con el mismo rango, validación cruzada anidada 5 × 5 estratificada por hablante, y todas las métricas calculadas por hablante, la unidad que importa clínicamente.

0102030 NeuroVoz 1,1 COPERIA /a/ 14,1 COPERIA tos 10,2 VisIA 24,1 Todos los corpus 12,4
Figura 2. Ganancia media de Macro-F1 de R-LoRA sobre LoRA (puntos), promediada en ocho rangos y cinco particiones externas. Significativa en COPERIA y VisIA tras la corrección de Holm; no significativa en NeuroVoz.
  • En conjunto: +12,4 puntos de Macro-F1 (IC del 95 %: de 8,9 a 15,8), con 113 victorias en 160 comparaciones pareadas. Significativo en tres corpus y nunca significativamente peor.
  • Con cualquier presupuesto: la ventaja es máxima en el rango más pequeño (+17,4 puntos con rango 2) y aún es de +10,7 con rango 256.
  • Frente al ajuste fino completo: actualizar los 95 millones de pesos queda por detrás en todos los rangos, a 14,2 puntos de media. R-LoRA lo iguala o lo supera en todos los corpus entrenando unas 322 veces menos parámetros.

El caso que más importa es VisIA:

VisIA, mejor rango por métodoMacro-F1Sensibilidad, ideación activaPrecisión, ideación activa
Ajuste fino completo36,30,00,0
LoRA46,40,00,0
R-LoRA67,050,080,0

Los dos modelos de referencia colapsan hacia la clase mayoritaria y nunca detectan a una persona con ideación suicida activa. R-LoRA encuentra a la mitad. En cribado, el caso que se escapa es el error caro, y en el conjunto de los cuatro corpus R-LoRA eleva la sensibilidad de la clase patológica del 51,9 % al 59,0 %.

Donde LoRA ya funciona bien, hay menos que ganar: en NeuroVoz se queda a menos de dos puntos de la mejor puntuación que alcanza cualquier método, y R-LoRA añade solo 1,1 puntos, no significativos.

Qué elige el modelo

01 LoRA sin más solo dirección mediana 0,52 0,080,94 banda tramada: de 0,1 a 0,9, donde cae el 88 % de los valores aprendidos
Figura 3. Exponentes λ aprendidos en las 32 celdas corpus × rango sobre Wav2Vec2. Van de 0,08 a 0,94, con mediana 0,52: el modelo opta por una normalización parcial, nunca por el LoRA original ni por la dirección pura.

Con libertad para elegir, cada capa se sitúa en algún punto intermedio. Ese es el mecanismo detrás de la ganancia: ni la entrada en bruto de LoRA ni una puramente direccional, sino un compromiso aprendido que cambia según la capa y el corpus.

El coste

R-LoRA renuncia a una de las comodidades de LoRA. Una actualización LoRA es lineal, así que tras el entrenamiento puede fusionarse con los pesos y no cuesta nada en inferencia. El operador radial no es lineal, de modo que la rama de R-LoRA tiene que ejecutarse en cada pasada hacia delante. Medida con rango 8, la inferencia tarda 3,30 ms por muestra frente a 3,28 de una rama LoRA sin fusionar, dentro del ruido entre ejecuciones; el entrenamiento va a 0,96 veces la velocidad de LoRA, con la misma memoria. Para un cribado fuera de línea con datos escasos, es un precio pequeño.

No solo para el habla clínica

Nada en R-LoRA es específico del habla ni de la salud. Cambia la entrada del adaptador, no el modelo, así que se aplica allí donde se aplica LoRA: cualquier proyección lineal de cualquier Transformer, para clasificación o para generación.

Por ahora, la evidencia cubre dos escenarios. En el artículo, Wav2Vec2 clasificando cuatro condiciones clínicas. Y en mi participación en el reto de reconocimiento del habla ALBAYZIN 2026, Whisper-large-v3, un codificador-decodificador entrenado para transcribir, adaptado al español dialectal rural: en el test ciego, R-LoRA alcanzó una tasa de error por palabra normalizada del 26,31 % frente al 29,24 % de LoRA, con el mismo rango y los mismos datos, y entrenó de forma más estable.

Lo que no se transfiere automáticamente es el tamaño de la ganancia. Es mayor donde las representaciones están más colapsadas y los datos son más escasos, y el artículo prevé que codificadores más potentes, con espacios mejor condicionados, muestren un efecto menor. Los Transformers de texto y de visión están sin probar. Los siguientes pasos son WavLM y HuBERT, y una comparación directa con DoRA, que normaliza los pesos en lugar de la entrada; ambos actúan sobre cosas distintas y podrían combinarse.

El artículo, con el protocolo completo y la estadística, está en su página de Investigación. Para implementarlo por tu cuenta, el tutorial Radial LoRA en Whisper, implementado desde cero lo construye en PyTorch y lo entrena junto a LoRA en la CPU de un portátil.

Con Laura Docío-Fernández, Alejandro García-Caballero y Carmen García-Mateo (Universidade de Vigo y Complexo Hospitalario Universitario de Ourense). Financiado por la Xunta de Galicia (GPC ED431B 2024/36) y la Unión Europea. Presentado en IberSPEECH 2026.