Documentos de traballo · fala, saúde e IA fiableVigo, 2026

Escritos /

Radial LoRA: cando a dirección importa máis ca o tamaño

Nunha frase

R-LoRA é unha variante de LoRA que tempera o tamaño da entrada do adaptador cun expoñente aprendido por capa. En catro corpus de voz clínica supera a LoRA en 12,4 puntos de Macro-F1, e aplícase sen cambios a calquera Transformer que LoRA poida adaptar.

Os grandes modelos de fala preadestrados saben moito da voz, pero os conxuntos de datos clínicos son pequenos: uns centos de falantes como moito. Adaptar un modelo de 95 millóns de parámetros a 150 pacientes é o problema cotián da IA para a saúde baseada na fala, e o tema da miña tese. Radial LoRA (R-LoRA) é o método que propoño para abordalo, presentado en IberSPEECH 2026: un cambio dun só parámetro en LoRA que, en catro corpus clínicos, eleva o Macro-F1 en 12,4 puntos co mesmo orzamento de parámetros.

+12,4puntos de Macro-F1 sobre LoRA
p = 4,4 × 10⁻¹⁰proba emparellada, 160 comparacións
+24parámetros máis que LoRA
< 1 %de tempo de inferencia engadido fronte a LoRA sen fusionar

A idea nun parágrafo

LoRA adapta unha matriz de pesos conxelada sumándolle unha pequena actualización de rango baixo, e esa actualización é lineal na súa entrada: reacciona tanto ao grande que é unha activación oculta como á dirección cara á que apunta. Dentro dun Transformer, a normalización de capa mantén as representacións sobre unha esfera de raio fixo, e en moitas dimensións o ángulo entre dous vectores di máis ca a súa distancia. R-LoRA pídelle ao adaptador que atenda primeiro á dirección: antes da proxección de rango baixo, divide a entrada pola súa norma elevada a unha potencia aprendible λ.

LoRA lineal en x x W₀ · conxelado A B × α / r + h r × kd × r R-LoRA aprende λ x W₀ · conxelado T_λ A B × α / r + h r × kd × r temperado radial λ = 0 LoRA sen máis λ = 0,5 normalizado en parte λ = 1 só dirección h = W₀x + (α/r) · B A T_λ(x) T_λ(x) = x / (‖x‖ + ε)^λ, λ ∈ [0, 1] B comeza en cero: o adestramento parte do modelo preadestrado. T_λ non é lineal: a actualización non se pode fusionar con W₀.
Figura 1. LoRA e R-LoRA. Ambos manteñen conxelado o peso preadestrado e engaden unha rama de rango baixo; R-LoRA insire un operador, Tλ, que tempera o tamaño da entrada. Á dereita: a mesma entrada despois de temperala con λ = 0, 0,5 e 1.

Como funciona

Para un peso conxelado W₀, LoRA calcula h = W₀x + (α/r)·BAx, onde A e B son matrices estreitas de rango r. R-LoRA cambia unha soa cousa: a rama recibe Tλ(x) = x / (‖x‖ + ε)λ en lugar de x.

  • λ = 0 devolve o LoRA orixinal.
  • λ = 1 proxecta a entrada sobre a esfera unidade: a actualización depende só da súa dirección.
  • Os valores intermedios conservan parte da magnitude.

λ apréndese, un valor por proxección adaptada, mediante unha sigmoide que o mantén entre 0 e 1. Como en LoRA, B comeza en cero, así que o adestramento parte exactamente do modelo preadestrado e descobre por si só canta normalización necesita cada capa. En Wav2Vec2 base, con adaptadores nas proxeccións de consulta e valor das súas 12 capas, iso suma 24 parámetros aos 290 000 de LoRA con rango 8.

Por que debería axudar na fala clínica

O artigo mide primeiro a xeometría do modelo conxelado en cada corpus. As representacións están amoreadas: os seus vectores apuntan case na mesma dirección, ocupan unha pequena fracción do espazo, e aos falantes sans e patolóxicos sepáranos ángulos pequenos.

CorpusTarefaCoseno medioDimensións co 90 % da varianzaÁngulo entre clases
NeuroVozenfermidade de Parkinson0,81308,5°
COPERIA /a/COVID persistente, vogal sostida0,842421,1°
COPERIA toseCOVID persistente, tose0,94225,4°
VisIAideación suicida, fala espontánea0,901612,2°

Cando todo apunta case na mesma dirección, o sinal útil está en pequenas diferenzas de dirección, e un adaptador lineal gasta parte da súa capacidade en seguir o tamaño da entrada.

Que atopamos

A comparación é estrita: Wav2Vec2 base, oito rangos de 2 a 256, R-LoRA e LoRA co mesmo rango, validación cruzada aniñada 5 × 5 estratificada por falante, e todas as métricas calculadas por falante, a unidade que importa clinicamente.

0102030 NeuroVoz 1,1 COPERIA /a/ 14,1 COPERIA tose 10,2 VisIA 24,1 Todos os corpus 12,4
Figura 2. Ganancia media de Macro-F1 de R-LoRA sobre LoRA (puntos), promediada en oito rangos e cinco particións externas. Significativa en COPERIA e VisIA tras a corrección de Holm; non significativa en NeuroVoz.
  • En conxunto: +12,4 puntos de Macro-F1 (IC do 95 %: de 8,9 a 15,8), con 113 vitorias en 160 comparacións emparelladas. Significativo en tres corpus e nunca significativamente peor.
  • Con calquera orzamento: a vantaxe é máxima no rango máis pequeno (+17,4 puntos con rango 2) e aínda é de +10,7 con rango 256.
  • Fronte ao axuste fino completo: actualizar os 95 millóns de pesos queda por detrás en todos os rangos, a 14,2 puntos de media. R-LoRA iguálao ou supérao en todos os corpus adestrando unhas 322 veces menos parámetros.

O caso que máis importa é VisIA:

VisIA, mellor rango por métodoMacro-F1Sensibilidade, ideación activaPrecisión, ideación activa
Axuste fino completo36,30,00,0
LoRA46,40,00,0
R-LoRA67,050,080,0

Os dous modelos de referencia colapsan cara á clase maioritaria e nunca detectan unha persoa con ideación suicida activa. R-LoRA atopa a metade. No cribado, o caso que se escapa é o erro caro, e no conxunto dos catro corpus R-LoRA eleva a sensibilidade da clase patolóxica do 51,9 % ao 59,0 %.

Onde LoRA xa funciona ben, hai menos que gañar: en NeuroVoz queda a menos de dous puntos da mellor puntuación que acada calquera método, e R-LoRA engade só 1,1 puntos, non significativos.

Que escolle o modelo

01 LoRA sen máis só dirección mediana 0,52 0,080,94 banda tramada: de 0,1 a 0,9, onde cae o 88 % dos valores aprendidos
Figura 3. Expoñentes λ aprendidos nas 32 celas corpus × rango sobre Wav2Vec2. Van de 0,08 a 0,94, con mediana 0,52: o modelo opta por unha normalización parcial, nunca polo LoRA orixinal nin pola dirección pura.

Con liberdade para escoller, cada capa sitúase nalgún punto intermedio. Ese é o mecanismo detrás da ganancia: nin a entrada en bruto de LoRA nin unha puramente direccional, senón un compromiso aprendido que cambia segundo a capa e o corpus.

O custo

R-LoRA renuncia a unha das comodidades de LoRA. Unha actualización LoRA é lineal, así que despois do adestramento pode fusionarse cos pesos e non custa nada en inferencia. O operador radial non é lineal, de modo que a rama de R-LoRA ten que executarse en cada pasada cara adiante. Medida con rango 8, a inferencia tarda 3,30 ms por mostra fronte a 3,28 dunha rama LoRA sen fusionar, dentro do ruído entre execucións; o adestramento vai a 0,96 veces a velocidade de LoRA, coa mesma memoria. Para un cribado fóra de liña con datos escasos, é un prezo pequeno.

Non só para a fala clínica

Nada en R-LoRA é específico da fala nin da saúde. Cambia a entrada do adaptador, non o modelo, así que se aplica alí onde se aplica LoRA: calquera proxección lineal de calquera Transformer, para clasificación ou para xeración.

Polo de agora, a evidencia abrangue dous escenarios. No artigo, Wav2Vec2 clasificando catro condicións clínicas. E na miña participación no desafío de recoñecemento da fala ALBAYZIN 2026, Whisper-large-v3, un codificador-descodificador adestrado para transcribir, adaptado ao español dialectal rural: no test cego, R-LoRA acadou unha taxa de erro por palabra normalizada do 26,31 % fronte ao 29,24 % de LoRA, co mesmo rango e os mesmos datos, e adestrou de forma máis estable.

O que non se transfire automaticamente é o tamaño da ganancia. É maior onde as representacións están máis colapsadas e os datos son máis escasos, e o artigo prevé que codificadores máis potentes, con espazos mellor condicionados, amosen un efecto menor. Os Transformers de texto e de visión están sen probar. Os seguintes pasos son WavLM e HuBERT, e unha comparación directa con DoRA, que normaliza os pesos en lugar da entrada; os dous actúan sobre cousas distintas e poderían combinarse.

O artigo, co protocolo completo e a estatística, está na súa páxina de Investigación. Para implementalo pola túa conta, o titorial Radial LoRA en Whisper, implementado desde cero constrúeo en PyTorch e adéstrao xunto a LoRA na CPU dun portátil.

Con Laura Docío-Fernández, Alejandro García-Caballero e Carmen García-Mateo (Universidade de Vigo e Complexo Hospitalario Universitario de Ourense). Financiado pola Xunta de Galicia (GPC ED431B 2024/36) e a Unión Europea. Presentado en IberSPEECH 2026.