Escritos /
Radial LoRA: cando a dirección importa máis ca o tamaño
R-LoRA é unha variante de LoRA que tempera o tamaño da entrada do adaptador cun expoñente aprendido por capa. En catro corpus de voz clínica supera a LoRA en 12,4 puntos de Macro-F1, e aplícase sen cambios a calquera Transformer que LoRA poida adaptar.
Os grandes modelos de fala preadestrados saben moito da voz, pero os conxuntos de datos clínicos son pequenos: uns centos de falantes como moito. Adaptar un modelo de 95 millóns de parámetros a 150 pacientes é o problema cotián da IA para a saúde baseada na fala, e o tema da miña tese. Radial LoRA (R-LoRA) é o método que propoño para abordalo, presentado en IberSPEECH 2026: un cambio dun só parámetro en LoRA que, en catro corpus clínicos, eleva o Macro-F1 en 12,4 puntos co mesmo orzamento de parámetros.
A idea nun parágrafo
LoRA adapta unha matriz de pesos conxelada sumándolle unha pequena actualización de rango baixo, e esa actualización é lineal na súa entrada: reacciona tanto ao grande que é unha activación oculta como á dirección cara á que apunta. Dentro dun Transformer, a normalización de capa mantén as representacións sobre unha esfera de raio fixo, e en moitas dimensións o ángulo entre dous vectores di máis ca a súa distancia. R-LoRA pídelle ao adaptador que atenda primeiro á dirección: antes da proxección de rango baixo, divide a entrada pola súa norma elevada a unha potencia aprendible λ.
Como funciona
Para un peso conxelado W₀, LoRA calcula h = W₀x + (α/r)·BAx, onde A e B son matrices estreitas de rango r. R-LoRA cambia unha soa cousa: a rama recibe Tλ(x) = x / (‖x‖ + ε)λ en lugar de x.
- λ = 0 devolve o LoRA orixinal.
- λ = 1 proxecta a entrada sobre a esfera unidade: a actualización depende só da súa dirección.
- Os valores intermedios conservan parte da magnitude.
λ apréndese, un valor por proxección adaptada, mediante unha sigmoide que o mantén entre 0 e 1. Como en LoRA, B comeza en cero, así que o adestramento parte exactamente do modelo preadestrado e descobre por si só canta normalización necesita cada capa. En Wav2Vec2 base, con adaptadores nas proxeccións de consulta e valor das súas 12 capas, iso suma 24 parámetros aos 290 000 de LoRA con rango 8.
Por que debería axudar na fala clínica
O artigo mide primeiro a xeometría do modelo conxelado en cada corpus. As representacións están amoreadas: os seus vectores apuntan case na mesma dirección, ocupan unha pequena fracción do espazo, e aos falantes sans e patolóxicos sepáranos ángulos pequenos.
| Corpus | Tarefa | Coseno medio | Dimensións co 90 % da varianza | Ángulo entre clases |
|---|---|---|---|---|
| NeuroVoz | enfermidade de Parkinson | 0,81 | 30 | 8,5° |
| COPERIA /a/ | COVID persistente, vogal sostida | 0,84 | 24 | 21,1° |
| COPERIA tose | COVID persistente, tose | 0,94 | 22 | 5,4° |
| VisIA | ideación suicida, fala espontánea | 0,90 | 16 | 12,2° |
Cando todo apunta case na mesma dirección, o sinal útil está en pequenas diferenzas de dirección, e un adaptador lineal gasta parte da súa capacidade en seguir o tamaño da entrada.
Que atopamos
A comparación é estrita: Wav2Vec2 base, oito rangos de 2 a 256, R-LoRA e LoRA co mesmo rango, validación cruzada aniñada 5 × 5 estratificada por falante, e todas as métricas calculadas por falante, a unidade que importa clinicamente.
- En conxunto: +12,4 puntos de Macro-F1 (IC do 95 %: de 8,9 a 15,8), con 113 vitorias en 160 comparacións emparelladas. Significativo en tres corpus e nunca significativamente peor.
- Con calquera orzamento: a vantaxe é máxima no rango máis pequeno (+17,4 puntos con rango 2) e aínda é de +10,7 con rango 256.
- Fronte ao axuste fino completo: actualizar os 95 millóns de pesos queda por detrás en todos os rangos, a 14,2 puntos de media. R-LoRA iguálao ou supérao en todos os corpus adestrando unhas 322 veces menos parámetros.
O caso que máis importa é VisIA:
| VisIA, mellor rango por método | Macro-F1 | Sensibilidade, ideación activa | Precisión, ideación activa |
|---|---|---|---|
| Axuste fino completo | 36,3 | 0,0 | 0,0 |
| LoRA | 46,4 | 0,0 | 0,0 |
| R-LoRA | 67,0 | 50,0 | 80,0 |
Os dous modelos de referencia colapsan cara á clase maioritaria e nunca detectan unha persoa con ideación suicida activa. R-LoRA atopa a metade. No cribado, o caso que se escapa é o erro caro, e no conxunto dos catro corpus R-LoRA eleva a sensibilidade da clase patolóxica do 51,9 % ao 59,0 %.
Onde LoRA xa funciona ben, hai menos que gañar: en NeuroVoz queda a menos de dous puntos da mellor puntuación que acada calquera método, e R-LoRA engade só 1,1 puntos, non significativos.
Que escolle o modelo
Con liberdade para escoller, cada capa sitúase nalgún punto intermedio. Ese é o mecanismo detrás da ganancia: nin a entrada en bruto de LoRA nin unha puramente direccional, senón un compromiso aprendido que cambia segundo a capa e o corpus.
O custo
R-LoRA renuncia a unha das comodidades de LoRA. Unha actualización LoRA é lineal, así que despois do adestramento pode fusionarse cos pesos e non custa nada en inferencia. O operador radial non é lineal, de modo que a rama de R-LoRA ten que executarse en cada pasada cara adiante. Medida con rango 8, a inferencia tarda 3,30 ms por mostra fronte a 3,28 dunha rama LoRA sen fusionar, dentro do ruído entre execucións; o adestramento vai a 0,96 veces a velocidade de LoRA, coa mesma memoria. Para un cribado fóra de liña con datos escasos, é un prezo pequeno.
Non só para a fala clínica
Nada en R-LoRA é específico da fala nin da saúde. Cambia a entrada do adaptador, non o modelo, así que se aplica alí onde se aplica LoRA: calquera proxección lineal de calquera Transformer, para clasificación ou para xeración.
Polo de agora, a evidencia abrangue dous escenarios. No artigo, Wav2Vec2 clasificando catro condicións clínicas. E na miña participación no desafío de recoñecemento da fala ALBAYZIN 2026, Whisper-large-v3, un codificador-descodificador adestrado para transcribir, adaptado ao español dialectal rural: no test cego, R-LoRA acadou unha taxa de erro por palabra normalizada do 26,31 % fronte ao 29,24 % de LoRA, co mesmo rango e os mesmos datos, e adestrou de forma máis estable.
O que non se transfire automaticamente é o tamaño da ganancia. É maior onde as representacións están máis colapsadas e os datos son máis escasos, e o artigo prevé que codificadores máis potentes, con espazos mellor condicionados, amosen un efecto menor. Os Transformers de texto e de visión están sen probar. Os seguintes pasos son WavLM e HuBERT, e unha comparación directa con DoRA, que normaliza os pesos en lugar da entrada; os dous actúan sobre cousas distintas e poderían combinarse.
O artigo, co protocolo completo e a estatística, está na súa páxina de Investigación. Para implementalo pola túa conta, o titorial Radial LoRA en Whisper, implementado desde cero constrúeo en PyTorch e adéstrao xunto a LoRA na CPU dun portátil.
Con Laura Docío-Fernández, Alejandro García-Caballero e Carmen García-Mateo (Universidade de Vigo e Complexo Hospitalario Universitario de Ourense). Financiado pola Xunta de Galicia (GPC ED431B 2024/36) e a Unión Europea. Presentado en IberSPEECH 2026.