Documentos de traballo · fala, saúde e IA fiableVigo, 2026

Investigación / A voz como sinal clínico / [2]

Radial LoRA: un parámetro que fai funcionar LoRA na fala clínica

Radial LoRA: Enhancing Parameter-Efficient Fine-Tuning for Clinical Speech Assessment. IberSPEECH 2026, 2026.

Nunha frase

Temperar o tamaño da entrada do adaptador cun expoñente aprendible por capa eleva o Macro-F1 en 12,4 puntos sobre LoRA co mesmo orzamento de parámetros (p = 4,4 × 10⁻¹⁰) en catro corpus de fala clínica, e supera o axuste fino completo con unhas 322 veces menos parámetros adestrables.

+12,4puntos de Macro-F1 sobre LoRA
4corpus clínicos
+24parámetros máis que LoRA
< 1 %de tempo de inferencia engadido

O problema

Os grandes modelos de fala autosupervisados transfiren ben, pero os conxuntos de datos de fala clínica reúnen uns centos de falantes como moito. O axuste fino completo sobreaxústase a eles, e os métodos eficientes en parámetros como LoRA funcionan peor cando a información que separa a fala sa da patolóxica está na dirección das representacións ocultas e non no seu tamaño. A actualización de LoRA é lineal, así que trata as dúas da mesma maneira.

Que propoñemos

R-LoRA (Radial Low-Rank Adaptation) pasa a entrada do adaptador por un operador radial antes da proxección de rango baixo: divide a entrada pola súa norma elevada a un expoñente aprendible λ entre 0 e 1. Con λ = 0 é LoRA; con λ = 1 a actualización só ve a dirección da entrada. Cada proxección adaptada aprende o seu propio λ, así que R-LoRA engade un parámetro por proxección: 24 en Wav2Vec2 base.

Unha auditoría xeométrica do modelo conxelado respalda a premisa. Nos catro corpus, as representacións son anisótropas (coseno medio entre pares de 0,81 a 0,94), usan como moito o 12 % das dimensións dispoñibles e separan os falantes sans dos patolóxicos por ángulos pequenos.

Que atopamos

En catro corpus clínicos, oito rangos e cinco particións externas, R-LoRA supera a LoRA en 12,4 puntos de Macro-F1 (IC do 95 %: de 8,9 a 15,8; p = 4,4 × 10⁻¹⁰). Gaña 113 de 160 comparacións emparelladas, é significativamente mellor en tres corpus e nunca significativamente peor. A súa vantaxe é máxima en rango baixo (+17,4 puntos con rango 2) e aínda grande con rango 256 (+10,7).

En VisIA, o corpus de ideación suicida, LoRA e o axuste fino completo colapsan cara á clase maioritaria e non detectan ningún caso de ideación activa; R-LoRA acada unha sensibilidade do 50 % nesa clase cunha precisión do 80 %. No conxunto dos corpus, eleva tamén a sensibilidade da clase patolóxica, que é o que importa para o cribado.

O axuste fino completo queda por detrás en todos os rangos, 14,2 puntos de media: con uns 150 falantes etiquetados por corpus, actualizar os 95 millóns de pesos leva ao sobreaxuste.

Os expoñentes aprendidos quedan entre os dous extremos: λ vai de 0,08 a 0,94, cunha mediana de 0,52, así que o modelo escolle unha normalización parcial, nunca LoRA pura e nunca só a dirección.

O compromiso

A actualización de LoRA pódese fusionar cos pesos despois do adestramento, así que non custa nada na inferencia. A de R-LoRA non, porque o seu operador non é lineal. Medido con rango 8, a inferencia leva 3,30 fronte a 3,28 ms por mostra, dentro do ruído entre execucións, e o adestramento vai a 0,96 veces o rendemento de LoRA.

Por que importa

R-LoRA é un cambio directo sobre LoRA que compensa onde os datos son escasos e as representacións están colapsadas, o que describe a maior parte da fala clínica. Defínese sobre a entrada do adaptador, non sobre un modelo concreto. O método explícase paso a paso en Radial LoRA: cando a dirección importa máis ca o tamaño.

0255075100 NeuroVoz 1,1 COPERIA /a/ 14,1 COPERIA tose 10,2 VisIA 24,1 Todos os corpus 12,4
Figura 1. Ganancia media de Macro-F1 de R-LoRA sobre LoRA (puntos), promediada en oito rangos e cinco particións externas. Significativa en todos os corpus agás NeuroVoz.

Citar

Ramírez-Sánchez J.M., Docío-Fernández L., García-Caballero A.A., García-Mateo C. Radial LoRA: Enhancing Parameter-Efficient Fine-Tuning for Clinical Speech Assessment. IberSPEECH 2026, 2026.