Investigación / La voz como señal clínica / [2]
Radial LoRA: un parámetro que hace funcionar LoRA en el habla clínica
Radial LoRA: Enhancing Parameter-Efficient Fine-Tuning for Clinical Speech Assessment. IberSPEECH 2026, 2026.
Atemperar el tamaño de la entrada del adaptador con un exponente aprendible por capa eleva el Macro-F1 en 12,4 puntos sobre LoRA con el mismo presupuesto de parámetros (p = 4,4 × 10⁻¹⁰) en cuatro corpus de habla clínica, y supera al ajuste fino completo con unas 322 veces menos parámetros entrenables.
El problema
Los grandes modelos autosupervisados de habla se transfieren bien, pero los conjuntos de datos de habla clínica reúnen unos cientos de hablantes como mucho. El ajuste fino completo se sobreajusta a ellos, y los métodos eficientes en parámetros como LoRA funcionan peor cuando la información que separa el habla sana de la patológica está en la dirección de las representaciones ocultas y no en su tamaño. La actualización de LoRA es lineal, así que trata ambas cosas igual.
Qué proponemos
R-LoRA (Radial Low-Rank Adaptation) pasa la entrada del adaptador por un operador radial antes de la proyección de rango bajo: divide la entrada por su norma elevada a un exponente aprendible λ entre 0 y 1. Con λ = 0 es LoRA; con λ = 1 la actualización solo ve la dirección de la entrada. Cada proyección adaptada aprende su propio λ, así que R-LoRA añade un parámetro por proyección: 24 en Wav2Vec2 base.
Una auditoría geométrica del modelo congelado respalda la premisa. En los cuatro corpus, las representaciones son anisótropas (coseno medio entre pares de 0,81 a 0,94), usan como mucho el 12 % de las dimensiones disponibles y separan a los hablantes sanos de los patológicos por ángulos pequeños.
Qué encontramos
En cuatro corpus clínicos, ocho rangos y cinco particiones externas, R-LoRA supera a LoRA en 12,4 puntos de Macro-F1 (IC del 95 %: de 8,9 a 15,8; p = 4,4 × 10⁻¹⁰). Gana 113 de 160 comparaciones pareadas, es significativamente mejor en tres corpus y nunca significativamente peor. Su ventaja es máxima con rango bajo (+17,4 puntos con rango 2) y sigue siendo grande con rango 256 (+10,7).
En VisIA, el corpus de ideación suicida, LoRA y el ajuste fino completo colapsan hacia la clase mayoritaria y no detectan ningún caso de ideación activa; R-LoRA alcanza una sensibilidad del 50 % en esa clase con una precisión del 80 %. En el conjunto de los corpus también eleva la sensibilidad de la clase patológica, que es lo que importa en el cribado.
El ajuste fino completo queda por detrás en todos los rangos, a 14,2 puntos de media: con unos 150 hablantes etiquetados por corpus, actualizar los 95 millones de pesos provoca sobreajuste.
Los exponentes aprendidos se quedan entre los dos extremos: λ va de 0,08 a 0,94, con mediana 0,52, así que el modelo opta por una normalización parcial, nunca por el LoRA original ni por la dirección pura.
El coste
La actualización de LoRA puede fusionarse con los pesos tras el entrenamiento, así que no cuesta nada en inferencia. La de R-LoRA no, porque su operador no es lineal. Medida con rango 8, la inferencia tarda 3,30 ms por muestra frente a 3,28, dentro del ruido entre ejecuciones, y el entrenamiento va a 0,96 veces la velocidad de LoRA.
Por qué importa
R-LoRA es un cambio directo sobre LoRA que compensa donde los datos son escasos y las representaciones están colapsadas, que es lo que ocurre en la mayor parte del habla clínica. Está definido sobre la entrada del adaptador, no sobre un modelo concreto. El método se explica paso a paso en Radial LoRA: cuando la dirección importa más que el tamaño.
Citar
Ramírez-Sánchez J.M., Docío-Fernández L., García-Caballero A.A., García-Mateo C. Radial LoRA: Enhancing Parameter-Efficient Fine-Tuning for Clinical Speech Assessment. IberSPEECH 2026, 2026.