Documentos de traballo · fala, saúde e IA fiableVigo, 2026

Investigación / Recoñecemento de voz robusto e busca na fala / [4]

Recoñecer o español rural con Radial LoRA: segundo posto en ALBAYZIN 2026

Robust Speech Recognition under Spontaneous Rural Interviews via Radial Low Rank Adaptation: The IberSPEECH 2026 Speech-COSER Challenge. IberSPEECH 2026, ALBAYZIN Speech-COSER Challenge, 2026.

Nunha frase

Adaptar menos do 1 % dos pesos de Whisper-large-v3 con R-LoRA sobre unhas 23 horas de entrevistas rurais reduce a taxa de erro de palabra normalizada na proba cega do 31,32 % ao 26,31 %, e a LoRA estándar só chega ao 29,24 %.

2.ºtarefa de ASR, clasificación final
−5,0puntos de WER fronte ao zero-shot
< 1 %dos pesos adestrados
23 hde audio do dominio

O problema

COSER, o Corpus Oral y Sonoro del Español Rural, reúne entrevistas etnográficas gravadas pola España rural, con fala superposta, ruído de fondo e, nalgunhas provincias, galego, catalán ou éuscaro. As súas transcricións son literais, así que formas dialectais como pos, pa ou torcío escríbense tal como se pronuncian. Un recoñecedor adestrado con español estándar devólveas a pues, para ou torcido, e cada unha desas correccións conta como un erro.

Que fixemos

Axustamos Whisper-large-v3 con unhas 23 horas de audio de COSER mediante R-LoRA (Radial Low-Rank Adaptation), un método presentado primeiro para fala clínica. R-LoRA é unha variante de LoRA que tempera o tamaño de cada entrada antes da actualización de rango baixo, cun expoñente aprendible por capa adaptada: con 0 é a LoRA estándar; con 1 a actualización só ve a dirección da entrada. Engade un único parámetro por capa respecto de LoRA. Como esa temperación non é lineal, os adaptadores non se poden fusionar cos pesos, así que o modelo se empaqueta e se serve como un único modelo autocontido de Hugging Face.

Ao seu redor, unha breve cadea de inferencia: normalización da sonoridade, detección de actividade de voz con Silero e un prior de lingua tirado da provincia de cada gravación.

Que atopamos

Na proba cega, R-LoRA acada un 26,31 % de WER normalizada, cinco puntos por baixo do modelo zero-shot. A LoRA estándar, que nos datos de desenvolvemento só quedaba 0,33 puntos por detrás, remata 2,93 puntos por detrás no conxunto de proba. LoRA foi ademais máis fráxil no adestramento: un checkpoint despois do mellor, o modelo colapsou e a súa WER saltou do 39,8 % ao 55,6 %, mentres que R-LoRA se degradou con suavidade.

Un resultado negativo que convén coñecer: todos os correctores posteriores baseados en modelos de linguaxe que probamos (un reordenador de hipóteses con n-gramas, Gemma 3 12B con instrucións para preservar o dialecto e un mT5 axustado) empeoraron a WER, entre 0,2 e 2,9 puntos. Todos levan a saída cara ao español estándar, que unha referencia dialectal literal conta como erro.

Por que importa

Cun conxunto de datos do dominio pequeno, a elección do adaptador cambiou o resultado en proba máis do que suxerían os datos de desenvolvemento. Na clasificación final do reto, o sistema quedou segundo de seis, a 0,09 puntos do gañador. A historia das dúas tarefas está en Dous segundos postos en ALBAYZIN 2026.

0255075100 Zero-shot 31,3 LoRA 29,2 R-LoRA 26,3
Figura 1. WER normalizada (%) na proba cega de 22 gravacións, segundo o artigo. Canto máis baixa, mellor.

Citar

Ramírez-Sánchez J.M., Esperon-Couceiro A., Piñeiro-Martín A., Docío-Fernández L., García-Mateo C. Robust Speech Recognition under Spontaneous Rural Interviews via Radial Low Rank Adaptation: The IberSPEECH 2026 Speech-COSER Challenge. IberSPEECH 2026, ALBAYZIN Speech-COSER Challenge, 2026.