Documentos de trabajo · habla, salud e IA fiableVigo, 2026

Investigación / Reconocimiento de voz robusto y búsqueda en habla / [4]

Reconocer el español rural con Radial LoRA: segundo puesto en ALBAYZIN 2026

Robust Speech Recognition under Spontaneous Rural Interviews via Radial Low Rank Adaptation: The IberSPEECH 2026 Speech-COSER Challenge. IberSPEECH 2026, ALBAYZIN Speech-COSER Challenge, 2026.

En una frase

Adaptar menos del 1 % de los pesos de Whisper-large-v3 con R-LoRA sobre unas 23 horas de entrevistas rurales reduce la tasa de error por palabra normalizada en la prueba ciega del 31,32 % al 26,31 %, mientras que LoRA estándar solo llega al 29,24 %.

2.ºtarea de ASR, clasificación final
−5,0puntos de WER frente a zero-shot
< 1 %de los pesos entrenados
23 hde audio del dominio

El problema

COSER, el Corpus Oral y Sonoro del Español Rural, reúne entrevistas etnográficas grabadas por la España rural, con habla solapada, ruido de fondo y, en algunas provincias, gallego, catalán o euskera. Sus transcripciones son literales, así que formas dialectales como pos, pa o torcío se escriben como se pronuncian. Un reconocedor entrenado con español estándar las devuelve a pues, para o torcido, y cada una de esas correcciones cuenta como un error.

Qué hicimos

Ajustamos Whisper-large-v3 con unas 23 horas de audio de COSER usando R-LoRA (Radial Low-Rank Adaptation), un método presentado primero para habla clínica. R-LoRA es una variante de LoRA que atempera el tamaño de cada entrada antes de la actualización de rango bajo, con un exponente aprendible por capa adaptada: con 0 es LoRA estándar; con 1 la actualización solo ve la dirección de la entrada. Añade un único parámetro por capa respecto a LoRA. Como esa atemperación no es lineal, los adaptadores no pueden fusionarse con los pesos, así que el modelo se empaqueta y se sirve como un único modelo autocontenido de Hugging Face.

A su alrededor, una cadena de inferencia breve: normalización de sonoridad, detección de actividad de voz con Silero y un prior de idioma tomado de la provincia de cada grabación.

Qué encontramos

En la prueba ciega, R-LoRA alcanza un 26,31 % de WER normalizada, cinco puntos por debajo del modelo zero-shot. LoRA estándar, que en los datos de desarrollo estaba solo 0,33 puntos por detrás, acaba 2,93 puntos por detrás en el conjunto de prueba. LoRA también fue más frágil en el entrenamiento: un checkpoint después del mejor, su WER se disparó del 39,8 % al 55,6 %, mientras que R-LoRA se degradó con suavidad.

Un resultado negativo que conviene conocer: todos los correctores basados en modelos de lenguaje que probamos (un reevaluador de n-gramas, Gemma 3 12B con instrucciones de preservar el dialecto y un mT5 ajustado) empeoraron la WER, entre 0,2 y 2,9 puntos. Todos arrastran la salida hacia el español estándar, y una referencia dialectal literal lo cuenta como error.

Por qué importa

Con un conjunto de datos del dominio pequeño, la elección del adaptador cambió el resultado en prueba más de lo que sugerían los datos de desarrollo. En la clasificación final del reto, el sistema quedó segundo de seis, a 0,09 puntos del ganador. La historia de las dos tareas está en Dos segundos puestos en ALBAYZIN 2026.

0255075100 Zero-shot 31,3 LoRA 29,2 R-LoRA 26,3
Figura 1. WER normalizada (%) en la prueba ciega de 22 grabaciones, según el artículo. Cuanto más baja, mejor.

Citar

Ramírez-Sánchez J.M., Esperon-Couceiro A., Piñeiro-Martín A., Docío-Fernández L., García-Mateo C. Robust Speech Recognition under Spontaneous Rural Interviews via Radial Low Rank Adaptation: The IberSPEECH 2026 Speech-COSER Challenge. IberSPEECH 2026, ALBAYZIN Speech-COSER Challenge, 2026.