Escritos /
Dos segundos puestos en ALBAYZIN 2026: reconocer y diarizar el español rural
Mis sistemas quedaron segundos en las dos tareas, reconocimiento del habla y diarización, del reto ALBAYZIN 2026 Speech-COSER, sobre español rural dialectal, entrenados solo con los datos COSER del propio reto.
Las evaluaciones ALBAYZIN son la referencia veterana en tecnologías del habla para las lenguas de la península ibérica y se celebran junto al congreso IberSPEECH. Todos los equipos reciben los mismos datos y la organización los puntúa sobre un conjunto de prueba ciego que nadie ha visto. En la edición de 2026, Speech-COSER, mis sistemas quedaron segundos en reconocimiento automático del habla y segundos en diarización de hablantes, entre seis equipos en cada tarea, con grupos de investigación y empresas como Telefónica y pyannoteAI.
Tres cosas dan peso a estos resultados. En reconocimiento del habla, el primer puesto quedó a 0,09 puntos de tasa de error de palabra (WER), y el equipo de Telefónica terminó por detrás. En diarización, el único equipo por delante fue pyannoteAI, la empresa detrás de pyannote, la herramienta de referencia en diarización y la base de mi propio sistema. Y los dos sistemas fueron los únicos del reto entrenados sin más datos que las grabaciones COSER proporcionadas por la organización, sobre modelos preentrenados públicos.
Por qué COSER es difícil
COSER, el Corpus Oral y Sonoro del Español Rural, reúne entrevistas etnográficas grabadas por la España rural: conversaciones de cincuenta minutos a dos horas y media entre una persona entrevistadora y entre tres y cinco hablantes locales, en variedades dialectales muy marcadas. El habla se solapa (hasta un 85 % de un archivo), la relación señal-ruido va de unos 8 a 30 dB y en algunas provincias el español se mezcla con el gallego, el catalán o el euskera. Las transcripciones son literales: pos, pa y torcío se escriben como se pronuncian, así que cualquier sistema que las «corrija» hacia el español estándar sale penalizado.
Los dos sistemas responden a esa dificultad con dos familias de métodos. El reconocimiento del habla se apoya en el ajuste fino eficiente en parámetros: adaptar un único modelo potente al dominio tocando menos del 1 % de sus pesos. La diarización de hablantes se apoya en la votación de salidas: combinar dos sistemas que se equivocan de forma distinta.
Reconocimiento del habla: ajuste fino eficiente con R-LoRA
Por qué eficiente en parámetros
Whisper-large-v3 tiene 1500 millones de parámetros y el reto ofrece unas 23 horas de audio del dominio. Ajustar todos los pesos con tan pocos datos sale caro en memoria y tiende a borrar lo que el modelo ya sabe. LoRA mantiene congelados los pesos preentrenados y aprende una pequeña actualización de rango bajo junto a cada capa adaptada: dos matrices estrechas, A y B, cuyo producto tiene la forma del peso original.
Qué cambia R-LoRA
La actualización de LoRA estándar es lineal en su entrada, así que reacciona tanto al tamaño de una activación oculta como a su dirección. R-LoRA (LoRA radial) parte de la hipótesis de que la señal útil para la adaptación está sobre todo en la dirección. Antes de la proyección descendente, pasa la entrada por un operador radial que la divide por su norma elevada a una potencia λ. Cada capa adaptada aprende su propio λ entre 0 y 1: con 0 es LoRA estándar; con 1 la actualización solo ve la dirección. El coste respecto a LoRA es un parámetro por capa. Presenté R-LoRA para habla clínica; LoRA radial: cuando la dirección importa más que el tamaño lo explica a fondo.
El sistema
- Adaptadores: rango 16 en las proyecciones de atención (query, key, value, output) del codificador y del decodificador, unos 15 millones de parámetros entrenables, el 0,98 % del modelo. λ parte de 0,5.
- Entrenamiento: unas 23 horas de 35 grabaciones, con SpecAugment en línea, tasa de aprendizaje 2 × 10⁻⁵, lote de 32 y parada temprana. Cabe en unos 10 GB de memoria de GPU.
- Selección del modelo: sobre grabaciones completas reservadas, no sobre segmentos cortos. El mejor checkpoint con el audio completo llegó antes que el mejor con segmentos, así que el atajo cómodo habría elegido el modelo equivocado.
- Inferencia: normalización de sonoridad (el audio de prueba estaba unos 7 dB más alto que el de entrenamiento), detección de actividad de voz con Silero, búsqueda en haz y un prior de idioma según la provincia de cada grabación.
- Empaquetado: como el operador radial no es lineal, los adaptadores no pueden fusionarse con los pesos como los de LoRA. El modelo se distribuye como un único modelo autocontenido de Hugging Face con su propio código, de modo que desplegarlo es una sola llamada de carga.
Qué dicen los números
| Prueba ciega, 22 grabaciones | WER bruta | WER normalizada |
|---|---|---|
| Whisper-large-v3, zero-shot | 45,25 | 31,32 |
| + LoRA | 45,10 | 29,24 |
| + R-LoRA | 41,58 | 26,31 |
En los datos de desarrollo, LoRA y R-LoRA estaban a solo 0,33 puntos; en la prueba ciega la diferencia creció hasta 2,93. LoRA fue además más frágil: en el estudio de ablación, un checkpoint después del mejor, su WER saltó del 39,8 % al 55,6 %, mientras que R-LoRA se degradó con suavidad. Ambas observaciones apuntan a lo mismo: atemperar la entrada ayuda a que la adaptación generalice y a que el entrenamiento sea más estable.
Votar y corregir la transcripción: ROVER y modelos de lenguaje
Una vez que el reconocedor ha producido sus hipótesis, hay dos tipos habituales de posprocesado. ROVER alinea varias transcripciones palabra a palabra en una única red y conserva, en cada posición, la palabra con más votos ponderados por confianza. La corrección con modelos de lenguaje reescribe la transcripción hacia lo que un modelo de lenguaje considera más probable.
En COSER solo ayudó ROVER: votar sobre las n mejores hipótesis del propio modelo restó 0,7 puntos de WER. Todos los correctores basados en modelos de lenguaje empeoraron el resultado, entre 0,2 y 2,9 puntos: un reevaluador de n-gramas del dominio, un mT5 ajustado y Gemma 3 12B con la instrucción de preservar el dialecto. Todos arrastran la transcripción hacia el español estándar (coge se convierte en cogen), y una referencia literal cuenta cada uno de esos cambios como un error. Esas pruebas se hicieron con una versión anterior de la decodificación, unos 4 puntos peor que la enviada, así que ninguno de los dos acabó en el sistema final. El artículo de ASR recoge la ablación completa.
Diarización de hablantes: votar entre sistemas que fallan de forma distinta
La diarización responde a la pregunta «quién habló y cuándo». Su tasa de error (DER) suma tres componentes: falsas alarmas (habla donde no la hay), habla omitida y confusión de hablante (habla atribuida al hablante equivocado). En COSER dominan las dos últimas.
Dos ramas con fortalezas opuestas
- Rama A, pyannote ajustado. El pipeline de pyannote segmenta el audio en actividad local de cada hablante, extrae un vector de hablante de cada segmento y agrupa esos vectores. Ajustar solo su modelo de segmentación con las ocho entrevistas etiquetadas (5 épocas) redujo el habla omitida de alrededor del 18 % al 2 %. Después se ajustó el umbral de agrupamiento con Optuna sobre características precalculadas por partición, de modo que ninguna grabación se evaluó nunca con un modelo que la hubiera visto. El modelo de vectores de hablante se dejó intacto: con unos 40 hablantes distintos en total, adaptarlo provocaba sobreajuste.
- Rama B, DiariZen. Un diarizador de extremo a extremo construido sobre el modelo autosupervisado WavLM-Large, usado sin adaptación. Por sí solo es peor, porque omite una cuarta parte del habla, pero confunde hablantes 2,5 veces menos que la rama A.
| Desarrollo, leave-one-out (%) | Falsa alarma | Omitida | Confusión | DER |
|---|---|---|---|---|
| A · pyannote ajustado | ≈ 0 | 2,0 | 15,6 | 18,2 |
| B · DiariZen, zero-shot | 5,4 | 23,3 | 6,3 | 34,9 |
| Fusión DOVER-Lap | ≈ 0,5 | 2,0 | 11,5 | 14,9 |
DOVER-Lap: ROVER para la diarización
DOVER (diarization output voting error reduction) traslada la idea de ROVER de las palabras a los hablantes. Dos diarizaciones no se pueden comparar directamente, porque cada una nombra a sus hablantes de forma arbitraria: el «hablante 1» de un sistema puede ser el «hablante 3» del otro. DOVER-Lap busca primero una correspondencia global entre las etiquetas de los sistemas, emparejando las que más se solapan en el tiempo. Después vota región a región, con el voto de cada sistema ponderado por su posición, y permite que varios hablantes ganen la misma región, que es lo que exige el habla solapada.
La fusión hereda la cobertura casi completa de la rama A y reduce su confusión de hablante del 15,6 % al 11,5 %. En la prueba ciega alcanzó un 15,72 % de DER en las ejecuciones del artículo.
Qué se transfiere a datos no vistos
| Cambio | Mejora en desarrollo | Mejora en prueba ciega |
|---|---|---|
| Ajustar el umbral de agrupamiento | −2,61 puntos | −0,57 puntos |
| Añadir DiariZen mediante DOVER-Lap | −0,70 puntos | −1,59 puntos |
El umbral ajustado perdió casi todo su valor en el conjunto de prueba; la segunda arquitectura ganó más en prueba que en desarrollo. No toda diversidad funciona: fusionar tres copias del mismo pipeline entrenadas con semillas distintas, o sustituir DiariZen por un vector de hablante más potente de la misma familia, aportó poco o empeoró el resultado, porque sus errores estaban correlacionados. Votar solo ayuda cuando los votantes fallan de forma distinta. El artículo de diarización recoge el análisis.
Qué demuestra esto
- Resultados en condiciones de evaluación, frente a equipos de la industria y del mundo académico, sobre datos que ninguno habíamos visto.
- Métodos elegidos por los datos, no por la clasificación: un adaptador eficiente en parámetros para un conjunto pequeño del dominio y una fusión de dos arquitecturas para un cambio de dominio.
- Disciplina con los datos: ningún dato de entrenamiento externo, validación leave-one-out sobre grabaciones completas y decisiones tomadas con audio reservado en lugar de con atajos cómodos.
- Ingeniería que se puede desplegar: el sistema de ASR es un único modelo autocontenido con su pila de inferencia; el de diarización son dos componentes existentes, uno de ellos adaptado, fusionados con un método estándar.
Los dos sistemas se desarrollaron con Andrés Piñeiro-Martín, Laura Docío-Fernández y Carmen García-Mateo, y el de reconocimiento del habla también con Alejandro Esperon-Couceiro, en la Universidade de Vigo y Balidea. Ambos se presentan en IberSPEECH 2026.
Las posiciones y puntuaciones de las figuras 1 y 3 proceden de la clasificación final del reto, cerrada el 30 de septiembre de 2026; la tabla completa, con todos los equipos, es pública en Codabench. Los detalles de los métodos y las demás tablas proceden de los dos artículos, que recogen sus propias ejecuciones sobre la prueba ciega, por lo que sus cifras difieren de las de la clasificación.