Escritos /
Dous segundos postos en ALBAYZIN 2026: recoñecer e diarizar o español rural
Os meus sistemas quedaron segundos nas dúas tarefas, recoñecemento da fala e diarización, do reto ALBAYZIN 2026 Speech-COSER, sobre español rural dialectal, adestrados só cos datos COSER do propio reto.
As avaliacións ALBAYZIN son a referencia veterana en tecnoloxías da fala para as linguas da península Ibérica e celébranse xunto ao congreso IberSPEECH. Todos os equipos reciben os mesmos datos e a organización puntúaos sobre un conxunto de proba cego que ninguén viu. Na edición de 2026, Speech-COSER, os meus sistemas quedaron segundos en recoñecemento automático da fala e segundos en diarización de falantes, entre seis equipos en cada tarefa, con grupos de investigación e empresas como Telefónica e pyannoteAI.
Tres cousas dan peso a estes resultados. En recoñecemento da fala, o primeiro posto quedou a 0,09 puntos de taxa de erro de palabra (WER), e o equipo de Telefónica rematou por detrás. En diarización, o único equipo por diante foi pyannoteAI, a empresa que está detrás de pyannote, a ferramenta de referencia en diarización e a base do meu propio sistema. E os dous sistemas foron os únicos do reto adestrados sen máis datos ca as gravacións COSER que facilitou a organización, sobre modelos preadestrados públicos.
Por que COSER é difícil
COSER, o Corpus Oral y Sonoro del Español Rural, reúne entrevistas etnográficas gravadas pola España rural: conversas de cincuenta minutos a dúas horas e media entre unha persoa entrevistadora e entre tres e cinco falantes locais, en variedades dialectais moi marcadas. A fala superponse (ata un 85 % dun ficheiro), a relación sinal-ruído vai duns 8 a 30 dB e nalgunhas provincias o español mestúrase co galego, o catalán ou o éuscaro. As transcricións son literais: pos, pa e torcío escríbense tal como se pronuncian, así que calquera sistema que as «corrixa» cara ao español estándar sae penalizado.
Os dous sistemas responden a esa dificultade con dúas familias de métodos. O recoñecemento da fala apóiase no axuste fino eficiente en parámetros: adaptar un único modelo potente ao dominio tocando menos do 1 % dos seus pesos. A diarización de falantes apóiase na votación de saídas: combinar dous sistemas que se equivocan de xeito distinto.
Recoñecemento da fala: axuste fino eficiente con R-LoRA
Por que eficiente en parámetros
Whisper-large-v3 ten 1500 millóns de parámetros e o reto ofrece unhas 23 horas de audio do dominio. Axustar todos os pesos con tan poucos datos sae caro en memoria e tende a borrar o que o modelo xa sabe. LoRA mantén conxelados os pesos preadestrados e aprende unha pequena actualización de rango baixo xunto a cada capa adaptada: dúas matrices estreitas, A e B, cuxo produto ten a forma do peso orixinal.
Que cambia R-LoRA
A actualización da LoRA estándar é lineal na súa entrada, así que reacciona tanto ao tamaño dunha activación oculta coma á súa dirección. R-LoRA (LoRA radial) parte da hipótese de que o sinal útil para a adaptación está sobre todo na dirección. Antes da proxección descendente, pasa a entrada por un operador radial que a divide pola súa norma elevada a unha potencia λ. Cada capa adaptada aprende o seu propio λ entre 0 e 1: con 0 é LoRA estándar; con 1 a actualización só ve a dirección. O custo respecto de LoRA é un parámetro por capa. Presentei R-LoRA para fala clínica; LoRA radial: cando a dirección importa máis ca o tamaño explícao a fondo.
O sistema
- Adaptadores: rango 16 nas proxeccións de atención (query, key, value, output) do codificador e do descodificador, uns 15 millóns de parámetros adestrables, o 0,98 % do modelo. λ parte de 0,5.
- Adestramento: unhas 23 horas de 35 gravacións, con SpecAugment en liña, taxa de aprendizaxe 2 × 10⁻⁵, lote de 32 e parada temperá. Cabe nuns 10 GB de memoria de GPU.
- Selección do modelo: sobre gravacións completas reservadas, non sobre segmentos curtos. O mellor checkpoint co audio completo chegou antes ca o mellor con segmentos, así que o atallo cómodo escollería o modelo equivocado.
- Inferencia: normalización da sonoridade (o audio de proba estaba uns 7 dB máis alto ca o de adestramento), detección de actividade de voz con Silero, busca en feixe e un prior de lingua segundo a provincia de cada gravación.
- Empaquetado: como o operador radial non é lineal, os adaptadores non se poden fusionar cos pesos como os de LoRA. O modelo distribúese como un único modelo autocontido de Hugging Face co seu propio código, de xeito que despregalo é unha soa chamada de carga.
Que din os números
| Proba cega, 22 gravacións | WER bruta | WER normalizada |
|---|---|---|
| Whisper-large-v3, zero-shot | 45,25 | 31,32 |
| + LoRA | 45,10 | 29,24 |
| + R-LoRA | 41,58 | 26,31 |
Nos datos de desenvolvemento, LoRA e R-LoRA estaban a só 0,33 puntos; na proba cega a diferenza medrou ata 2,93. LoRA foi ademais máis fráxil: no estudo de ablación, un checkpoint despois do mellor, a súa WER saltou do 39,8 % ao 55,6 %, mentres que R-LoRA se degradou con suavidade. Ambas as observacións apuntan ao mesmo: temperar a entrada axuda a que a adaptación xeneralice e a que o adestramento sexa máis estable.
Votar e corrixir a transcrición: ROVER e modelos de linguaxe
Unha vez que o recoñecedor produciu as súas hipóteses, hai dous tipos habituais de posprocesamento. ROVER aliña varias transcricións palabra a palabra nunha única rede e conserva, en cada posición, a palabra con máis votos ponderados pola confianza. A corrección con modelos de linguaxe reescribe a transcrición cara ao que un modelo de linguaxe considera máis probable.
En COSER só axudou ROVER: votar sobre as n mellores hipóteses do propio modelo restou 0,7 puntos de WER. Todos os correctores baseados en modelos de linguaxe empeoraron o resultado, entre 0,2 e 2,9 puntos: un reavaliador de n-gramas do dominio, un mT5 axustado e Gemma 3 12B coa instrución de preservar o dialecto. Todos arrastran a transcrición cara ao español estándar (coge convértese en cogen), e unha referencia literal conta cada un deses cambios como un erro. Esas probas fixéronse cunha versión anterior da descodificación, uns 4 puntos peor ca a enviada, así que ningún dos dous acabou no sistema final. O artigo de ASR recolle a ablación completa.
Diarización de falantes: votar entre sistemas que fallan de xeito distinto
A diarización responde á pregunta «quen falou e cando». A súa taxa de erro (DER) suma tres compoñentes: falsas alarmas (fala onde non a hai), fala omitida e confusión de falante (fala atribuída ao falante equivocado). En COSER dominan as dúas últimas.
Dúas ramas con fortalezas opostas
- Rama A, pyannote axustado. O pipeline de pyannote segmenta o audio en actividade local de cada falante, extrae un vector de falante de cada segmento e agrupa eses vectores. Axustar só o seu modelo de segmentación coas oito entrevistas etiquetadas (5 épocas) reduciu a fala omitida de arredor do 18 % ao 2 %. Despois axustouse o limiar de agrupamento con Optuna sobre características precalculadas por partición, de xeito que ningunha gravación se avaliou nunca cun modelo que a vise. O modelo de vectores de falante deixouse intacto: cuns 40 falantes distintos en total, adaptalo provocaba sobreaxuste.
- Rama B, DiariZen. Un diarizador de extremo a extremo construído sobre o modelo autosupervisado WavLM-Large, empregado sen adaptación. Por si só é peor, porque omite unha cuarta parte da fala, pero confunde falantes 2,5 veces menos ca a rama A.
| Desenvolvemento, leave-one-out (%) | Falsa alarma | Omitida | Confusión | DER |
|---|---|---|---|---|
| A · pyannote axustado | ≈ 0 | 2,0 | 15,6 | 18,2 |
| B · DiariZen, zero-shot | 5,4 | 23,3 | 6,3 | 34,9 |
| Fusión DOVER-Lap | ≈ 0,5 | 2,0 | 11,5 | 14,9 |
DOVER-Lap: ROVER para a diarización
DOVER (diarization output voting error reduction) traslada a idea de ROVER das palabras aos falantes. Dúas diarizacións non se poden comparar directamente, porque cada unha nomea os seus falantes de xeito arbitrario: o «falante 1» dun sistema pode ser o «falante 3» do outro. DOVER-Lap busca primeiro unha correspondencia global entre as etiquetas dos sistemas, emparellando as que máis se superpoñen no tempo. Despois vota rexión a rexión, co voto de cada sistema ponderado pola súa posición, e permite que varios falantes gañen a mesma rexión, que é o que esixe a fala superposta.
A fusión herda a cobertura case completa da rama A e reduce a súa confusión de falante do 15,6 % ao 11,5 %. Na proba cega acadou un 15,72 % de DER nas execucións do artigo.
Que se transfire a datos non vistos
| Cambio | Mellora en desenvolvemento | Mellora en proba cega |
|---|---|---|
| Axustar o limiar de agrupamento | −2,61 puntos | −0,57 puntos |
| Engadir DiariZen mediante DOVER-Lap | −0,70 puntos | −1,59 puntos |
O limiar axustado perdeu case todo o seu valor no conxunto de proba; a segunda arquitectura gañou máis en proba ca en desenvolvemento. Non toda diversidade funciona: fusionar tres copias do mesmo pipeline adestradas con sementes distintas, ou substituír DiariZen por un vector de falante máis potente da mesma familia, achegou pouco ou empeorou o resultado, porque os seus erros estaban correlacionados. Votar só axuda cando os votantes fallan de xeito distinto. O artigo de diarización recolle a análise.
Que demostra isto
- Resultados en condicións de avaliación, fronte a equipos da industria e do mundo académico, sobre datos que ningún de nós vira.
- Métodos escollidos polos datos, non pola clasificación: un adaptador eficiente en parámetros para un conxunto pequeno do dominio e unha fusión de dúas arquitecturas para un cambio de dominio.
- Disciplina cos datos: ningún dato de adestramento externo, validación leave-one-out sobre gravacións completas e decisións tomadas con audio reservado en lugar de con atallos cómodos.
- Enxeñaría que se pode despregar: o sistema de ASR é un único modelo autocontido coa súa pila de inferencia; o de diarización son dous compoñentes existentes, un deles adaptado, fusionados cun método estándar.
Os dous sistemas desenvolvéronse con Andrés Piñeiro-Martín, Laura Docío-Fernández e Carmen García-Mateo, e o de recoñecemento da fala tamén con Alejandro Esperon-Couceiro, na Universidade de Vigo e Balidea. Ambos se presentan en IberSPEECH 2026.
As posicións e puntuacións das figuras 1 e 3 proceden da clasificación final do reto, pechada o 30 de setembro de 2026; a táboa completa, con todos os equipos, é pública en Codabench. Os detalles dos métodos e as demais táboas proceden dos dous artigos, que recollen as súas propias execucións sobre a proba cega, polo que as súas cifras difiren das da clasificación.