Documentos de traballo · fala, saúde e IA fiableVigo, 2026

Escritos /

Dous segundos postos en ALBAYZIN 2026: recoñecer e diarizar o español rural

Nunha frase

Os meus sistemas quedaron segundos nas dúas tarefas, recoñecemento da fala e diarización, do reto ALBAYZIN 2026 Speech-COSER, sobre español rural dialectal, adestrados só cos datos COSER do propio reto.

As avaliacións ALBAYZIN son a referencia veterana en tecnoloxías da fala para as linguas da península Ibérica e celébranse xunto ao congreso IberSPEECH. Todos os equipos reciben os mesmos datos e a organización puntúaos sobre un conxunto de proba cego que ninguén viu. Na edición de 2026, Speech-COSER, os meus sistemas quedaron segundos en recoñecemento automático da fala e segundos en diarización de falantes, entre seis equipos en cada tarefa, con grupos de investigación e empresas como Telefónica e pyannoteAI.

2.º / 6recoñecemento da fala
2.º / 6diarización de falantes
0,09puntos de WER respecto do primeiro posto
Só COSERningún dato de adestramento alleo ao reto

Tres cousas dan peso a estes resultados. En recoñecemento da fala, o primeiro posto quedou a 0,09 puntos de taxa de erro de palabra (WER), e o equipo de Telefónica rematou por detrás. En diarización, o único equipo por diante foi pyannoteAI, a empresa que está detrás de pyannote, a ferramenta de referencia en diarización e a base do meu propio sistema. E os dous sistemas foron os únicos do reto adestrados sen máis datos ca as gravacións COSER que facilitou a organización, sobre modelos preadestrados públicos.

Por que COSER é difícil

COSER, o Corpus Oral y Sonoro del Español Rural, reúne entrevistas etnográficas gravadas pola España rural: conversas de cincuenta minutos a dúas horas e media entre unha persoa entrevistadora e entre tres e cinco falantes locais, en variedades dialectais moi marcadas. A fala superponse (ata un 85 % dun ficheiro), a relación sinal-ruído vai duns 8 a 30 dB e nalgunhas provincias o español mestúrase co galego, o catalán ou o éuscaro. As transcricións son literais: pos, pa e torcío escríbense tal como se pronuncian, así que calquera sistema que as «corrixa» cara ao español estándar sae penalizado.

Os dous sistemas responden a esa dificultade con dúas familias de métodos. O recoñecemento da fala apóiase no axuste fino eficiente en parámetros: adaptar un único modelo potente ao dominio tocando menos do 1 % dos seus pesos. A diarización de falantes apóiase na votación de saídas: combinar dous sistemas que se equivocan de xeito distinto.

Recoñecemento da fala: axuste fino eficiente con R-LoRA

0102030 1.º posto 20,5 Este traballo 20,6 Telefónica 22,2 4.º 22,6 5.º 23,0 6.º 28,9
Figura 1. Clasificación final da tarefa de recoñecemento da fala, WER normalizada (%), por posición. Canto máis baixa, mellor.

Por que eficiente en parámetros

Whisper-large-v3 ten 1500 millóns de parámetros e o reto ofrece unhas 23 horas de audio do dominio. Axustar todos os pesos con tan poucos datos sae caro en memoria e tende a borrar o que o modelo xa sabe. LoRA mantén conxelados os pesos preadestrados e aprende unha pequena actualización de rango baixo xunto a cada capa adaptada: dúas matrices estreitas, A e B, cuxo produto ten a forma do peso orixinal.

Que cambia R-LoRA

A actualización da LoRA estándar é lineal na súa entrada, así que reacciona tanto ao tamaño dunha activación oculta coma á súa dirección. R-LoRA (LoRA radial) parte da hipótese de que o sinal útil para a adaptación está sobre todo na dirección. Antes da proxección descendente, pasa a entrada por un operador radial que a divide pola súa norma elevada a unha potencia λ. Cada capa adaptada aprende o seu propio λ entre 0 e 1: con 0 é LoRA estándar; con 1 a actualización só ve a dirección. O custo respecto de LoRA é un parámetro por capa. Presentei R-LoRA para fala clínica; LoRA radial: cando a dirección importa máis ca o tamaño explícao a fondo.

LoRA lineal en x x W₀ · conxelado, 1,5 B parámetros A B × α / r + h r × kd × r R-LoRA aprende λ x W₀ · conxelado, 1,5 B parámetros T_λ A B × α / r + h r × kd × r temperado radial λ = 0 LoRA sen máis λ = 0,5 normalizado en parte λ = 1 só dirección h = W₀x + (α/r) · B A T_λ(x) T_λ(x) = x / (‖x‖ + ε)^λ, λ ∈ [0, 1] B comeza en cero: o adestramento parte do modelo preadestrado. T_λ non é lineal: a actualización non se pode fusionar con W₀.
Figura 2. LoRA e R-LoRA, segundo o artigo. Ambos manteñen conxelado o peso preadestrado e engaden unha rama de rango baixo; R-LoRA intercala un operador, Tλ, que tempera o tamaño da entrada antes dela. Á dereita: a mesma entrada temperada con λ = 0, 0,5 e 1.

O sistema

  • Adaptadores: rango 16 nas proxeccións de atención (query, key, value, output) do codificador e do descodificador, uns 15 millóns de parámetros adestrables, o 0,98 % do modelo. λ parte de 0,5.
  • Adestramento: unhas 23 horas de 35 gravacións, con SpecAugment en liña, taxa de aprendizaxe 2 × 10⁻⁵, lote de 32 e parada temperá. Cabe nuns 10 GB de memoria de GPU.
  • Selección do modelo: sobre gravacións completas reservadas, non sobre segmentos curtos. O mellor checkpoint co audio completo chegou antes ca o mellor con segmentos, así que o atallo cómodo escollería o modelo equivocado.
  • Inferencia: normalización da sonoridade (o audio de proba estaba uns 7 dB máis alto ca o de adestramento), detección de actividade de voz con Silero, busca en feixe e un prior de lingua segundo a provincia de cada gravación.
  • Empaquetado: como o operador radial non é lineal, os adaptadores non se poden fusionar cos pesos como os de LoRA. O modelo distribúese como un único modelo autocontido de Hugging Face co seu propio código, de xeito que despregalo é unha soa chamada de carga.

Que din os números

Proba cega, 22 gravaciónsWER brutaWER normalizada
Whisper-large-v3, zero-shot45,2531,32
+ LoRA45,1029,24
+ R-LoRA41,5826,31

Nos datos de desenvolvemento, LoRA e R-LoRA estaban a só 0,33 puntos; na proba cega a diferenza medrou ata 2,93. LoRA foi ademais máis fráxil: no estudo de ablación, un checkpoint despois do mellor, a súa WER saltou do 39,8 % ao 55,6 %, mentres que R-LoRA se degradou con suavidade. Ambas as observacións apuntan ao mesmo: temperar a entrada axuda a que a adaptación xeneralice e a que o adestramento sexa máis estable.

Votar e corrixir a transcrición: ROVER e modelos de linguaxe

Unha vez que o recoñecedor produciu as súas hipóteses, hai dous tipos habituais de posprocesamento. ROVER aliña varias transcricións palabra a palabra nunha única rede e conserva, en cada posición, a palabra con máis votos ponderados pola confianza. A corrección con modelos de linguaxe reescribe a transcrición cara ao que un modelo de linguaxe considera máis probable.

En COSER só axudou ROVER: votar sobre as n mellores hipóteses do propio modelo restou 0,7 puntos de WER. Todos os correctores baseados en modelos de linguaxe empeoraron o resultado, entre 0,2 e 2,9 puntos: un reavaliador de n-gramas do dominio, un mT5 axustado e Gemma 3 12B coa instrución de preservar o dialecto. Todos arrastran a transcrición cara ao español estándar (coge convértese en cogen), e unha referencia literal conta cada un deses cambios como un erro. Esas probas fixéronse cunha versión anterior da descodificación, uns 4 puntos peor ca a enviada, así que ningún dos dous acabou no sistema final. O artigo de ASR recolle a ablación completa.

Diarización de falantes: votar entre sistemas que fallan de xeito distinto

05101520 pyannoteAI 10,4 Este traballo 12,1 3.º 12,4 4.º 13,0 5.º 13,3 6.º 18,6
Figura 3. Clasificación final da tarefa de diarización de falantes, taxa de erro de diarización (%), sen collar e puntuando a superposición, por posición. Canto máis baixa, mellor.

A diarización responde á pregunta «quen falou e cando». A súa taxa de erro (DER) suma tres compoñentes: falsas alarmas (fala onde non a hai), fala omitida e confusión de falante (fala atribuída ao falante equivocado). En COSER dominan as dúas últimas.

Dúas ramas con fortalezas opostas

  • Rama A, pyannote axustado. O pipeline de pyannote segmenta o audio en actividade local de cada falante, extrae un vector de falante de cada segmento e agrupa eses vectores. Axustar só o seu modelo de segmentación coas oito entrevistas etiquetadas (5 épocas) reduciu a fala omitida de arredor do 18 % ao 2 %. Despois axustouse o limiar de agrupamento con Optuna sobre características precalculadas por partición, de xeito que ningunha gravación se avaliou nunca cun modelo que a vise. O modelo de vectores de falante deixouse intacto: cuns 40 falantes distintos en total, adaptalo provocaba sobreaxuste.
  • Rama B, DiariZen. Un diarizador de extremo a extremo construído sobre o modelo autosupervisado WavLM-Large, empregado sen adaptación. Por si só é peor, porque omite unha cuarta parte da fala, pero confunde falantes 2,5 veces menos ca a rama A.
Desenvolvemento, leave-one-out (%)Falsa alarmaOmitidaConfusiónDER
A · pyannote axustado≈ 02,015,618,2
B · DiariZen, zero-shot5,423,36,334,9
Fusión DOVER-Lap≈ 0,52,011,514,9

DOVER-Lap: ROVER para a diarización

DOVER (diarization output voting error reduction) traslada a idea de ROVER das palabras aos falantes. Dúas diarizacións non se poden comparar directamente, porque cada unha nomea os seus falantes de xeito arbitrario: o «falante 1» dun sistema pode ser o «falante 3» do outro. DOVER-Lap busca primeiro unha correspondencia global entre as etiquetas dos sistemas, emparellando as que máis se superpoñen no tempo. Despois vota rexión a rexión, co voto de cada sistema ponderado pola súa posición, e permite que varios falantes gañen a mesma rexión, que é o que esixe a fala superposta.

A · pyannote axustado case toda a fala B · DiariZen (WavLM) ocos, poucas confusións Fusión (DOVER-Lap) a cobertura de A 1 · emparellar etiquetas entre sistemas emparéllanse as que máis se solapan no tempo 2 · votar rexión a rexión pesos por rango; dous falantes poden compartir rexión falante 1 falante 2 etiqueta de máis (unha confusión) tempo →
Figura 4. DOVER-Lap, de xeito esquemático: os segmentos son ilustrativos. A saída fusionada conserva a cobertura da rama A mentres a votación corrixe as etiquetas. No sistema real, a votación reduciu a confusión de falante do 15,6 % ao 11,5 %, non a cero.

A fusión herda a cobertura case completa da rama A e reduce a súa confusión de falante do 15,6 % ao 11,5 %. Na proba cega acadou un 15,72 % de DER nas execucións do artigo.

Que se transfire a datos non vistos

CambioMellora en desenvolvementoMellora en proba cega
Axustar o limiar de agrupamento−2,61 puntos−0,57 puntos
Engadir DiariZen mediante DOVER-Lap−0,70 puntos−1,59 puntos

O limiar axustado perdeu case todo o seu valor no conxunto de proba; a segunda arquitectura gañou máis en proba ca en desenvolvemento. Non toda diversidade funciona: fusionar tres copias do mesmo pipeline adestradas con sementes distintas, ou substituír DiariZen por un vector de falante máis potente da mesma familia, achegou pouco ou empeorou o resultado, porque os seus erros estaban correlacionados. Votar só axuda cando os votantes fallan de xeito distinto. O artigo de diarización recolle a análise.

Que demostra isto

  • Resultados en condicións de avaliación, fronte a equipos da industria e do mundo académico, sobre datos que ningún de nós vira.
  • Métodos escollidos polos datos, non pola clasificación: un adaptador eficiente en parámetros para un conxunto pequeno do dominio e unha fusión de dúas arquitecturas para un cambio de dominio.
  • Disciplina cos datos: ningún dato de adestramento externo, validación leave-one-out sobre gravacións completas e decisións tomadas con audio reservado en lugar de con atallos cómodos.
  • Enxeñaría que se pode despregar: o sistema de ASR é un único modelo autocontido coa súa pila de inferencia; o de diarización son dous compoñentes existentes, un deles adaptado, fusionados cun método estándar.

Os dous sistemas desenvolvéronse con Andrés Piñeiro-Martín, Laura Docío-Fernández e Carmen García-Mateo, e o de recoñecemento da fala tamén con Alejandro Esperon-Couceiro, na Universidade de Vigo e Balidea. Ambos se presentan en IberSPEECH 2026.

As posicións e puntuacións das figuras 1 e 3 proceden da clasificación final do reto, pechada o 30 de setembro de 2026; a táboa completa, con todos os equipos, é pública en Codabench. Os detalles dos métodos e as demais táboas proceden dos dous artigos, que recollen as súas propias execucións sobre a proba cega, polo que as súas cifras difiren das da clasificación.