Documentos de traballo · fala, saúde e IA fiableVigo, 2026

Investigación / Recoñecemento de voz robusto e busca na fala / [3]

Quen falou e cando nas entrevistas rurais: segundo posto en ALBAYZIN 2026

Robust Speaker Diarization under Spontaneous Rural Interviews via Cross-Architecture Fusion: The IberSPEECH 2026 COSER Challenge. IberSPEECH 2026, ALBAYZIN Speech-COSER Challenge, 2026.

Nunha frase

Axustar a segmentación de pyannote reduce a fala omitida do 18 % ao 2 %, e fusionala cun diarizador baseado en WavLM que confunde falantes 2,5 veces menos deixa a taxa de erro de diarización na proba cega no 15,72 %.

2.ºtarefa de diarización, clasificación final
18 → 2 %fala omitida despois do axuste fino
2,5×menos confusión de falante na segunda rama

O problema

A diarización de falantes responde á pregunta «quen falou e cando». COSER pono difícil: entrevistas de 50 minutos a 2,5 horas, de tres a cinco falantes cada unha, quendas curtas, intervencións de apoio e ata un 85 % de fala superposta nun ficheiro. O reto puntúa cada trama, sen tolerancia nos límites dos segmentos e incluíndo a superposición. Dominan dous erros: a fala que o sistema omite e os falantes que confunde.

Que fixemos

Dous sistemas con fortalezas opostas, fusionados.

  • A rama A é o pipeline de pyannote co seu modelo de segmentación axustado coas oito gravacións etiquetadas de COSER. Ese único cambio reduce a fala omitida de arredor do 18 % ao 2 %. Despois axustouse o seu limiar de agrupamento con Optuna, sobre características calculadas de xeito que ningunha gravación se avaliou nunca cun modelo que a vise.
  • A rama B é DiariZen, un diarizador construído sobre o modelo autosupervisado WavLM-Large, empregado sen ningunha adaptación. Omite unha cuarta parte da fala, pero confunde falantes 2,5 veces menos ca a rama A (6,3 % fronte a 15,6 %).

DOVER-Lap combina os dous mediante unha votación que ten en conta a superposición: o resultado conserva a cobertura da rama A e baixa a confusión de falante ao 11,5 %.

Que atopamos

A fusión acada un 15,72 % de DER na proba cega. O achado máis útil trata do que resiste a un cambio de datos. Axustar o limiar de agrupamento gañou 2,61 puntos en desenvolvemento, pero só 0,57 no conxunto de proba. Fusionar cun modelo de arquitectura diferente gañou 0,70 puntos en desenvolvemento e 1,59 en proba: o beneficio medrou cos datos máis difíciles. A diversidade do tipo equivocado non axudou: fusionar tres copias do mesmo pipeline adestradas con sementes distintas, ou substituír DiariZen por un vector de falante máis potente da mesma familia, achegou pouco ou nada, porque os seus erros estaban correlacionados.

Por que importa

Cando os datos de proba difiren dos de desenvolvemento, un modelo construído de xeito diferente é unha fonte de ganancia máis fiable ca un limiar axustado. Na clasificación final do reto, o sistema quedou segundo de seis. A historia das dúas tarefas está en Dous segundos postos en ALBAYZIN 2026.

0255075100 pyannote axustado 18,2 DiariZen 34,9 Fusión 14,9
Figura 1. Compoñentes do erro nos datos de desenvolvemento (leave-one-out, %). A rama A case nunca omite fala; a rama B case nunca confunde falantes; a fusión conserva o mellor de cada unha.

Citar

Ramírez-Sánchez J.M., Piñeiro-Martín A., Docío-Fernández L., García-Mateo C. Robust Speaker Diarization under Spontaneous Rural Interviews via Cross-Architecture Fusion: The IberSPEECH 2026 COSER Challenge. IberSPEECH 2026, ALBAYZIN Speech-COSER Challenge, 2026.