Investigación / Recoñecemento de voz robusto e busca na fala / [3]
Quen falou e cando nas entrevistas rurais: segundo posto en ALBAYZIN 2026
Robust Speaker Diarization under Spontaneous Rural Interviews via Cross-Architecture Fusion: The IberSPEECH 2026 COSER Challenge. IberSPEECH 2026, ALBAYZIN Speech-COSER Challenge, 2026.
Axustar a segmentación de pyannote reduce a fala omitida do 18 % ao 2 %, e fusionala cun diarizador baseado en WavLM que confunde falantes 2,5 veces menos deixa a taxa de erro de diarización na proba cega no 15,72 %.
O problema
A diarización de falantes responde á pregunta «quen falou e cando». COSER pono difícil: entrevistas de 50 minutos a 2,5 horas, de tres a cinco falantes cada unha, quendas curtas, intervencións de apoio e ata un 85 % de fala superposta nun ficheiro. O reto puntúa cada trama, sen tolerancia nos límites dos segmentos e incluíndo a superposición. Dominan dous erros: a fala que o sistema omite e os falantes que confunde.
Que fixemos
Dous sistemas con fortalezas opostas, fusionados.
- A rama A é o pipeline de pyannote co seu modelo de segmentación axustado coas oito gravacións etiquetadas de COSER. Ese único cambio reduce a fala omitida de arredor do 18 % ao 2 %. Despois axustouse o seu limiar de agrupamento con Optuna, sobre características calculadas de xeito que ningunha gravación se avaliou nunca cun modelo que a vise.
- A rama B é DiariZen, un diarizador construído sobre o modelo autosupervisado WavLM-Large, empregado sen ningunha adaptación. Omite unha cuarta parte da fala, pero confunde falantes 2,5 veces menos ca a rama A (6,3 % fronte a 15,6 %).
DOVER-Lap combina os dous mediante unha votación que ten en conta a superposición: o resultado conserva a cobertura da rama A e baixa a confusión de falante ao 11,5 %.
Que atopamos
A fusión acada un 15,72 % de DER na proba cega. O achado máis útil trata do que resiste a un cambio de datos. Axustar o limiar de agrupamento gañou 2,61 puntos en desenvolvemento, pero só 0,57 no conxunto de proba. Fusionar cun modelo de arquitectura diferente gañou 0,70 puntos en desenvolvemento e 1,59 en proba: o beneficio medrou cos datos máis difíciles. A diversidade do tipo equivocado non axudou: fusionar tres copias do mesmo pipeline adestradas con sementes distintas, ou substituír DiariZen por un vector de falante máis potente da mesma familia, achegou pouco ou nada, porque os seus erros estaban correlacionados.
Por que importa
Cando os datos de proba difiren dos de desenvolvemento, un modelo construído de xeito diferente é unha fonte de ganancia máis fiable ca un limiar axustado. Na clasificación final do reto, o sistema quedou segundo de seis. A historia das dúas tarefas está en Dous segundos postos en ALBAYZIN 2026.
Citar
Ramírez-Sánchez J.M., Piñeiro-Martín A., Docío-Fernández L., García-Mateo C. Robust Speaker Diarization under Spontaneous Rural Interviews via Cross-Architecture Fusion: The IberSPEECH 2026 COSER Challenge. IberSPEECH 2026, ALBAYZIN Speech-COSER Challenge, 2026.