Investigación / Reconocimiento de voz robusto y búsqueda en habla / [3]
Quién habló y cuándo en entrevistas rurales: segundo puesto en ALBAYZIN 2026
Robust Speaker Diarization under Spontaneous Rural Interviews via Cross-Architecture Fusion: The IberSPEECH 2026 COSER Challenge. IberSPEECH 2026, ALBAYZIN Speech-COSER Challenge, 2026.
Ajustar la segmentación de pyannote reduce el habla omitida del 18 % al 2 %, y fusionarlo con un diarizador basado en WavLM que confunde hablantes 2,5 veces menos deja la tasa de error de diarización en la prueba ciega en el 15,72 %.
El problema
La diarización de hablantes responde a la pregunta «quién habló y cuándo». COSER la complica: entrevistas de 50 minutos a 2,5 horas, de tres a cinco hablantes cada una, turnos cortos, señales de asentimiento y hasta un 85 % de habla solapada en un archivo. El reto puntúa cada trama, sin tolerancia en los límites de los segmentos y con el solapamiento incluido. Dominan dos errores: el habla que el sistema omite y los hablantes que confunde.
Qué hicimos
Dos sistemas con fortalezas opuestas, fusionados.
- La rama A es el pipeline de pyannote con su modelo de segmentación ajustado con las ocho grabaciones etiquetadas de COSER. Ese único cambio reduce el habla omitida de alrededor del 18 % al 2 %. Después se ajustó su umbral de agrupamiento con Optuna, sobre características calculadas de forma que ninguna grabación se evaluara nunca con un modelo que la hubiera visto.
- La rama B es DiariZen, un diarizador construido sobre el modelo autosupervisado WavLM-Large, usado sin ninguna adaptación. Omite una cuarta parte del habla, pero confunde hablantes 2,5 veces menos que la rama A (6,3 % frente a 15,6 %).
DOVER-Lap combina las dos mediante una votación que tiene en cuenta el solapamiento: el resultado conserva la cobertura de la rama A y reduce la confusión de hablante al 11,5 %.
Qué encontramos
La fusión alcanza un 15,72 % de DER en la prueba ciega. El hallazgo más útil tiene que ver con lo que sobrevive a un cambio de datos. Ajustar el umbral de agrupamiento ganó 2,61 puntos en desarrollo, pero solo 0,57 en el conjunto de prueba. Fusionar con un modelo de arquitectura distinta ganó 0,70 puntos en desarrollo y 1,59 en prueba: el beneficio creció con los datos más difíciles. La diversidad equivocada no ayudó: fusionar tres copias del mismo pipeline entrenadas con semillas distintas, o sustituir DiariZen por un modelo de vectores de hablante más potente de la misma familia, aportó poco o nada, porque sus errores estaban correlacionados.
Por qué importa
Cuando los datos de prueba difieren de los de desarrollo, un modelo construido de otra forma es una fuente de mejora más fiable que un umbral ajustado. En la clasificación final del reto, el sistema quedó segundo de seis. La historia de las dos tareas está en Dos segundos puestos en ALBAYZIN 2026.
Citar
Ramírez-Sánchez J.M., Piñeiro-Martín A., Docío-Fernández L., García-Mateo C. Robust Speaker Diarization under Spontaneous Rural Interviews via Cross-Architecture Fusion: The IberSPEECH 2026 COSER Challenge. IberSPEECH 2026, ALBAYZIN Speech-COSER Challenge, 2026.