Documentos de trabajo · habla, salud e IA fiableVigo, 2026

Investigación / Reconocimiento de voz robusto y búsqueda en habla / [3]

Quién habló y cuándo en entrevistas rurales: segundo puesto en ALBAYZIN 2026

Robust Speaker Diarization under Spontaneous Rural Interviews via Cross-Architecture Fusion: The IberSPEECH 2026 COSER Challenge. IberSPEECH 2026, ALBAYZIN Speech-COSER Challenge, 2026.

En una frase

Ajustar la segmentación de pyannote reduce el habla omitida del 18 % al 2 %, y fusionarlo con un diarizador basado en WavLM que confunde hablantes 2,5 veces menos deja la tasa de error de diarización en la prueba ciega en el 15,72 %.

2.ºtarea de diarización, clasificación final
18 → 2 %de habla omitida tras el ajuste
2,5×menos confusión de hablante en la segunda rama

El problema

La diarización de hablantes responde a la pregunta «quién habló y cuándo». COSER la complica: entrevistas de 50 minutos a 2,5 horas, de tres a cinco hablantes cada una, turnos cortos, señales de asentimiento y hasta un 85 % de habla solapada en un archivo. El reto puntúa cada trama, sin tolerancia en los límites de los segmentos y con el solapamiento incluido. Dominan dos errores: el habla que el sistema omite y los hablantes que confunde.

Qué hicimos

Dos sistemas con fortalezas opuestas, fusionados.

  • La rama A es el pipeline de pyannote con su modelo de segmentación ajustado con las ocho grabaciones etiquetadas de COSER. Ese único cambio reduce el habla omitida de alrededor del 18 % al 2 %. Después se ajustó su umbral de agrupamiento con Optuna, sobre características calculadas de forma que ninguna grabación se evaluara nunca con un modelo que la hubiera visto.
  • La rama B es DiariZen, un diarizador construido sobre el modelo autosupervisado WavLM-Large, usado sin ninguna adaptación. Omite una cuarta parte del habla, pero confunde hablantes 2,5 veces menos que la rama A (6,3 % frente a 15,6 %).

DOVER-Lap combina las dos mediante una votación que tiene en cuenta el solapamiento: el resultado conserva la cobertura de la rama A y reduce la confusión de hablante al 11,5 %.

Qué encontramos

La fusión alcanza un 15,72 % de DER en la prueba ciega. El hallazgo más útil tiene que ver con lo que sobrevive a un cambio de datos. Ajustar el umbral de agrupamiento ganó 2,61 puntos en desarrollo, pero solo 0,57 en el conjunto de prueba. Fusionar con un modelo de arquitectura distinta ganó 0,70 puntos en desarrollo y 1,59 en prueba: el beneficio creció con los datos más difíciles. La diversidad equivocada no ayudó: fusionar tres copias del mismo pipeline entrenadas con semillas distintas, o sustituir DiariZen por un modelo de vectores de hablante más potente de la misma familia, aportó poco o nada, porque sus errores estaban correlacionados.

Por qué importa

Cuando los datos de prueba difieren de los de desarrollo, un modelo construido de otra forma es una fuente de mejora más fiable que un umbral ajustado. En la clasificación final del reto, el sistema quedó segundo de seis. La historia de las dos tareas está en Dos segundos puestos en ALBAYZIN 2026.

0255075100 pyannote ajustado 18,2 DiariZen 34,9 Fusión 14,9
Figura 1. Componentes del error en los datos de desarrollo (leave-one-out, %). La rama A apenas omite habla; la rama B apenas confunde hablantes; la fusión conserva lo mejor de cada una.

Citar

Ramírez-Sánchez J.M., Piñeiro-Martín A., Docío-Fernández L., García-Mateo C. Robust Speaker Diarization under Spontaneous Rural Interviews via Cross-Architecture Fusion: The IberSPEECH 2026 COSER Challenge. IberSPEECH 2026, ALBAYZIN Speech-COSER Challenge, 2026.