Documentos de trabajo · habla, salud e IA fiableVigo, 2026

Investigador · ingeniero de ML_

Lo que revela la voz, y cómo hacer segura la IA que escucha

José Manuel Ramírez Sánchez1

1Grupo de Tecnologías Multimedia (GTM), Centro de Investigación atlanTTic, Universidade de Vigo

0000-0003-4700-6592 josemspeechtech

Lámina I. El autor, tramado Atkinson de 1 bit.

Resumen

Soy investigador en tecnologías del habla y del lenguaje, terminando mi doctorado en la Universidade de Vigo, e ingeniero que lleva los modelos a producción. Construyo modelos que leen la salud en la voz: COVID persistente, enfermedades respiratorias, malestar emocional y riesgo suicida. En la industria, entregué el clasificador de voz de la plataforma de cribado de COPERIA en Bahía Software, y ahora asesoro a Balidea en sistemas de IA agéntica para el Servicio Gallego de Salud (SERGAS). Ahora me centro en que la IA generativa que habla con personas vulnerables esté alineada, sea robusta y difícil de usar indebidamente.

Palabras clave — biomarcadores de voz; aprendizaje multimodal; representaciones autosupervisadas del habla; seguridad de la IA; alineamiento; salvaguardas para IA generativa; IA para la salud mental.

§1 Líneas de investigación

Tabla 1. Líneas de trabajo, las modalidades implicadas y los artículos de cada una.
LíneaModalidadRefs.
La voz como señal clínica [1][2][7][9]
IA para la salud mental y salvaguardas conversacionales [5][6][8]
Reconocimiento de voz robusto y búsqueda en habla [3][4][12][13][14][15][16][17]
Tecnología lingüística para lenguas con pocos recursos [10][11]
Alineamiento y salvaguardas para IA generativa (actual) —

§2 Artículos destacados

  1. [1]

    Un paseo corto hace más fiable el cribado por voz: las toses y vocales grabadas tras el ejercicio revelan las secuelas post-COVID mejor que las grabadas en reposo.

    Vera-López Á. et al. · Frontiers in Medicine · 2026

    Journal Leer resumen DOI
    Cita completa

    Vera-López Á., Tilves-Santiago D., Ramírez-Sánchez J.M., Docío-Fernández L., García-Mateo C., Bustillo-Casado M., García-Caballero A.A. Improving respiratory disease detection through SSL-enhanced acoustic analysis and exercise-rest measurements. Frontiers in Medicine, 2026.

  2. [2]

    Una nueva forma de adaptar grandes modelos de voz a conjuntos clínicos pequeños, que supera a LoRA en 12,4 puntos en cuatro tareas de salud y es el único método que detecta la ideación suicida en una de ellas.

    Ramírez-Sánchez J.M. et al. · IberSPEECH · 2026

    Conference Leer resumen
    Cita completa

    Ramírez-Sánchez J.M., Docío-Fernández L., García-Caballero A.A., García-Mateo C. Radial LoRA: Enhancing Parameter-Efficient Fine-Tuning for Clinical Speech Assessment. IberSPEECH 2026, 2026.

  3. [3]

    Un sistema que identifica quién habla y cuándo en largas entrevistas rurales, fusionando dos diarizadores complementarios: segundo puesto en el track de diarización de ALBAYZIN 2026.

    Ramírez-Sánchez J.M. et al. · IberSPEECH · 2026

    Conference Leer resumen
    Cita completa

    Ramírez-Sánchez J.M., Piñeiro-Martín A., Docío-Fernández L., García-Mateo C. Robust Speaker Diarization under Spontaneous Rural Interviews via Cross-Architecture Fusion: The IberSPEECH 2026 COSER Challenge. IberSPEECH 2026, ALBAYZIN Speech-COSER Challenge, 2026.

  4. [4]

    Un reconocedor de voz para el español rural dialectal, adaptando Whisper con un nuevo método de bajo rango: segundo puesto en el track de ASR de ALBAYZIN 2026.

    Ramírez-Sánchez J.M. et al. · IberSPEECH · 2026

    Conference Leer resumen
    Cita completa

    Ramírez-Sánchez J.M., Esperon-Couceiro A., Piñeiro-Martín A., Docío-Fernández L., García-Mateo C. Robust Speech Recognition under Spontaneous Rural Interviews via Radial Low Rank Adaptation: The IberSPEECH 2026 Speech-COSER Challenge. IberSPEECH 2026, ALBAYZIN Speech-COSER Challenge, 2026.

  5. [6]

    Un agente conversacional diseñado para detectar factores de riesgo suicida durante una conversación en directo y responder de forma segura cuando los encuentra.

    Ramírez Sánchez J.M. et al. · IWSDS · 2025

    Conference Link
    Cita completa

    Ramírez Sánchez J.M., Manso Vázquez M., García-Mateo C., Docío-Fernández L., Fernández-Iglesias M.J., Gómez-Gómez B., Pinal B., Brañas A., García-Caballero A. Design of a conversational agent to support people on suicide risk. IWSDS 2025 (International Workshop on Spoken Dialogue Systems Technology), 2025.

  6. [9]

    El primer estudio que comprueba si las grabaciones de voz bastan para distinguir a pacientes con COVID persistente de personas sanas. Las toses tras el esfuerzo funcionaron mejor.

    Ramírez Sánchez J.M. et al. · JMIR Preprints · 2023

    Preprint Leer resumen DOI
    Cita completa

    Ramírez Sánchez J.M., Docío-Fernández L., García Mateo C., Bustillo-Casado M., García-Caballero A.A. Identifying patients with Long COVID: study of the effectiveness of voice signal analysis and machine learning. JMIR Preprints, 2023.

  7. [16]

    ¿MFCC o PLP? En silencio apenas importa; con ruido, los MFCC mantienen mejor el reconocimiento de voz, mientras que los PLP decodifican más rápido. Mi primer artículo.

    Ramírez Sánchez J.M. et al. · Revista Ingeniería Electrónica · 2019

    Journal Leer resumen Link
    Cita completa

    Ramírez Sánchez J.M., Montalvo Bereau A.R., Calvo de Lara J.R. Evaluación de Rasgos Acústicos para el Reconocimiento Automático del Habla en Escenarios Ruidosos usando Kaldi. Revista Ingeniería Electrónica, Automática y Comunicaciones (RIELAC) 40(3), 2019.

Todos los artículos (17) →

§3 Tutoriales

MFCC y PLP desde cero: cómo aprendieron a escuchar las máquinas

Construye paso a paso en NumPy los dos rasgos clásicos del habla, sigue un fotograma de voz real a través de ambos pipelines y observa qué les hace el ruido. El front end que usaba todo reconocedor antes del deep learning, y el tema de mi primer artículo.

NumPySciPylibrosaWhisper

Fine-tuning de Whisper con Optuna, validación cruzada y MLflow

Un ciclo completo y reproducible de fine-tuning de Whisper sobre voz real, con validación cruzada agrupada, pruning con Optuna, runs anidados en MLflow y un test bloqueado, que termina en una decisión explícita frente a un baseline zero-shot.

WhisperTransformersOptunaMLflowLibriSpeech

Radial LoRA en Whisper, implementado desde cero

Escribe R-LoRA en unas pocas líneas de PyTorch, compruébalo numéricamente, entrena un clasificador Whisper junto a un LoRA de referencia y aprende las dos cosas que cambian en la práctica: la tasa de aprendizaje y la fusión.

WhisperPyTorchR-LoRAPEFTscikit-learn

El 10 % de la terminal: laboratorio con cuatro flags

Las cuatro habilidades del post de la terminal, practicadas en un servidor SSH de verdad dentro de Google Colab. Cada sección esconde una flag, y una celda de comprobación te dice cuántas tienes.

BashOpenSSHtmuxtop

§4 Escritos

Radial LoRA: cuando la dirección importa más que el tamaño

R-LoRA es una variante de LoRA que atempera el tamaño de la entrada del adaptador con un exponente aprendido por capa. En cuatro corpus de voz clínica supera a LoRA en 12,4 puntos de Macro-F1, y se aplica sin cambios a cualquier Transformer que LoRA pueda adaptar.