Documentos de traballo · fala, saúde e IA fiableVigo, 2026

Investigador · enxeñeiro de ML_

O que revela a voz, e como facer segura a IA que escoita

José Manuel Ramírez Sánchez1

1Grupo de Tecnoloxías Multimedia (GTM), Centro de Investigación atlanTTic, Universidade de Vigo

0000-0003-4700-6592 josemspeechtech

Lámina I. O autor, tramado Atkinson de 1 bit.

Resumo

Son investigador en tecnoloxías da fala e da linguaxe, rematando o meu doutoramento na Universidade de Vigo, e enxeñeiro que leva os modelos a produción. Constrúo modelos que len a saúde na voz: COVID persistente, doenzas respiratorias, malestar emocional e risco de suicidio. Na industria, entreguei o clasificador de voz da plataforma de cribado de COPERIA en Bahía Software, e agora asesoro a Balidea en sistemas de IA axéntica para o Servizo Galego de Saúde (SERGAS). Agora céntrome en que a IA xerativa que fala con persoas vulnerables estea aliñada, sexa robusta e difícil de empregar indebidamente.

Palabras clave — biomarcadores de voz; aprendizaxe multimodal; representacións autosupervisadas da fala; seguridade da IA; aliñamento; salvagardas para IA xerativa; IA para a saúde mental.

§1 Liñas de investigación

Táboa 1. Liñas de traballo, as modalidades implicadas e os artigos de cada unha.
LiñaModalidadeRefs.
A voz como sinal clínico [1][2][7][9]
IA para a saúde mental e salvagardas conversacionais [5][6][8]
Recoñecemento de voz robusto e busca na fala [3][4][12][13][14][15][16][17]
Tecnoloxía lingüística para linguas con poucos recursos [10][11]
Aliñamento e salvagardas para IA xerativa (actual) —

§2 Artigos destacados

  1. [1]

    Un paseo curto fai máis fiable o cribado por voz: as tuses e vogais gravadas despois do exercicio revelan as secuelas post-COVID mellor ca as gravadas en repouso.

    Vera-López Á. et al. · Frontiers in Medicine · 2026

    Journal Ler resumo DOI
    Cita completa

    Vera-López Á., Tilves-Santiago D., Ramírez-Sánchez J.M., Docío-Fernández L., García-Mateo C., Bustillo-Casado M., García-Caballero A.A. Improving respiratory disease detection through SSL-enhanced acoustic analysis and exercise-rest measurements. Frontiers in Medicine, 2026.

  2. [2]

    Unha nova forma de adaptar grandes modelos de voz a conxuntos clínicos pequenos, que supera a LoRA en 12,4 puntos en catro tarefas de saúde e é o único método que detecta a ideación suicida nunha delas.

    Ramírez-Sánchez J.M. et al. · IberSPEECH · 2026

    Conference Ler resumo
    Cita completa

    Ramírez-Sánchez J.M., Docío-Fernández L., García-Caballero A.A., García-Mateo C. Radial LoRA: Enhancing Parameter-Efficient Fine-Tuning for Clinical Speech Assessment. IberSPEECH 2026, 2026.

  3. [3]

    Un sistema que identifica quen fala e cando en longas entrevistas rurais, fusionando dous diarizadores complementarios: segundo posto no track de diarización de ALBAYZIN 2026.

    Ramírez-Sánchez J.M. et al. · IberSPEECH · 2026

    Conference Ler resumo
    Cita completa

    Ramírez-Sánchez J.M., Piñeiro-Martín A., Docío-Fernández L., García-Mateo C. Robust Speaker Diarization under Spontaneous Rural Interviews via Cross-Architecture Fusion: The IberSPEECH 2026 COSER Challenge. IberSPEECH 2026, ALBAYZIN Speech-COSER Challenge, 2026.

  4. [4]

    Un recoñecedor de voz para o español rural dialectal, adaptando Whisper cun novo método de baixo rango: segundo posto no track de ASR de ALBAYZIN 2026.

    Ramírez-Sánchez J.M. et al. · IberSPEECH · 2026

    Conference Ler resumo
    Cita completa

    Ramírez-Sánchez J.M., Esperon-Couceiro A., Piñeiro-Martín A., Docío-Fernández L., García-Mateo C. Robust Speech Recognition under Spontaneous Rural Interviews via Radial Low Rank Adaptation: The IberSPEECH 2026 Speech-COSER Challenge. IberSPEECH 2026, ALBAYZIN Speech-COSER Challenge, 2026.

  5. [6]

    Un axente conversacional deseñado para detectar factores de risco de suicidio durante unha conversa en directo e responder de forma segura cando os atopa.

    Ramírez Sánchez J.M. et al. · IWSDS · 2025

    Conference Link
    Cita completa

    Ramírez Sánchez J.M., Manso Vázquez M., García-Mateo C., Docío-Fernández L., Fernández-Iglesias M.J., Gómez-Gómez B., Pinal B., Brañas A., García-Caballero A. Design of a conversational agent to support people on suicide risk. IWSDS 2025 (International Workshop on Spoken Dialogue Systems Technology), 2025.

  6. [9]

    O primeiro estudo que comproba se as gravacións de voz abondan para distinguir pacientes con COVID persistente de persoas sas. As tuses despois do esforzo funcionaron mellor.

    Ramírez Sánchez J.M. et al. · JMIR Preprints · 2023

    Preprint Ler resumo DOI
    Cita completa

    Ramírez Sánchez J.M., Docío-Fernández L., García Mateo C., Bustillo-Casado M., García-Caballero A.A. Identifying patients with Long COVID: study of the effectiveness of voice signal analysis and machine learning. JMIR Preprints, 2023.

  7. [16]

    MFCC ou PLP? En silencio apenas importa; con ruído, os MFCC manteñen mellor o recoñecemento de voz, mentres que os PLP decodifican máis rápido. O meu primeiro artigo.

    Ramírez Sánchez J.M. et al. · Revista Ingeniería Electrónica · 2019

    Journal Ler resumo Link
    Cita completa

    Ramírez Sánchez J.M., Montalvo Bereau A.R., Calvo de Lara J.R. Evaluación de Rasgos Acústicos para el Reconocimiento Automático del Habla en Escenarios Ruidosos usando Kaldi. Revista Ingeniería Electrónica, Automática y Comunicaciones (RIELAC) 40(3), 2019.

Todos os artigos (17) →

§3 Titoriais

MFCC e PLP desde cero: como aprenderon a escoitar as máquinas

Constrúe paso a paso en NumPy os dous trazos clásicos da fala, segue un fotograma de voz real a través de ambos pipelines e observa que lles fai o ruído. O front end que usaba todo recoñecedor antes do deep learning, e o tema do meu primeiro artigo.

NumPySciPylibrosaWhisper

Fine-tuning de Whisper con Optuna, validación cruzada e MLflow

Un ciclo completo e reproducible de fine-tuning de Whisper sobre voz real, con validación cruzada agrupada, pruning con Optuna, runs aniñados en MLflow e un test bloqueado, que remata nunha decisión explícita fronte a un baseline zero-shot.

WhisperTransformersOptunaMLflowLibriSpeech

Radial LoRA en Whisper, implementado desde cero

Escribe R-LoRA en poucas liñas de PyTorch, compróbao numericamente, adestra un clasificador Whisper xunto a un LoRA de referencia e aprende as dúas cousas que cambian na práctica: a taxa de aprendizaxe e a fusión.

WhisperPyTorchR-LoRAPEFTscikit-learn

O 10 % da terminal: laboratorio con catro flags

As catro habilidades do post da terminal, practicadas nun servidor SSH de verdade dentro de Google Colab. Cada sección agocha unha flag, e unha cela de comprobación dite cantas tes.

BashOpenSSHtmuxtop

§4 Escritos

Radial LoRA: cando a dirección importa máis ca o tamaño

R-LoRA é unha variante de LoRA que tempera o tamaño da entrada do adaptador cun expoñente aprendido por capa. En catro corpus de voz clínica supera a LoRA en 12,4 puntos de Macro-F1, e aplícase sen cambios a calquera Transformer que LoRA poida adaptar.