Documentos de trabajo · habla, salud e IA fiableVigo, 2026

Escritos /

¿Tu agente se ha vuelto terraplanista? Salvaguardas en agentes de IA para profesionales sanitarios

En una frase

Las diapositivas y las animaciones de una charla para profesionales sanitarios: qué es un agente de IA, por qué puede desviarse y qué capas de salvaguardas lo frenan.

Muchos profesionales sanitarios ya consultan dudas clínicas a ChatGPT, Gemini o Claude. El paso siguiente son los agentes: programas que no solo conversan, sino que leen la historia, mueven citas y envían informes. Esta charla explica qué son, por qué pueden desviarse (volverse terraplanistas) y cómo se protegen.

Aquí están las diapositivas completas. Las diez animaciones de la charla están más abajo, cada una en su sección; se recorren paso a paso con las flechas o con un clic.

Diapositiva 1: ¿Tu agente se ha vuelto terraplanista?Diapositiva 2: ¿Te suenan estos agentes de algo?Diapositiva 3: ¿Crees que son capaces de hacer las mismas cosas?Diapositiva 4: ¿Quién ha usado ChatGPT, Gemini o Claude para resolver una duda clínica?Diapositiva 5: Sobre míDiapositiva 6: De la ingeniería de telecomunicaciones a la IA aplicadaDiapositiva 7: De la ingeniería de telecomunicaciones a la IA aplicadaDiapositiva 8: ¿Qué es la Inteligencia Artificial?Diapositiva 9: Un nombre pensado para atraerDiapositiva 10: La batalla por el nombre: maestro contra joven colaboradorDiapositiva 11: La categoría «Inteligencia» es como «Gravedad» en la FísicaDiapositiva 12: …y le añadimos «Artificial» para ponerlo más difícilDiapositiva 13: AprendizajeDiapositiva 14: Mejor hablemos de Aprendizaje Automático (Tom Mitchell, 1997)Diapositiva 15: Animación: aprender es mejorar con la experienciaDiapositiva 16: Unas cajas dentro de otrasDiapositiva 17: Un LLM es aprendizaje automático aplicado al lenguajeDiapositiva 18: Animación: elige lo probable, no lo verdaderoDiapositiva 19: ¿Qué es un agente?Diapositiva 20: Lo que distingue a un agente de un chatDiapositiva 21: …y, si nadie lo controla, hacer cosas muy locasDiapositiva 22: Una analogía biológica: el virus y la célulaDiapositiva 23: Animación: el mismo ciclo, contado dos vecesDiapositiva 24: Modelo Agentes ReActDiapositiva 25: El diccionario biología → agentesDiapositiva 26: ADN y ARN del agente: lo permanente y lo de cada turnoDiapositiva 27: Animación: el ciclo percibir → razonar → actuar → observarDiapositiva 28: Un agente habla dos idiomasDiapositiva 29: Vosotros ya lo hacéis cada díaDiapositiva 30: El agente hace lo mismo: lenguaje natural y lenguaje de programaciónDiapositiva 31: Y además tiene manos: carpetas, comandos y un bucle de turnosDiapositiva 32: Animación: un agente trabajando por dentro, turno a turnoDiapositiva 33: Si puede escribir órdenes, también puede escribir órdenes equivocadas.Diapositiva 34: Alineamiento y ProblemaDiapositiva 35: Alineamiento del agente: ¿hacia dónde apunta su brújula?Diapositiva 36: Alineamiento por refuerzo: premio y correcciónDiapositiva 37: Cada fabricante calibra su brújula a su maneraDiapositiva 38: El problema de los datos no estructuradosDiapositiva 39: Estado del ArteDiapositiva 40: Más expresividad, menos controlDiapositiva 41: Era determinista (1960 – 2015)Diapositiva 42: Jardín vallado (1960 – 2015)Diapositiva 43: Animación: un árbol de triaje deterministaDiapositiva 44: Era estadística (2015 – 2020)Diapositiva 45: Autopista estadística (2015 – 2020)Diapositiva 46: Animación: umbral de confianza y derivación a humanoDiapositiva 47: Revolución generativa (2017 – 2026)Diapositiva 48: Destape generativo: los nuevos protagonistasDiapositiva 49: Animación: misma pregunta, tres respuestasDiapositiva 50: Cuando falla: tres casos realesDiapositiva 51: Herramientas y ExperienciasDiapositiva 52: Animación: el retrovirus, o inyección de instruccionesDiapositiva 53: Las salvaguardas son el sistema inmune del agenteDiapositiva 54: Animación: el modelo del queso suizo aplicado a agentesDiapositiva 55: Ya lo hacéis en el hospitalDiapositiva 56: Nuestro enfoqueDiapositiva 57: Para quien programa: con qué se construyen los agentesDiapositiva 58: Los tres enfoques de la industriaDiapositiva 59: Cuatro controles antes de que el mensaje llegue al modeloDiapositiva 60: Para clínicos: el primer paso, sin programarDiapositiva 61: Lo que viene: agentes personales autónomosDiapositiva 62: Cinco reglas para usar agentes en la práctica clínicaDiapositiva 63: «IA» es una etiqueta comercial. Aprendizaje automático es algo que se puede medir.Diapositiva 64: Muchas gracias!
1 / 64 PDF
Las 64 diapositivas. Flechas o deslizar para avanzar.
Texto de las diapositivas
  1. ¿Tu agente se ha vuelto terraplanista? · Seguridad y salvaguardas en agentes de IA, · contadas para profesionales de la salud · José Manuel Ramírez Sánchez
  2. INTRO · ¿Te suenan estos agentes de algo? · ¿Puedes reconocer al menos tres?
  3. INTRO · ¿Crees que son capaces de hacer las mismas cosas? · Conversar · Responden preguntas en un chat. · Actuar · Abren programas, escriben, envían. · Decidir solos · Encadenan pasos sin preguntarte.
  4. PREGUNTA A LA SALA · ¿Quién ha usado ChatGPT, Gemini o Claude para resolver una duda clínica? · Manos arriba. Sin juicios: es justo de lo que vamos a hablar.
  5. ÍNDICE DE CONTENIDOS · Sobre mí · 01 · ¿Qué es la Inteligencia Artificial? · 02 · ¿Qué es un agente? · 03 · Alineamiento y Problema · 04 · Estado del Arte · 05 · Herramientas y Experiencias · 06
  6. SOBRE MÍ · De la ingeniería de telecomunicaciones a la IA aplicada
  7. SOBRE MÍ · De la ingeniería de telecomunicaciones a la IA aplicada
  8. 01 · ¿Qué es la Inteligencia Artificial?
  9. 01. ¿QUÉ ES LA INTELIGENCIA ARTIFICIAL? · Un nombre pensado para atraer · «Inteligencia Artificial» es, ante todo, una etiqueta: se eligió para llamar la atención, no para describir con precisión. · 1955 · Propuesta de un taller de verano en Dartmouth, con petición de fondos a la Fundación Rockefeller. · 1956 · El taller se celebra y el término «Artificial Intelligence» se impone a sus rivales. · Hoy · La misma etiqueta cubre desde un filtro de spam hasta un agente que reserva tus viajes.
  10. 01. ¿QUÉ ES LA INTELIGENCIA ARTIFICIAL? · La batalla por el nombre: maestro contra joven colaborador · Claude Shannon · El maestro · padre de la teoría de la información · Quería un título sobrio y científico. · «Automata Studies» (1956) · John McCarthy · El joven colaborador · matemático · Quería un nombre que atrajera ideas / financiación al área de investigación. · «Artificial Intelligence» (1956) · Nombres que perdieron: · Cibernética · Estudios de autómatas · Procesamiento complejo de información · Reconocimiento de Patrones · Inteligencia de máquinas
  11. 01. ¿QUÉ ES LA INTELIGENCIA ARTIFICIAL? · La categoría «Inteligencia» es como «Gravedad» en la Física · Gravedad · MEDIMOS SUS EFECTOS · Caída de los cuerpos, órbitas, mareas · PREDECIMOS CON ELLA · Lanzamos satélites y calibramos el GPS · ¿QUÉ ES EN EL FONDO? · Sin teoría que la una con la física cuántica · Inteligencia · MEDIMOS SUS EFECTOS · Exámenes, tests de CI, resolución de problemas · PREDECIMOS CON ELLA · Rendimiento académico, aptitud para un puesto · ¿QUÉ ES EN EL FONDO? · Sin una definición que convenza a todos · Sabemos muchísimo sobre ella… sin poder definirla del todo.
  12. 01. ¿QUÉ ES LA INTELIGENCIA ARTIFICIAL? · …y le añadimos «Artificial» para ponerlo más difícil · Hecho por personas · Como un marcapasos o una prótesis de cadera. · Imitación · Como un edulcorante artificial: sabe parecido, pero no es azúcar. · Hace la función · Como el páncreas artificial: no es un páncreas, pero regula la glucosa. · ¿Cuál de los tres significados usamos? Depende de quién lo venda.
  13. MEJOR HABLEMOS DE… · Aprendizaje · Automático · Machine Learning: un término que sí se puede medir
  14. 01. ¿QUÉ ES LA INTELIGENCIA ARTIFICIAL? · Mejor hablemos de Aprendizaje Automático (Tom Mitchell, 1997) · Un algoritmo que mejora su rendimiento al realizar una tarea (T), medido por una métrica (M), a través de la experiencia (E). · 1. Rendimiento(T, M, t₂) > Rendimiento(T, M, t₁) ; donde t₂ > t₁ · 2. Experiencia = Datos · T · Detectar neumonía en una radiografía de tórax · M · Porcentaje de aciertos frente al radiólogo · E · Miles de radiografías ya diagnosticadas
  15. 01. ¿QUÉ ES LA INTELIGENCIA ARTIFICIAL? · Animación: aprender es mejorar con la experiencia
  16. 01. ¿QUÉ ES LA INTELIGENCIA ARTIFICIAL? · Unas cajas dentro de otras · Inteligencia Artificial · el paraguas comercial: reglas, robots, cualquier software «listo» · Aprendizaje Automático · aprende de datos: predicción de reingresos, riesgo de sepsis · Aprendizaje Profundo · redes neuronales: imagen médica, retinografías, dermatoscopia · Modelos de Lenguaje (LLM) · ChatGPT, Claude, Gemini: leen y escriben texto
  17. 01. ¿QUÉ ES LA INTELIGENCIA ARTIFICIAL? · Un LLM es aprendizaje automático aplicado al lenguaje · T · Tarea · Continuar un texto con la siguiente palabra · M · Métrica · Cuántas veces acierta esa siguiente palabra · E · Experiencia · Billones de palabras: libros, artículos, webs, código · La tarea es sencilla de enunciar. Lo que surge no lo es: resumir, traducir, razonar en pasos, programar… Nadie lo programó a mano.
  18. 01. ¿QUÉ ES LA INTELIGENCIA ARTIFICIAL? · Animación: elige lo probable, no lo verdadero
  19. 02 · ¿Qué es un agente?
  20. 02. ¿QUÉ ES UN AGENTE? · Lo que distingue a un agente de un chat · Autonomía para cumplir un objetivo · Percibe su entorno · lee correos, agendas, historias · Usa herramientas · busca, escribe, envía, reserva · Se multiplica (auto-instanciación) · lanza copias de sí mismo para repartir trabajo · Se comunica con el entorno · con personas y con otros programas
  21. 02. ¿QUÉ ES UN AGENTE? · …y, si nadie lo controla, hacer cosas muy locas · ¡Hacer cosas muy locas! · Un agente que se copia a sí mismo, con acceso a tu correo y a tus cuentas, puede equivocarse muchas veces y muy rápido. · Autonomía sin control = riesgo multiplicado.
  22. 02. ¿QUÉ ES UN AGENTE? · Una analogía biológica: el virus y la célula · Un agente se parece más a un virus que a un cerebro. · El virus · Una cápsula con instrucciones genéticas. Sin metabolismo propio: necesita la maquinaria de una célula para fabricar algo. · El agente · Un programa pequeño con instrucciones y herramientas. Sin «cerebro» propio: necesita un LLM para generar cada respuesta o acción.
  23. 02. ¿QUÉ ES UN AGENTE? · Animación: el mismo ciclo, contado dos veces
  24. 02. ¿QUÉ ES UN AGENTE? · Modelo Agentes ReAct
  25. 02. ¿QUÉ ES UN AGENTE? · El diccionario biología → agentes · Virus → · Agente · Poco código; no «piensa» por sí solo · Célula huésped → · LLM · El que realmente genera cada respuesta · ADN → · Instrucciones permanentes · Rol, reglas y herramientas · ARN mensajero → · Mensaje de cada turno · Instrucciones + contexto + pregunta · Ribosoma → · El modelo procesando · Traduce el mensaje en una respuesta · Proteína → · Texto u orden · Para el humano o para la máquina · Receptores → · Conexiones (API) · Por donde entra y actúa · Retrovirus → · Inyección de instrucciones · Texto oculto que secuestra al agente · Sistema inmune → · Salvaguardas · Y las vacunas: equipos rojos
  26. 02. ¿QUÉ ES UN AGENTE? · ADN y ARN del agente: lo permanente y lo de cada turno · ADN · instrucciones permanentes · Eres el asistente de citas del Hospital Ejemplo. Nunca das diagnósticos. Herramientas: buscar_hueco, mover_cita. · Lo escribe quien crea el agente. Casi nunca cambia. · se transcribe en cada turno · ARN · el mensaje de cada turno · [ADN] + conversación previa + Paciente: «¿Puedo pasar mi cita del martes al jueves?» · Se monta de nuevo cada vez y es lo que lee el LLM.
  27. 02. ¿QUÉ ES UN AGENTE? · Animación: el ciclo percibir → razonar → actuar → observar
  28. 03 · Un agente habla dos idiomas
  29. 03. UN AGENTE HABLA DOS IDIOMAS · Vosotros ya lo hacéis cada día · CON LA PACIENTE · «Tiene la tensión algo alta. Vamos a vigilarla y a reducir la sal.» · EN LA HISTORIA CLÍNICA · CIE-10: I10 · Hipertensión esencial · Plan: control TA · dieta hiposódica · Mismo contenido, dos idiomas: uno para personas, otro para sistemas.
  30. 03. UN AGENTE HABLA DOS IDIOMAS · El agente hace lo mismo: lenguaje natural y lenguaje de programación · CON EL HUMANO · ESPAÑOL · «¿Me pasas la cita al jueves por la tarde?» · CON LA MÁQUINA · JSON · { "herramienta": "mover_cita", · "paciente": "P-1043", · "dia": "jueves", · "franja": "tarde" } · Para un LLM, el código es otro idioma más que aprendió leyendo.
  31. 03. UN AGENTE HABLA DOS IDIOMAS · Y además tiene manos: carpetas, comandos y un bucle de turnos · Carpetas · consulta/ · ├─ analiticas_octubre/ · │ └─ paciente_A.csv · └─ informes/ · Un espacio de trabajo propio donde lee, crea y mueve archivos. · Comandos · $ ls analiticas_octubre/ · $ python analizar.py · $ mv resumen.md informes/ · El LLM escribe la orden del sistema operativo; el agente la ejecuta y le devuelve el resultado. · Bucle de turnos · Turno 1 · pensar → actuar → observar · Turno 2 · pensar → actuar → observar · … hasta cumplir el objetivo o llegar al límite · Cada vuelta es un turno. Se fija un límite para que no gire sin fin. · El LLM decide; el agente ejecuta. Entre ambos es donde van las salvaguardas.
  32. 03. UN AGENTE HABLA DOS IDIOMAS · Animación: un agente trabajando por dentro, turno a turno
  33. LA CONSECUENCIA · Si puede escribir órdenes, también puede escribir órdenes equivocadas. · Mover la cita equivocada. Enviar un informe a quien no debe. Borrar un registro.
  34. 04 · Alineamiento y Problema
  35. 04. ALINEAMIENTO Y EL PROBLEMA · Alineamiento del agente: ¿hacia dónde apunta su brújula? · Alinear = que sus objetivos coincidan con los nuestros · Arriba, la Tierra redonda: respuestas fieles a la evidencia. · Abajo, la Tierra plana: respuestas que suenan bien… y son falsas o dañinas.
  36. 04. ALINEAMIENTO Y EL PROBLEMA · Alineamiento por refuerzo: premio y corrección · Como en la residencia · Refuerzo positivo: personas puntúan bien las respuestas útiles y honestas. · Refuerzo negativo: se penalizan las dañinas o inventadas. · Repetido millones de veces, la brújula se calibra.
  37. 04. ALINEAMIENTO Y EL PROBLEMA · Cada fabricante calibra su brújula a su manera · Mismo método, criterios distintos: lo que un modelo rechaza, otro lo responde.
  38. 04. ALINEAMIENTO Y EL PROBLEMA · El problema de los datos no estructurados · En sanidad, casi todo es texto libre · Evolutivos, cartas de alta, notas de enfermería, informes de imagen, audios, fotos de heridas… · Los LLM son los primeros sistemas que leen bien todo esto. Eso abre la puerta a usarlos… y a atacarlos.
  39. 05 · Estado del Arte
  40. 05. ESTADO DEL ARTE · Más expresividad, menos control · 1960 – 2015 · Determinista · El jardín vallado: reglas fijas, nada fuera del muro. · 2015 – 2020 · Estadística · La autopista: carriles, umbrales y salida a un humano. · 2017 – 2026 · Generativa · El destape: puede decir cualquier cosa, sobre cualquier tema. · Expresividad · máxima · Control · mínimo
  41. 05. ESTADO DEL ARTE · Era determinista (1960 – 2015) · CÓMO FUNCIONA · Sistemas basados en reglas · Árboles de decisión rígidos · Seguridad por limitación de dominio · Pionero: ELIZA y su guion DOCTOR (MIT, años 60), que imitaba a un psicoterapeuta. · EN SANIDAD · MYCIN (Stanford, años 70): cientos de reglas para elegir antibióticos · Alertas de interacciones en la receta electrónica · Escalas y calculadoras: Glasgow, CHA₂DS₂-VASc · Protocolos de triaje informatizados
  42. 05. ESTADO DEL ARTE · Jardín vallado (1960 – 2015) · Seguridad por muros: lo que no está permitido, no existe.
  43. 05. ESTADO DEL ARTE · Animación: un árbol de triaje determinista
  44. 05. ESTADO DEL ARTE · Era estadística (2015 – 2020) · CÓMO FUNCIONA · Entiende lenguaje natural · Flujos condicionales y umbrales de confianza · Los fallos se derivan a humanos · Mayor expresividad · Herramientas: Google Dialogflow, Balidea falAI. · EN SANIDAD · IDx-DR (2018): primer diagnóstico autónomo con IA autorizado por la FDA, retinopatía diabética · Comprobadores de síntomas como Ada o Babylon · Chatbots de citas y atención al paciente
  45. 05. ESTADO DEL ARTE · Autopista estadística (2015 – 2020) · Más velocidad y carriles, pero con guardarraíles y salidas de emergencia.
  46. 05. ESTADO DEL ARTE · Animación: umbral de confianza y derivación a humano
  47. 05. ESTADO DEL ARTE · Revolución generativa (2017 – 2026) · CÓMO FUNCIONA · Arquitectura Transformer (2017) · Riesgos estocásticos: no determinismo y alucinaciones · Dominio y superficie de ataque casi infinitos · Máxima expresividad · Agentes que programan: OpenAI Codex, Anthropic Claude Code. · EN SANIDAD · Med-PaLM 2 (Google, 2023): nivel experto en preguntas tipo examen médico · Escribas clínicos que redactan la nota de la consulta: DAX Copilot, Abridge · Buscadores de evidencia con IA: OpenEvidence
  48. 05. ESTADO DEL ARTE · Destape generativo: los nuevos protagonistas · Mucho talento en el escenario… y nadie revisando la letra.
  49. 05. ESTADO DEL ARTE · Animación: misma pregunta, tres respuestas
  50. 05. ESTADO DEL ARTE · Cuando falla: tres casos reales · 2018 · era estadística · IBM Watson for Oncology · Documentos internos revelaron recomendaciones de tratamiento «inseguras e incorrectas». Se había entrenado con pocos casos, muchos hipotéticos. · 2023 · era generativa · Tessa (NEDA, EE. UU.) · Un chatbot de apoyo en trastornos alimentarios dio consejos para perder peso. Se retiró a los pocos días. · Hoy · era generativa · Referencias inventadas · Los LLM generan citas bibliográficas plausibles que no existen, incluso en textos académicos y legales. · Ninguno falló por «maldad»: fallaron por falta de salvaguardas.
  51. 06 · Herramientas y Experiencias
  52. Animación: el retrovirus, o inyección de instrucciones · 06. HERRAMIENTAS Y EXPERIENCIAS
  53. 06. HERRAMIENTAS Y EXPERIENCIAS · Las salvaguardas son el sistema inmune del agente · BARRERAS · piel y mucosas · Reglas fijas · Acciones prohibidas y datos que nunca salen · INNATA · rápida y general · Clasificadores · Vigilan entradas y salidas (p. ej. Llama Guard) · ADAPTATIVA · anticuerpos específicos · SLM por dominio · Modelos pequeños entrenados para lo clínico · MEMORIA · inmunológica · Registro · Auditoría de cada incidente · VACUNAS · entrenamiento previo · Equipos rojos · Ataques controlados antes de producción
  54. 06. HERRAMIENTAS Y EXPERIENCIAS · Animación: el modelo del queso suizo aplicado a agentes
  55. 06. HERRAMIENTAS Y EXPERIENCIAS · Ya lo hacéis en el hospital · Checklist quirúrgica de la OMS · Reglas deterministas · Doble verificación de fármacos de alto riesgo · Doble revisión: humano o segundo modelo · Acceso a la historia solo si es necesario · Permisos mínimos para el agente · Notificación de eventos adversos · Registro y auditoría de incidentes
  56. Nuestro enfoque · Pipeline · 1- Reglas de filtrado. · 2- SLM por dominio. · 3- Mucha revisión. · 4- Extra de testing. · Entrada · (User Prompt) · ¿Qué debe llegar al LLM? · ¿Dominios críticos? · ¿Qué acciones tomar? · Salida · (Agent Response) · ¿Contestar a todo? · ¿Doble revisión? · ¿Determinismo? · 06. HERRAMIENTAS Y EXPERIENCIAS
  57. 06. HERRAMIENTAS Y EXPERIENCIAS · Para quien programa: con qué se construyen los agentes · LangChain / LangGraph · Un agente es un grafo de acciones. · + Control total, código abierto · − Curva de aprendizaje · CrewAI · Roles y objetivos, como un jefe de proyecto. · + Intuitivo y rápido de aprender · − Costoso, lento, poco control · Pydantic AI · Tipos y validación estricta. · + Robustez y velocidad · − Menos flexible · Si no programáis, quedaos con la idea: más control exige más esfuerzo técnico.
  58. 06. HERRAMIENTAS Y EXPERIENCIAS · Los tres enfoques de la industria · Infraestructura · Lo pone el proveedor de la nube. · NeMo Guardrails (NVIDIA) · Amazon Bedrock Guardrails · Azure AI Content Safety · ZenGuard AI · Producto · Lo diseñamos nosotros para cada caso. · Reglas deterministas · Validación por humanos · SLM para casos específicos · Equipos rojos y azules con expertos clínicos · ¿LLM vigilando LLM? · Un modelo revisa lo que dice otro. · Llama Guard (Meta) · Qwen3Guard (Alibaba) · ShieldGemma 2 (Google)
  59. 06. SALVAGUARDAS Y HERRAMIENTAS · Cuatro controles antes de que el mensaje llegue al modelo · Mensaje · Reglas · Idioma · Tema · Manipulación · Modelo · Si falla cualquier control: se bloquea o se deriva a un profesional
  60. 06. HERRAMIENTAS Y EXPERIENCIAS · Para clínicos: el primer paso, sin programar · PRIMER PASO · Claude · Conversa, resume guías, redacta materiales para pacientes y crea pequeñas herramientas, como una calculadora, sin escribir código. · PRIMER PASO · Codex · Agente de OpenAI que escribe y ejecuta código por ti: analizar una hoja de datos anonimizados o automatizar una tarea repetitiva. · SIGUIENTE PASO · n8n · Flujos visuales que conectan aplicaciones con IA. Se puede instalar en servidores propios, así los datos no salen del centro. · Nunca introduzcáis datos identificables de pacientes en cuentas personales: usad datos anonimizados o entornos autorizados por vuestro centro.
  61. 06. HERRAMIENTAS Y EXPERIENCIAS · Lo que viene: agentes personales autónomos · Instinct · Actúa en tu nombre con tu correo, mensajes y calendario: reserva, cancela, hace seguimientos. Desde septiembre de 2026, cada agente tiene su propio email y puede crear cuentas. · Idem · «Superinteligencia personal»: correo, calendario, archivos y navegador, con memoria. Tú defines qué puede hacer solo y qué necesita tu aprobación. · Por qué importa · Pueden asumir compromisos en tu nombre. · Manejan credenciales y datos sensibles. · Cada correo entrante es una posible inyección.
  62. 06. HERRAMIENTAS Y EXPERIENCIAS · Cinco reglas para usar agentes en la práctica clínica · Sin datos identificables fuera de entornos autorizados · Humano en el bucle para toda decisión clínica · Permisos mínimos: solo las herramientas imprescindibles · Verificar siempre fuentes, cifras y referencias · Notificar incidentes como cualquier evento adverso
  63. TRES IDEAS PARA LLEVARSE · «IA» es una etiqueta comercial. Aprendizaje automático es algo que se puede medir. · Un agente es como un virus: poco código que usa la maquinaria del LLM y actúa en el mundo. · Las salvaguardas son su sistema inmune: varias capas, como en seguridad del paciente.
  64. Muchas gracias! · José Manuel Ramírez Sánchez

Mejor hablemos de aprendizaje automático

«Inteligencia artificial» es una etiqueta elegida en 1955 para atraer atención y financiación, no para describir con precisión. Tom Mitchell dio en 1997 una definición que sí se puede medir: un algoritmo aprende si mejora en una tarea, medida con una métrica, gracias a la experiencia, es decir, a los datos.

Un detector de neumonía en radiografías: empieza acertando como una moneda al aire y mejora con cada caso, cada vez menos.

Un modelo de lenguaje es aprendizaje automático aplicado al texto. Su tarea es continuar una frase con la palabra siguiente. Elige la palabra probable, no la verdadera, y con la temperatura alta puede decir un disparate con total seguridad.

«El paciente presenta fiebre alta y…»: con temperatura baja, siempre la misma palabra; con temperatura alta, cualquiera.

Un agente se parece más a un virus que a un cerebro

Un agente es poco código: instrucciones y herramientas. Como un virus, no tiene maquinaria propia. Necesita un modelo de lenguaje para generar cada respuesta, igual que el virus necesita los ribosomas de la célula para fabricar proteínas.

El mismo dibujo dos veces: primero con etiquetas de biología, después con las de un agente.

Lo que lo distingue de un chat es la autonomía: percibe, razona, actúa y observa el resultado, y repite el ciclo hasta cumplir el objetivo, sin que nadie revise cada vuelta.

Percibir, razonar, actuar y observar: tres vueltas para mover una cita.

Dos idiomas y unas manos

Un clínico habla con la paciente en un idioma y escribe en la historia clínica en otro (CIE-10: I10). Un agente hace lo mismo: habla español con la persona y JSON con los programas. Además tiene manos: carpetas donde lee y escribe archivos, y comandos que ejecuta. Si puede escribir órdenes, también puede escribir órdenes equivocadas.

Un agente trabajando turno a turno: piensa, ejecuta un comando, mira el resultado y vuelve a empezar.

La brújula: alineamiento

Alinear un modelo es hacer que sus objetivos coincidan con los nuestros. Se calibra por refuerzo, como en la residencia: personas puntúan bien las respuestas útiles y honestas y penalizan las dañinas o inventadas. Cada fabricante calibra su brújula con criterios propios, así que lo que un modelo rechaza, otro lo responde. Un agente terraplanista es el que apunta abajo: respuestas que suenan bien y son falsas.

Tres eras: más expresividad, menos control

Durante décadas, la seguridad fue un muro. Un sistema basado en reglas solo hace lo que está escrito, y lo imprevisto no tiene respuesta.

Era determinista: un árbol de triaje escrito a mano. Fiable dentro del muro, rígido fuera de él.

Los sistemas estadísticos ya entendían lenguaje natural y se protegían con umbrales: lo que no sabían clasificar con confianza iba a una persona.

Era estadística: cada mensaje recibe un grado de confianza; por debajo del umbral, a un humano.

Los modelos generativos pueden decir cualquier cosa sobre cualquier tema, y no responden igual dos veces.

Era generativa: la misma pregunta tres veces. La tercera respuesta se inventa una cita y una cifra.

IBM Watson for Oncology, el chatbot Tessa o las referencias bibliográficas inventadas no fallaron por maldad. Fallaron por falta de salvaguardas.

Las salvaguardas son el sistema inmune del agente

El ataque más propio de los agentes es la inyección de instrucciones: un texto oculto en un documento que el agente lee y obedece como si fuera una orden. Es un retrovirus.

Le pedimos resumir un informe que esconde una instrucción. Sin salvaguardas, los datos salen; con ellas, la acción se bloquea.

Ninguna defensa es perfecta por sí sola. Varias capas, cada una con sus agujeros, frenan juntas casi todo: reglas fijas, un modelo vigilante, permisos mínimos y revisión humana. Es el modelo del queso suizo, el mismo que ya se usa en seguridad del paciente.

Cuatro capas de defensa. Cuando los agujeros se alinean, la amenaza pasa: se notifica el incidente y se tapa el agujero.

En el hospital ya existen todas estas capas: la checklist quirúrgica son reglas deterministas, la doble verificación de fármacos es una doble revisión, el acceso a la historia solo cuando hace falta son permisos mínimos y la notificación de eventos adversos es el registro de incidentes.

Cómo deciden por dentro los modelos vigilantes lo cuento en Dentro de cuatro guardianes de LLM y Cómo deciden los guardianes de LLM, con un tutorial para ejecutarlo.

Cinco reglas para la práctica clínica

  1. Sin datos identificables fuera de entornos autorizados.
  2. Humano en el bucle para toda decisión clínica.
  3. Permisos mínimos: solo las herramientas imprescindibles.
  4. Verificar siempre fuentes, cifras y referencias.
  5. Notificar incidentes como cualquier evento adverso.