Escritos /
Dentro de cuatro guardianes de LLM: lo que dicen los pesos sobre las salvaguardas para sistemas agénticos
Audité capa a capa cuatro candidatos a salvaguarda para un asistente agéntico. Todos deciden en un solo token y tarde en la red, y los dos guardianes especializados no ven la inyección escondida en documentos. Un generalista pequeño la detecta casi toda si escribe su justificación antes del veredicto.
Un agente que lee correos, currículos y facturas necesita una primera barrera: un modelo que examine cada entrada y decida si bloquearla. Audité cuatro candidatos para ese papel en la misma máquina y con los mismos 46 casos, y después miré dentro de ellos, capa a capa, para ver cómo llega cada uno a su veredicto.
Los candidatos: dos guardianes especializados, Shieldstral 3B y Qwen3Guard-Gen 8B, y dos modelos generalistas que actúan como guardianes a partir de una política escrita, gpt-oss 20B y Gemma 4 E2B. El conjunto de prueba combina prompts, documentos con instrucciones ocultas e imágenes, en español e inglés, para un asistente corporativo con herramientas.
El número de parámetros engaña
gpt-oss es el más grande en disco y uno de los más pequeños en cómputo: el 91 % de sus pesos son expertos, y cada token usa 4 de 32. Qwen3Guard, el «8B», calcula sus 8,2 B enteros cada vez.
El veredicto es siempre un token
Cada modelo responde a «¿bloquear o no?» de una forma distinta. Shieldstral lee dos logits y nunca genera. Qwen3Guard escribe Safety: Unsafe, y es el tercer token el que decide. gpt-oss razona en un canal de análisis y después escribe JSON. Gemma escribe JSON, pensando antes o sin pensar.
En el fondo, los cuatro se reducen a un token cuya probabilidad se puede leer. Eso convierte un interruptor fijo «estricto / laxo» en un umbral que cada uno ajusta según su tolerancia al riesgo.
La decisión se forma tarde, y puede deshacerse
En los cuatro, el veredicto aparece en el último tercio de la red. Lo que cambia es lo que ocurre después. Shieldstral llega a 1,00 y su último bloque lo devuelve a 0,71. Gemma, sin razonamiento, intuye el riesgo (0,30) y sus capas finales lo descartan; con su propio razonamiento delante, se mantiene en 1,00 desde la capa 27.
Qué detecta cada uno
Los huecos se concentran en dos sitios. La inyección indirecta de instrucciones es un ataque en el que las instrucciones para la IA van escondidas dentro del contenido que lee, como un correo o un currículo, en lugar de escribirlas el usuario. Los documentos con inyección indirecta de instrucciones se le escapan a Qwen3Guard (ninguno de cinco en su modo por defecto, uno en modo estricto) y a Shieldstral en dos de cinco: ambos aprendieron a juzgar si un texto es dañino, no si intenta dar órdenes a una IA. Ninguno de los dos informes técnicos evalúa la inyección indirecta. Las imágenes son invisibles para los guardianes de solo texto.
Justificar antes de decidir
La primera comparación mezclaba tres cosas: razonamiento, JSON forzado y orden de los campos. Separarlas muestra la causa. Quitar el esquema JSON no cambia nada. Poner un campo rationale antes de violation sube el F1 de 0,74 a 0,91-0,93 con 0,22 s por entrada. El razonamiento completo añade poco más (0,94-0,96) con unas siete veces más latencia, y varía entre ejecuciones.
El entorno de ejecución forma parte del modelo
Dos sorpresas llegaron de fuera de los pesos. El GGUF de Shieldstral en Ollama reduce las imágenes a unos 896 px, frente a los 1540 px de la referencia, así que el texto pequeño de las capturas de pantalla pierde resolución. Y el cargador estándar de transformers fija en silencio a 1,0 las escalas de salida por capa de Gemma; si no se corrige, cualquier análisis interno mide un modelo distinto. Auditar un modelo significa auditar cómo se ejecuta.
Qué desplegaría
- Shieldstral como primer filtro rápido (0,04 s por texto, sin falsos positivos aquí), no como defensa contra la inyección.
- Una segunda comprobación, guiada por una política, para documentos y salidas de herramientas, que es donde vive la inyección. Un generalista pequeño que escribe primero su justificación es barato y sólido.
- Puntuaciones, no etiquetas. Leer el token de decisión y fijar el umbral con datos propios.
- Una vía aparte para imágenes y audio, o una decisión explícita de no fiarse de ellos.
Método y límites
Inventario estático de cada tensor de los archivos GGUF que sirve Ollama; lectura de informes técnicos, fichas de modelo y código de referencia; sondas de activaciones (logit lens, gradiente × entrada, atención, rutas MoE, sumideros de atención) sobre los mismos pesos cuantizados, validadas contra las salidas del propio Ollama; y un experimento controlado con tres réplicas por variante. Con 46 casos, un solo caso mueve el F1 entre 2 y 4 puntos: estos resultados sirven para ver patrones, no para ordenar modelos por decimales. El sistema, su política y los textos de los casos son privados; el método y las cifras son públicos.
El tutorial que acompaña a este artículo, Dentro de un guardián de LLM: el token del veredicto, el logit lens y el punto ciego de la inyección, reproduce las técnicas principales con modelos pequeños que corren en la CPU de un portátil. El artículo siguiente, Cómo deciden los guardianes de LLM, recorre las cuatro arquitecturas una a una.