Escritos /
Dentro de catro gardiáns de LLM: o que din os pesos sobre as salvagardas para sistemas axénticos
Auditei capa a capa catro candidatos a salvagarda para un asistente axéntico. Todos deciden nun só token e tarde na rede, e os dous gardiáns especializados non ven a inxección agochada en documentos. Un xeneralista pequeno detéctaa case toda se escribe a súa xustificación antes do veredicto.
Un axente que le correos, currículos e facturas precisa unha primeira barreira: un modelo que examine cada entrada e decida se a bloquea. Auditei catro candidatos para ese papel na mesma máquina e cos mesmos 46 casos, e despois mirei dentro deles, capa a capa, para ver como chega cada un ao seu veredicto.
Os candidatos: dous gardiáns especializados, Shieldstral 3B e Qwen3Guard-Gen 8B, e dous modelos xeneralistas que actúan como gardiáns a partir dunha política escrita, gpt-oss 20B e Gemma 4 E2B. O conxunto de proba combina prompts, documentos con instrucións agochadas e imaxes, en español e inglés, para un asistente corporativo con ferramentas.
O número de parámetros engana
gpt-oss é o máis grande en disco e un dos máis pequenos en cómputo: o 91 % dos seus pesos son expertos, e cada token usa 4 de 32. Qwen3Guard, o «8B», calcula os seus 8,2 B enteiros cada vez.
O veredicto é sempre un token
Cada modelo responde a «bloquear ou non?» dun xeito distinto. Shieldstral le dous logits e nunca xera. Qwen3Guard escribe Safety: Unsafe, e é o terceiro token o que decide. gpt-oss razoa nunha canle de análise e despois escribe JSON. Gemma escribe JSON, pensando antes ou sen pensar.
No fondo, os catro redúcense a un token cuxa probabilidade se pode ler. Iso converte un interruptor fixo «estrito / laxo» nun limiar que cada quen axusta segundo a súa tolerancia ao risco.
A decisión fórmase tarde, e pode desfacerse
Nos catro, o veredicto aparece no último terzo da rede. O que cambia é o que pasa despois. Shieldstral chega a 1,00 e o seu último bloque devólveo a 0,71. Gemma, sen razoamento, intúe o risco (0,30) e as súas capas finais descártano; co seu propio razoamento diante, mantense en 1,00 desde a capa 27.
Que detecta cada un
Os ocos concéntranse en dous sitios. A inxección indirecta de instrucións é un ataque no que as instrucións para a IA van agochadas dentro do contido que le, como un correo ou un currículo, en vez de escribilas o usuario. Os documentos con inxección indirecta de instrucións escápanselle a Qwen3Guard (ningún de cinco no seu modo predeterminado, un en modo estrito) e a Shieldstral en dous de cinco: ambos aprenderon a xulgar se un texto é daniño, non se tenta darlle ordes a unha IA. Ningún dos dous informes técnicos avalía a inxección indirecta. As imaxes son invisibles para os gardiáns só de texto.
Xustificar antes de decidir
A primeira comparación mesturaba tres cousas: razoamento, JSON forzado e orde dos campos. Separalas amosa a causa. Quitar o esquema JSON non cambia nada. Poñer un campo rationale antes de violation sobe o F1 de 0,74 a 0,91-0,93 con 0,22 s por entrada. O razoamento completo engade pouco máis (0,94-0,96) cunhas sete veces máis latencia, e varía entre execucións.
O contorno de execución forma parte do modelo
Dúas sorpresas chegaron de fóra dos pesos. O GGUF de Shieldstral en Ollama reduce as imaxes a uns 896 px, fronte aos 1540 px da referencia, así que o texto pequeno das capturas de pantalla perde resolución. E o cargador estándar de transformers fixa en silencio a 1,0 as escalas de saída por capa de Gemma; se non se corrixe, calquera análise interna mide un modelo distinto. Auditar un modelo significa auditar como se executa.
Que despregaría
- Shieldstral como primeiro filtro rápido (0,04 s por texto, sen falsos positivos aquí), non como defensa contra a inxección.
- Unha segunda comprobación, guiada por unha política, para documentos e saídas de ferramentas, que é onde vive a inxección. Un xeneralista pequeno que escribe primeiro a súa xustificación é barato e sólido.
- Puntuacións, non etiquetas. Ler o token de decisión e fixar o limiar con datos propios.
- Unha vía á parte para imaxes e audio, ou unha decisión explícita de non fiarse deles.
Método e límites
Inventario estático de cada tensor dos ficheiros GGUF que serve Ollama; lectura de informes técnicos, fichas de modelo e código de referencia; sondas de activacións (logit lens, gradiente × entrada, atención, rutas MoE, sumidoiros de atención) sobre os mesmos pesos cuantizados, validadas contra as saídas do propio Ollama; e un experimento controlado con tres réplicas por variante. Con 46 casos, un só caso move o F1 entre 2 e 4 puntos: estes resultados serven para ver patróns, non para ordenar modelos por decimais. O sistema, a súa política e os textos dos casos son privados; o método e as cifras son públicos.
O titorial que acompaña este artigo, Dentro dun gardián de LLM: o token de veredicto, o logit lens e o punto cego da inxección, reproduce as técnicas principais con modelos pequenos que corren na CPU dun portátil. O artigo seguinte, Como deciden os gardiáns de LLM, percorre as catro arquitecturas unha a unha.