Titoriais / T5
Dentro dun gardián de LLM: o token de veredicto, o logit lens e o punto cego da inxección
Abre un guard de seguridade na CPU dun portátil: le o seu veredicto como probabilidade, mira como se forma a decisión capa a capa e comproba por que un guard de contido daniño deixa pasar a inxección agochada en documentos.
Por que este titorial
En Dentro de catro gardiáns de LLM auditei catro gardiáns de seguridade nunha GPU con 46 casos. Este notebook leva as técnicas principais a modelos que corren nun portátil, para que as poidas aplicar ao teu propio gardián: versións de 0,6 B de parámetros, 20 casos sintéticos, só CPU.
Que fas no notebook
- Atopa onde vive a política. Qwen3Guard leva a súa política dentro do padrón de chat; renderízalo e contas os seus tokens.
- Le o veredicto como probabilidade. A decisión é un token (
Safe,UnsafeouControversial). Ler os seus logits dá unha puntuación continua e un limiar que fixas ti. - Executa un logit lens. Un logit lens é unha forma de ler as capas intermedias dun modelo: aplica a cabeza de saída do modelo ao estado oculto de cada capa, para ver que token predicería o modelo a esa profundidade. Hai unha regra que importa: fíate só das capas nas que os tokens de etiqueta concentran polo menos o 1 % da probabilidade.
- Proba o punto cego da inxección con correos, currículos e facturas que agochan instrucións para a IA.
- Converte cun prompt un xeneralista pequeno en gardián e compara escribir primeiro o veredicto con escribir primeiro unha xustificación.
Que amosa
| Resultado | Auditoría (8 B / E2B, GPU) | Este notebook (0,6 B, CPU) |
|---|---|---|
| O veredicto é un token lexible | si | si |
| O veredicto fórmase no último terzo | capas 24–28 de 36 | capas 19–22 de 28 |
| Documentos con inxección, P(Unsafe) máxima | 0,014 | 0,0098 |
| Xeneralista, xustificación primeiro fronte a veredicto primeiro | F1 0,74 → 0,91–0,93 | F1 0,74 → 0,50 (peor) |
Tres dos catro resultados mantéñense. O cuarto non, e o notebook explica por que: unha xustificación só axuda cando o modelo pode razoar sobre o documento mentres a escribe. Con 0,6 B, as xustificacións parafrasean a tarefa do usuario («a request to summarise a supplier email…») e atan o modelo a unha lectura benigna. O que se transfire é o método: mide os dous formatos cos teus propios casos en vez de dar por bo calquera deles.
Hai tamén un sinal débil que convén coñecer: os documentos con inxección levan máis probabilidade de Controversial ca os seus xemelgos benignos (mediana 0,17 fronte a 0,006). O gardián nota que algo é raro sen chegar a cualificalo de inseguro. Cinco casos son moi poucos para construír un detector sobre iso.
Conclusións
- Un gardián de contido daniño non é unha defensa contra a inxección. Os documentos e as saídas de ferramentas precisan a súa propia comprobación.
- Le o token de decisión, non a etiqueta, e escolle o limiar cos teus propios datos.
- Nun logit lens, os valores «confiados» das primeiras capas son ruído renormalizado. Filtra por masa de probabilidade.
- O formato do prompt pode axudar ou empeorar. Próbao co tamaño de modelo que vaias despregar.
Referencias: Qwen3Guard Technical Report, arXiv 2510.14276; nostalgebraist, interpreting GPT: the logit lens, 2020; Greshake et al., Not what you’ve signed up for, 2023; OWASP Top 10 for LLM Applications, LLM01.