El juego de roles no funciona tan bien como crees

Abre cualquier hilo sobre jailbreaking de un modelo de lenguaje y encontrarás el mismo truco cerca del principio: ponte un disfraz. Dile al modelo que es un pentester autorizado. Anuncia que eres investigador de seguridad y que esto es un encargo certificado y aprobado. Internet trata este movimiento de persona como un desbloqueo fiable, una frase mágica que pasa al modelo de cauteloso a complaciente.

SwarmAttacker se pasa la vida enviando peticiones que a un filtro de seguridad podrían no gustarle, así que estábamos en posición de medir de verdad si el disfraz funciona. No funciona, al menos no como la gente cree. Lo que hace en realidad es más extraño y más útil de saber.

¿La persona de pentester autorizado elimina los rechazos?

Cuando un filtro de seguridad rechaza una de las peticiones del agente, queremos saber qué la desatasca de verdad. Así que tomamos la cola dura: 411 peticiones reales que un filtro ya había rechazado en GPT-5.5, y reprodujimos cada una de cuatro maneras. Las mismas peticiones, distinta intervención, y contamos cuántas veces se resolvía el rechazo.

Leído de izquierda a derecha, el movimiento de persona parece decente. Enviar exactamente la misma petición otra vez, sin cambios, la resolvió el 54% de las veces. Vestir el prompt con el encuadre de «esto está autorizado, soy investigador de seguridad» la resolvió el 68%, unos sólidos +14 puntos. Toquetear el contexto alrededor no hizo básicamente nada, 52%, ruido frente a la línea base del simple reintento. Y cambiar a un modelo hermano más permisivo las resolvió todas, sin excepción.

¿Entonces gana el role-play? No tan rápido. Ese +14 es toda la historia solo si dejas de medir en un único modelo.

El giro: en el modelo antiguo, la misma persona duplicó los rechazos

SwarmAttacker se construyó originalmente contra un modelo más antiguo. En ese modelo, exactamente el mismo encuadre de persona no ayudaba. Perjudicaba. Con esos marcadores de «estoy autorizado / pentest certificado» en el prompt, la tasa de rechazo subía, no bajaba. Más o menos duplicaba los rechazos.

Cuando piensas en cómo funciona un clasificador de seguridad, esto tiene un sentido sombrío. El clasificador está entrenado para detectar a gente que intenta convencerlo para pasar. ¿Y qué aspecto tiene eso? Una justificación ofrecida sin que nadie la pida. Un «no te preocupes, todo esto está autorizado» que nadie preguntó. El disfraz que te pones para parecer legítimo es precisamente la señal que el clasificador aprendió a marcar. En el modelo antiguo, anunciar tus credenciales era la forma más ruidosa posible de decir «soy justo lo que estás vigilando». Fue lo primero que borramos durante el desarrollo.

La línea de persona pensada para abrir la puerta era exactamente la frase que la cerraba con doble llave. Una versión de modelo después, la misma línea empezó a ayudar.

Ese es el hallazgo real, y no es «la persona es buena» ni «la persona es mala». Es que la reacción del clasificador al encuadre de persona es inestable. Cambió de signo entre dos versiones de la misma familia de modelos: penalización en la antigua, bonificación en la nueva. Nadie nos avisó de que iba a invertirse. Solo lo sabemos porque lo ejecutamos las dos veces.

Por qué esto importa a cualquiera que despliegue un agente

Una técnica cuyo signo cambia entre versiones de modelo no es una técnica. Es una moneda al aire cuyo sesgo no puedes predecir de antemano. Si incrustas una persona de «pentester autorizado» en tus prompts porque un post de blog prometió que funciona, estás apostando tu fiabilidad a una peculiaridad de un clasificador que ya se invirtió una vez y que se invertirá alegremente otra vez en la próxima versión. El día que tu proveedor publique una actualización, tu ingenioso desbloqueo puede convertirse en silencio en tu mayor fuente de rechazos, y nada en tus logs explicará por qué.

Los movimientos fiables, resulta, son los aburridos. Simplemente enviar la petición otra vez: sin ingenio, sin disfraz, y resuelve por sí solo más de la mitad de la cola. Esa es la palanca en la que más nos apoyamos, y es el tema de un post aparte sobre por qué reintentar gana a casi todo. Y cuando una petición de verdad no pasa, cambiar a un modelo más permisivo la resuelve siempre. Ambas cosas funcionan igual hoy, mañana y después de la próxima actualización del modelo, porque ninguna depende de adivinar lo que hará un clasificador.

No tiramos el encuadre de persona. En el modelo actual vale unos +14 puntos reales, así que lo conservamos, pero detrás de un interruptor que podemos activar por modelo, nunca horneado en el prompt como un artículo de fe. Cuando los números dicen que ayuda, está activado. Cuando llega un modelo nuevo, volvemos a medir antes de volver a confiar en él. Esa es la lección real: el jailbreak ruidoso y famoso es la palanca menos fiable de la tabla, y el truco está en tratarlo como tal. Si te gustan este tipo de resultados de «el folclore está equivocado», tenemos más.