¿Están muertos los prompts?

No hace mucho, el prompt engineering era la mitad del trabajo. Guiabas al modelo con cadena de pensamiento, lo sembrabas con unos cuantos ejemplos, escribías un system prompt cuidadoso lleno de reglas y checklists, y ese andamiaje era la diferencia entre un agente útil y uno inútil. Así que cuando construimos SwarmAttacker, también hicimos todo eso.

Luego lo apagamos todo, para ver cuánto valía en realidad. La respuesta, en un modelo de frontera actual, fue: casi nada.

El experimento: cada técnica de prompting desactivada

SwarmAttacker resuelve retos de seguridad: lo apuntas a una aplicación web vulnerable y tiene que encontrar la flag. Lo ejecutamos contra una suite de 104 de ellas. El sistema completo, en GPT-5.5, resuelve el 94%.

Para medir cuánto aporta cada parte, desactivamos los componentes de uno en uno y volvimos a ejecutar toda la suite. Uno de esos componentes era cada técnica de prompting escrita a mano del agente: las reglas que le dicen que pruebe enfoques diversos en lugar de encasquillarse en uno, la checklist que evita que salte a conclusiones, las notas de estado de la ejecución que le dan un empujón cuando se atasca. Todo eso, apagado.

Retirar cada técnica de prompting costó tres benchmarks. Tres, de 104. Fue la caída más pequeña de todo lo que probamos, siete veces menor que la del manejo de rechazos, y ni siquiera ahorró dinero: la ejecución usó esencialmente el mismo número de tokens sin el andamiaje.

Sin técnicas de prompting, la ejecución iba por delante durante veinte minutos

Aquí viene la parte que escoció. Durante los primeros veinte minutos de cada ejecución, la versión sin técnicas de prompting resolvía más benchmarks que el sistema completo, 76 frente a 71. El andamiaje cuidadoso no solo no ayudó al principio; ralentizaba al agente. Los tres benchmarks que acabó rescatando solo aparecieron tarde, en los objetivos más difíciles.

La razón no es un misterio. Los criterios que escribimos en el prompt (prueba más de una cosa, no confíes en una sola señal, comprueba tus suposiciones) son cosas que un modelo fuerte ya hace en su mayoría por su cuenta. Estábamos escribiendo reglas para imponer un comportamiento que el modelo ya había aprendido.

Una capacidad que los agentes antiguos tenían que grabar en el prompt ha sido absorbida en silencio por el modelo base.

Entonces, ¿están muertos los prompts?

No. Pero el centro de gravedad se ha movido. Tres benchmarks no es cero, y en los objetivos más difíciles y más atados a convenciones el andamiaje aún se ganó su sitio. Si estás ejecutando un modelo más pequeño o más antiguo, la disciplina de prompt importa mucho más que esto, porque el modelo todavía no está tapando los huecos por ti.

Lo que está muerto es la idea de que el prompting ingenioso es donde está la palanca. En un modelo de frontera es una de las cosas menos importantes en las que puedes invertir esfuerzo. Las victorias ahora vienen de lo que rodea al modelo: darle las herramientas adecuadas, devolverle la salida de las herramientas de forma limpia, evitar que lo rechacen, y dejar que reintente. Esas son las partes que, al retirarlas, de verdad hicieron daño.

Si sigues pasando las tardes afinando a mano un system prompt en modelos de la clase GPT-5, los datos sugieren que estás puliendo la única palanca que apenas se mueve. La más grande, curiosamente, es simplemente dejar que el modelo lo intente de nuevo.