No es el modelo, colega. Es el agente.

Diseño de agentesPor el equipo de SwarmAttacker en JolocorpPublicado 8 min de lectura

Tres avispones robóticos negros con ojos rojos mirando al frente sobre una rejilla roja: el agente, no el modelo

Hay una frase en Top Gun que todo ingeniero debería pegar en su monitor. A Maverick le dicen que su caza está en inferioridad, y él responde que no importa: no es el avión, es el piloto. Cambia dos palabras y tienes el hecho más importante y más ignorado sobre construir con modelos de lenguaje. No es el modelo. Es el agente.

Podemos demostrarlo con SwarmAttacker, porque primero hicimos el ridículo nosotros.

Mismo modelo, la mitad de la puntuación

Cuando apuntamos SwarmAttacker al benchmark por primera vez, ejecutamos GPT-5.5 con su máximo esfuerzo de razonamiento. Más pensamiento, mejor hacking, obviamente. Apenas superó la mitad de los objetivos. Estábamos listos para culpar a la tarea, o esperar a un modelo más grande.

Luego no cambiamos nada del modelo y todo del agente que lo rodeaba. Bajamos el esfuerzo de razonamiento a medio, apretamos el bucle, arreglamos cómo volvían los hallazgos, y dejamos que echara más vistazos, más baratos, al objetivo. El mismo GPT-5.5, exactamente los mismos pesos, llegó al 94%.

Un modelo, dos agentes

Modelo y pesos idénticos (GPT-5.5). Lo único que cambió entre estas dos barras es el agente envuelto a su alrededor.

Primera versiónGPT-5.5, máximo esfuerzo
50%
Tras el ajusteGPT-5.5, esfuerzo medio
94%
~50%
primera versión
94%
tras el ajuste
0
cambios de modelo

¿Por qué más pensamiento puntuó menos?

La parte contraintuitiva es que subir el esfuerzo de razonamiento lo empeoró. Llevado al máximo, el modelo masticaba cada movimiento, produciendo un razonamiento precioso, cuidadoso y lento, y quemaba el reloj haciéndolo. Dentro de un presupuesto de tiempo fijo, eso compraba muchos menos ciclos completos de mirar, actuar y replanificar.

Con esfuerzo medio se movía más rápido y miraba más a menudo. Probaba una sonda barata, leía lo que volvía y corregía, mientras que la versión de alto esfuerzo seguía deliberando sobre su primera idea. Todo nuestro diseño quiere muchos ciclos pequeños y rápidos, no unos pocos profundos, así que el ajuste que suena más inteligente estaba luchando activamente contra la arquitectura. Ese ritmo, amplitud paciente por encima de movimientos únicos profundos, es el mismo que describimos en cómo funciona.

El modelo fija el techo. El agente decide cuánto de ese techo alcanzas de verdad.

Qué mueve de verdad la puntuación de un agente

Una vez que ves el vuelco de 44 puntos por lo que es, la pregunta deja de ser "qué modelo" y pasa a ser "cómo se conduce". Las palancas que decidieron los resultados de SwarmAttacker estaban casi todas del lado del agente:

  • Ajuste del esfuerzo de razonamiento, acorde a un presupuesto de tiempo, no maximizado por reflejo.
  • El bucle y su cadencia: con qué frecuencia se detiene a observar y replanificar en lugar de comprometerse con una sola línea.
  • No dejar que lo rechacen, el mayor contribuyente individual de cualquier componente que medimos.
  • Retroalimentación que no miente: hallazgos estructurados en los que el planner puede confiar en lugar de un muro de salida en bruto.
  • Reintentos, porque el modelo es no determinista y un segundo intento suele salir gratis.

Nada de eso es el modelo. Y puedes ver la misma historia desde fuera hacia dentro: los agentes antiguos entregados a un modelo de frontera de 2026 siguen resolviendo solo la mitad de la suite, porque un cerebro mejor en un arnés peor sigue siendo un resultado peor. Tiramos de ese hilo en los agentes de pentest antiguos en modelos nuevos siguen resolviendo solo la mitad.

Deja de esperar al próximo modelo

El próximo modelo siempre está por llegar, y elevará el techo de todos en la misma medida. La victoria más barata y más grande casi siempre está sentada en el agente que ya tienes: el ajuste de esfuerzo que nunca afinaste, el bucle que se compromete demasiado pronto, los rechazos que te estás comiendo en silencio. Duplicamos nuestra puntuación sin tocar el modelo. No es el modelo, colega. Es el agente.