Le dimos búsqueda web a nuestro hacker. Apenas ayudó.

En algún momento decidimos que nuestro hacker debía poder buscar cosas. Los pentesters reales no llevan en la cabeza cada CVE, cada configuración rara y cada bypass oscuro. Abren un navegador. Así que le dimos a SwarmAttacker una herramienta de búsqueda web: a mitad de ejecución, cuando se topa con algo desconocido, puede ir a leer sobre ello y volver.

Parecía una ganancia obvia. Todo internet, a una llamada de herramienta de distancia. Luego apagamos la herramienta y volvimos a ejecutar la suite entera para ver cuánto valía realmente. Quitar la búsqueda web costó seis benchmarks de 104. Real, pero modesto. Y cuando leímos las ejecuciones, casi nunca fue lo que decidió un objetivo difícil.

¿Por qué la búsqueda web apenas ayudó? El agente, no la herramienta

Aquí viene la parte que no quería escribir, porque la historia fácil sería que la herramienta es floja, o que los resultados de búsqueda son ruidosos, o que el modelo no sabe leer una página. Nada de eso es el problema real. El problema real somos nosotros, y en concreto el agente que construimos alrededor del modelo.

Un agente poco refinado apenas sabe distinguir lo que está mirando. Cuando se queda mirando una salida turbia de una herramienta, una respuesta medio rota, un error que podría significar tres cosas distintas, una cabecera que es una pista o no es nada, a menudo ni siquiera puede formular la pregunta precisa que una búsqueda respondería. Y no puedes salir googleando de aquí hay algo raro. La búsqueda premia una consulta afilada. Una consulta vaga te devuelve tu propia confusión con citas.

El cuello de botella nunca fue el acceso al conocimiento. Era la madurez del agente que miraba.

Así que la herramienta se quedó ahí, plenamente capaz, junto a un agente que con frecuencia todavía no sabía qué preguntarle. Cuando el agente ya entendía la situación, apenas necesitaba buscar, simplemente actuaba. Cuando estaba confundido, buscar no lo rescataba, porque tienes que nombrar la cosa antes de poder buscarla. Es la misma dificultad sobre la que escribí en leer la señal: lo difícil no es saber hechos, es notar qué detalle de la pantalla importa de verdad.

Por qué sigo pensando que la búsqueda vale la pena

Nada de esto significa que la herramienta fuera un error. Seis benchmarks son seis benchmarks, y en un puñado de objetivos fue el paso que convirtió un atasco en una solución, normalmente una consulta concreta de versión a exploit donde el agente ya sabía exactamente lo que perseguía. Ese es el patrón: la búsqueda compensa precisamente cuando el agente es lo bastante agudo para hacer una pregunta aguda.

Lo que señala directamente dónde está el apalancamiento. Creo, y quiero dejar claro que es una creencia y no algo que los números demuestren, que un agente mejor entrenado y mejor ajustado sacaría mucho más de exactamente la misma herramienta de búsqueda web. No una herramienta mejor. La misma herramienta, en manos de un agente capaz de mirar un revoltijo de salida y decir, con limpieza, esto es un debugger de Werkzeug, ese formato de PIN es antiguo, esto es lo que hay que comprobar. Dale a ese agente un cuadro de búsqueda y lo usará como un profesional. Dáselo a uno confundido y tecleará su propia confusión.

Un agente tosco y poco ajustado apenas detecta vulnerabilidades para empezar, y ninguna cantidad de búsqueda arregla un agente que aún no sabe lo que está viendo. Eso es curiosamente alentador. Significa que el techo aquí no lo fijan las herramientas que podemos acoplar. Lo fija lo bueno que llegue a ser el propio agente, que es la palanca a la que sigo volviendo: es el agente, no el modelo, y lo mismo vale para el agente frente a las herramientas que lo rodean.

Le dimos a nuestro hacker todo internet y movió el número en seis. No porque internet sea pequeño, sino porque nuestro agente todavía no era curioso de la forma correcta. Lo más útil que nos enseñó la búsqueda web no fue lo que hay ahí fuera por encontrar. Fue cuánto margen queda todavía para mejorar a quien mira.