Ricerca web al nostro hacker: ha aiutato a malapena

A un certo punto abbiamo deciso che il nostro hacker dovesse poter cercare le cose. I veri penetration tester non portano in testa ogni CVE, ogni configurazione bizzarra e ogni bypass oscuro. Aprono un browser. Così abbiamo dato a SwarmAttacker uno strumento di ricerca web: a metà esecuzione, quando incontra qualcosa di sconosciuto, può andare a leggerne e tornare.

Sembrava una vittoria ovvia. Tutto internet, a una chiamata di strumento di distanza. Poi abbiamo spento lo strumento e rieseguito l'intera suite per vedere quanto valeva davvero. Togliere la ricerca web è costato sei benchmark su 104. Reale, ma modesto. E quando abbiamo letto le esecuzioni, non era quasi mai la cosa che decideva un bersaglio difficile.

Perché la ricerca web ha aiutato appena? L'agente, non lo strumento

Ecco la parte che non volevo scrivere, perché la storia facile sarebbe che lo strumento è debole, o che i risultati di ricerca sono rumorosi, o che il modello non sa leggere una pagina. Niente di tutto questo è il vero problema. Il vero problema siamo noi, e nello specifico l'agente che abbiamo costruito attorno al modello.

Un agente poco raffinato a malapena capisce cosa sta guardando. Quando fissa un output di strumento torbido, una risposta mezza rotta, un errore che potrebbe significare tre cose diverse, un header che è un indizio o niente, spesso non riesce nemmeno a formulare la domanda precisa a cui una ricerca risponderebbe. E non puoi uscire su Google da qui c'è qualcosa che non torna. La ricerca premia una query precisa. Una vaga ti restituisce la tua stessa confusione, con le citazioni.

Il collo di bottiglia non è mai stato l'accesso alla conoscenza. Era la maturità dell'agente che stava cercando.

Così lo strumento stava lì, pienamente capace, accanto a un agente che spesso non sapeva ancora cosa chiedergli. Quando l'agente aveva già capito la situazione, aveva a malapena bisogno di cercare, agiva e basta. Quando era confuso, cercare non lo salvava, perché devi dare un nome alla cosa prima di poterla cercare. È la stessa difficoltà di cui ho scritto in leggere il segnale: la parte difficile non è conoscere i fatti, è notare quale dettaglio sullo schermo conta davvero.

Perché penso ancora che la ricerca valga la pena

Nulla di tutto questo significa che lo strumento sia stato un errore. Sei benchmark sono sei benchmark, e su una manciata di bersagli è stato il passo che ha trasformato uno stallo in una soluzione, di solito una ricerca specifica da versione a exploit dove l'agente sapeva già esattamente cosa stava inseguendo. Questo è lo schema: la ricerca ripaga precisamente quando l'agente è abbastanza lucido da porre una domanda precisa.

Il che indica direttamente dove sta la leva. Credo, e voglio essere chiaro che questa è una convinzione e non qualcosa che i numeri dimostrano, che un agente meglio addestrato e meglio tarato otterrebbe molto di più dallo stesso identico strumento di ricerca web. Non uno strumento migliore. Lo stesso strumento, messo in mano a un agente capace di guardare un ammasso di output e dire, pulito, questo è un debugger Werkzeug, quel formato di PIN è vecchio, ecco cosa controllare. Dai a quell'agente una casella di ricerca e la userà come un professionista. Dalla a uno confuso e ci scriverà dentro la propria confusione.

Un agente grezzo e poco tarato a malapena rileva le vulnerabilità in primo luogo, e nessuna quantità di ricerca aggiusta un agente che non sa ancora cosa sta vedendo. È stranamente incoraggiante. Significa che il soffitto qui non è fissato dagli strumenti che possiamo imbullonare. È fissato da quanto diventa bravo l'agente stesso, che è la leva a cui continuo a tornare: è l'agente, non il modello, e lo stesso vale per l'agente rispetto agli strumenti che lo circondano.

Abbiamo dato al nostro hacker tutto internet e ha spostato il numero di sei. Non perché internet sia piccolo, ma perché il nostro agente non era ancora curioso nel modo giusto. La cosa più utile che la ricerca web ci ha insegnato non è cosa c'è là fuori da trovare. È quanto margine c'è ancora per migliorare la cosa che sta cercando.