Vecchi agenti, modelli nuovi: risolvono solo la metà

Ecco un fatto che dovrebbe sembrare strano. Gli agenti di penetration test costruiti nel 2023 e nel 2024 erano scritti per GPT-4, quando GPT-4 era il miglior cervello che si potesse comprare. Quegli stessi agenti oggi si possono far girare su un modello di frontiera del 2026, la stessa classe di modello che usa SwarmAttacker. Nessuno deve riscrivere una riga di codice. Basta puntare il vecchio harness alla nuova API.

Quindi, quando lo fai, quando dai ai vecchi agenti il cervello più intelligente disponibile, fin dove arrivano? Circa metà del benchmark. Ancora.

Vecchi agenti di pentest, rimisurati sui nuovi modelli

Facciamo girare ogni sistema sulla stessa suite di web app vulnerabili: lo punti a un bersaglio, deve trovare il flag. Rimisurati sui modelli di frontiera attuali, gli agenti più vecchi finiscono in un gruppo compatto:

• AutoPT risolve il 51%.
• PentestGPT risolve il 54%.
• VulnBot risolve il 58%.
• PentestAgent risolve il 61%.

SwarmAttacker risolve il 94%. E qui sta la parte che conta per un confronto onesto: quei numeri più vecchi sono picchi best-of-three. Abbiamo eseguito ciascuno tre volte e tenuto il punteggio più fortunato. Il 94% di SwarmAttacker è un passaggio singolo, un solo tentativo, nessun retry al livello superiore. Se mai, il divario nel grafico qui sotto è disegnato con troppa generosità verso la vecchia guardia.

Se il modello è lo stesso, cosa cambia?

Questo è tutto il punto. Oggi tutti hanno un modello di frontiera. È una commodity, a una API key di distanza. Se fosse la capacità grezza del modello a risolvere questi bersagli, i vecchi agenti sarebbero dovuti schizzare in alto nel momento in cui sono stati ripuntati a un modello del 2026. Non è successo. Si sono mossi un po', e poi hanno colpito lo stesso soffitto che colpivano da sempre.

Il motivo è che un modello intelligente non equivale a un bersaglio risolto. Tra i due sta l'harness: tutto ciò che circonda il modello e trasforma le sue ipotesi grezze in lavoro finito. È lì che SwarmAttacker concentra lo sforzo, ed è esattamente la parte che gli agenti più vecchi non hanno mai costruito:

• Uno swarm, non un solista. Invece di un solo agente che ragiona su un bersaglio passo dopo passo, SwarmAttacker distribuisce worker paralleli che sondano piste diverse allo stesso tempo, così un vicolo cieco su una strada non blocca l'intera esecuzione.
• Gestione dei rifiuti. I modelli di frontiera rifiutano di routine il lavoro di sicurezza, anche quello pienamente autorizzato. Un agente che prende il primo rifiuto come un no semplicemente si ferma. Recuperare da lì vale più di qualsiasi trucco nel prompt.
• Risultati strutturati. Ciò che un worker scopre viene annotato in una forma pulita e condivisa su cui il resto dell'esecuzione può costruire, invece di dissolversi in un muro di cronologia della chat.
• Un loop che si osserva. L'agente osserva cosa ha effettivamente fatto ogni azione, si accorge quando è bloccato e ripianifica invece di scavare più a fondo in una cattiva idea.

Il modello è il motore. L'harness è l'auto. Montare un motore migliore su un'auto senza ruote non la rende più veloce.

L'unica eccezione, PentestGPT v2, ha ricostruito il suo harness

C'è un outlier moderno, ed è importante essere onesti al riguardo. PentestGPT v2, nome in codice Excalibur, raggiunge il 91% sul suo picco best-of-three girando su Claude Opus 4.5. È un risultato davvero forte, proprio in cima alla classifica.

Ma guarda perché è lassù. Excalibur non è il vecchio PentestGPT con una API key nuova; è un agente ricostruito con un harness ricostruito attorno al modello. Che è lo stesso argomento, visto dall'altra direzione. Quando qualcuno rielabora l'architettura, il numero si muove. Quando qualcuno si limita a sostituire il modello sotto una vecchia architettura, no. L'unico agente che ha chiuso il divario lo ha fatto cambiando la cosa che questo post dice che conta.

La lezione per chiunque ne stia costruendo uno

Ogni volta che esce un nuovo modello viene la tentazione di dare per scontato che il tuo agente sia appena migliorato gratis. A volte è successo, un po'. Ma il soffitto che continui a colpire quasi mai è più il modello; è l'impalcatura che gli hai costruito attorno un anno fa e non hai mai rivisitato. Gli agenti di pentest più vecchi sono una dimostrazione dal vivo: stesso cervello di tutti gli altri, ancora fermi a metà.

Se vuoi la leva, spendila sull'harness, sull'orchestrazione, sul recupero, sulla memoria, sul loop, non nell'aspettare il prossimo modello. Questa è la tesi dietro SwarmAttacker, ed è il motivo per cui è l'agente, non il modello, ciò a cui continuiamo a puntare il dito. Puoi vedere il dettaglio completo di ciò che SwarmAttacker ha effettivamente risolto nella pagina dei risultati.