La nostra AI batte i pentester: 15 minuti, non 40 ore

Qualche tempo fa la società di sicurezza XBOW ha pubblicato qualcosa che ha attirato la nostra attenzione. Ha preso la sua suite di 104 web app vulnerabili e l'ha affidata a cinque penetration tester professionisti, persone vere che fanno questo lavoro per mestiere. Il migliore dei cinque ha trovato il flag nell'85% delle app. Gli sono servite circa 40 ore di lavoro concentrato. Gli altri quattro si sono fermati al 59% o meno.

Abbiamo puntato SwarmAttacker sulle stesse 104 app. Ne ha risolte 98, il 94%, in un singolo passaggio. Il tempo mediano per violare un target è stato di 15 minuti.

Quindi, su questo benchmark, la macchina ha battuto il miglior umano. E lo ha fatto in una frazione del tempo.

Cosa lascia fuori un benchmark CTF dal lavoro di un pentester

Quel titolo è vero, e non voglio ridimensionarlo. Ma se te ne vai pensando «l'IA ha appena sostituito i penetration tester», ci hai letto troppo dentro, e preferisco essere io a dirlo.

Questo è un benchmark capture-the-flag. Ogni app è una scatola chiusa con un solo flag nascosto dentro, e tutto il lavoro consiste nel trovarlo. È una competenza vera ed è una fetta importante di ciò che i pentester fanno ogni giorno. Ma è una fetta. Non è tutto il lavoro.

Ciò che un benchmark del genere lascia fuori è la maggior parte del lavoro vero e proprio:

• Lo scoping. Nessuno dice all'agente cosa rientra nel perimetro, cosa è fragile o cosa interessa davvero al cliente. Il target viene semplicemente consegnato.
• Parlare con le persone. Nessuna call di kickoff, nessun «questo server si può toccare senza rischi?», nessuna spiegazione di un finding a un ingegnere che non è d'accordo con te.
• La logica di business nel suo contesto. I bug qui sono difetti tecnici in una piccola app, non «questo flusso di rimborso può essere abusato per svuotare l'account» in un sistema con mille parti in movimento.
• Il report. Metà del valore che un buon pentester consegna è un resoconto chiaro: cosa non va, perché conta, come sistemarlo, ordinato per rischio. Qui l'agente non fa nulla di tutto questo.
• Il disordine. Gli engagement reali si estendono sull'infrastruttura intricata di un'organizzazione. Concateni un piccolo appiglio a un altro attraverso sistemi che nessuno ha mai documentato per intero. Una scatola chiusa non mette alla prova questo.

Battere il miglior umano su questo benchmark, in questo compito specifico, è reale e misurabile. Non è la stessa cosa che battere un umano nel lavoro.

Un'altra nota di correttezza, questa volta nell'altra direzione. I professionisti umani stavano risolvendo target sconosciuti sotto una vera pressione di tempo, a freddo, esattamente come il nostro agente. Quindi non si tratta di «esperti che lavorano svogliatamente». Erano bravi tester che facevano un lavoro difficile in fretta, e l'agente è comunque uscito avanti sul puro tasso di risoluzione. Entrambe le cose sono vere allo stesso tempo.

Vorrei anche tenere onesto il nostro numero. Il 94% è un singolo passaggio, una sola esecuzione per target, senza scegliere il migliore di più tentativi. Alcuni degli altri sistemi in quel grafico sono picchi best-of-three, e uno è un vendor che riporta il proprio punteggio. Quindi le barre non sono tutte misurate allo stesso modo. Considera il grafico una mappa approssimativa del campo, non una classifica precisa. Puoi approfondire esattamente come abbiamo contato nella pagina dei risultati.

Perché è diventato possibile ora, e non due anni fa?

La domanda interessante non è «l'IA ha vinto?», ma «perché è diventato possibile all'improvviso?». Due anni fa, gli agenti costruiti sui modelli dell'epoca non arrivavano nemmeno lontanamente a questi punteggi. Il salto non è venuto da un agente più ingegnoso. È venuto soprattutto dal modello sottostante, diventato drasticamente più bravo proprio in questo tipo di problem solving aperto e a più passaggi. Abbiamo scritto di questo cambiamento in perché i vecchi design di agenti funzionano meglio sui nuovi modelli.

Cosa cambia con un primo passaggio automatico di 15 minuti

Ecco la parte che mi entusiasma davvero, e non ha niente a che fare con qualcuno che perde il lavoro.

Oggi un test di sicurezza fatto come si deve è costoso e lento, quindi la maggior parte del software non ne riceve mai uno. Le startup rilasciano senza. Gli strumenti interni vengono rilasciati senza. Quel progetto personale che gestisce dati reali degli utenti viene rilasciato senza. Un engagement umano costa soldi veri e richiede settimane per essere programmato, quindi viene riservato alle poche cose abbastanza importanti da giustificarlo.

Un primo passaggio automatico di 15 minuti cambia i conti. Non perché sostituisca l'engagement umano approfondito, non lo fa, ma perché può girare su tutto. Ogni app, ogni servizio, ogni commit, prima ancora che una persona ci guardi. Intercetta i difetti evidenti in modo automatico ed economico, e liberi gli esperti umani perché possano spendere le loro 40 ore sul lavoro difficile, contestuale, fatto di giudizio, che un benchmark non potrà mai catturare.

Questa è la storia. Non «i pentester sono obsoleti». Piuttosto «il test di sicurezza è appena diventato abbastanza economico da farlo girare su cose che prima saltavamo». I migliori umani restano avanti dove conta di più. Solo che ora ci sono molti più posti in cui una macchina può dare la prima occhiata.