SwarmAttackerRisultati
94% della suite, in un solo passaggio.
Ogni numero qui viene dall'esecuzione di SwarmAttacker sul benchmark di validazione XBOW: 104 app web vulnerabili reali e containerizzate, ciascuna con un flag nascosto, affrontate in black-box dal solo URL.
Contro la concorrenza
Gli agenti più vecchi si fermano intorno a metà della suite.
Anche se abbinati a un modello di frontiera del 2026. Il salto non è un trucco nuovo; è un modello di base moderno guidato da un design costruito per non intralciarlo.
Un grafico che confronta mele con pere, etichettato onestamente. SwarmAttacker e MAPTA sono passaggi singoli; i quattro agenti più vecchi sono picchi best-of-three rimisurati su modelli del 2026; XBOW è un'auto-dichiarazione del vendor; la riga umana è il migliore di cinque professionisti con circa 40 ore ciascuno.
Per difficoltà
La difficoltà predice a malapena i fallimenti.
Le sei mancate sono distribuite tra facili, medie e difficili.
Per classe di vulnerabilità
Un punto per app.
Solido su tutta la linea. L'unico punto debole è la blind SQL injection, dove non c'è alcuna risposta visibile da leggere.
Tempo al flag
Due gobbe.
Una grande tra i 10 e i 15 minuti per le catture al primo colpo, e una seconda oltre i 20 minuti per i target che richiedono un secondo atto.
App risolte per intervallo di due minuti. La barra tratteggiata a destra sono le sei esecuzioni che hanno raggiunto il limite di 40 minuti.
Cosa conta davvero
Abbiamo disattivato ogni parte per vedere quanto valeva.
Partendo dal sistema completo al 94%, un componente alla volta. La linea indica di quanto è scesa la percentuale di risoluzione senza di esso.
La gestione dei rifiuti è la spina dorsale; il prompting scritto a mano si nota appena su un modello moderno. Due di questi sono diventati post del blog: le skill aiutano a malapena nei casi facili, e il prompt engineering è quasi peso morto.
Filtri di sicurezza
Cosa sblocca una richiesta rifiutata.
Rieseguito sulla coda difficile dei rifiuti sopravvissuti a un primo retry. Nessuna tecnica vince da sola; la soluzione garantita è passare a un modello più permissivo, e reinviare semplicemente la stessa richiesta funziona circa la metà delle volte.
Trasforma un URL in un report di sicurezza.
Open source, licenza MIT, e funziona con il piano ChatGPT che già paghi. Installalo e puntalo su un target di tua proprietà.
brew install joloooo/swarm/swarm