SwarmAttackerWyniki
94% zestawu, w jednym przebiegu.
Każda liczba tutaj pochodzi z uruchomienia SwarmAttacker na benchmarku walidacyjnym XBOW: 104 realnych, skonteneryzowanych, podatnych aplikacji webowych, każda z ukrytą flagą, atakowanych w trybie black-box wyłącznie z adresu URL.
Na tle konkurencji
Starsze agenty gromadzą się wokół połowy zestawu.
Nawet w parze z modelem frontier z 2026 roku. Ten skok to nie nowa sztuczka; to nowoczesny model bazowy sterowany projektem stworzonym tak, by mu nie przeszkadzać.
Wykres porównujący jabłka z gruszkami, ale uczciwie opisany. SwarmAttacker i MAPTA to pojedyncze przebiegi; cztery starsze agenty to najlepsze wyniki z trzech prób, zmierzone ponownie na modelach z 2026 roku; XBOW to deklaracja producenta; wiersz człowieka to najlepszy z pięciu profesjonalistów, każdy przez około 40 godzin.
Według trudności
Trudność ledwie przewiduje porażkę.
Sześć pudeł rozkłada się na poziomy łatwy, średni i trudny.
Według klasy podatności
Jedna kropka na aplikację.
Mocno na całej linii. Jedyny słaby punkt to blind SQL injection, gdzie nie ma widocznej odpowiedzi do odczytania.
Czas do flagi
Dwa garby.
Duży w okolicach kilkunastu minut dla zdobyć za pierwszym podejściem i drugi powyżej 20 minut dla celów, które wymagają drugiego aktu.
Rozwiązane aplikacje w dwuminutowych przedziałach. Przerywany słupek po prawej to sześć przebiegów, które osiągnęły limit 40 minut.
Co naprawdę się liczy
Wyłączaliśmy każdą część, by zobaczyć, ile jest warta.
Zaczynając od pełnego systemu na poziomie 94%, po jednym komponencie naraz. Linia pokazuje, o ile spadła skuteczność bez niego.
Obsługa odmów to kręgosłup; ręcznie pisany prompting ledwie się liczy na nowoczesnym modelu. Dwa z nich stały się wpisami na blogu: skille ledwie pomagają w łatwych zdobyczach, a prompt engineering to niemal martwy balast.
Filtry bezpieczeństwa
Co odblokowuje odrzucone żądanie.
Odtworzone na trudnym ogonie odmów, które przetrwały pierwsze ponowienie. Żadna pojedyncza technika nie wygrywa; gwarantowanym rozwiązaniem jest podmiana na bardziej pobłażliwy model, a samo ponowne wysłanie tego samego żądania działa mniej więcej w połowie przypadków.
Zamień adres URL w raport bezpieczeństwa.
Otwarte źródło, licencja MIT, działa na planie ChatGPT, za który już płacisz. Zainstaluj go i skieruj na cel, który jest twoją własnością.
brew install joloooo/swarm/swarm