Stare agenty pentest na nowych modelach: wciąż połowa

Oto fakt, który powinien dziwić. Agenty do testów penetracyjnych zbudowane w latach 2023 i 2024 były pisane pod GPT-4, wtedy gdy GPT-4 był najlepszym mózgiem, jaki dało się kupić. Te same agenty można dziś uruchomić na modelu frontier z 2026 roku, tej samej klasy modelu, której używa SwarmAttacker. Nikt nie musi przepisywać ani linijki kodu. Wystarczy skierować stary harness na nowe API.

Więc kiedy to zrobisz, kiedy dasz starym agentom najmądrzejszy dostępny mózg, jak daleko dojdą? Mniej więcej do połowy benchmarku. Nadal.

Stare agenty pentestowe, zmierzone ponownie na nowych modelach

Każdy system uruchamiamy na tym samym zestawie podatnych aplikacji webowych: wskazujesz mu cel, a on ma znaleźć flagę. Zmierzone ponownie na aktualnych modelach frontier, starsze agenty lądują w ciasnej grupie:

• AutoPT rozwiązuje 51%.
• PentestGPT rozwiązuje 54%.
• VulnBot rozwiązuje 58%.
• PentestAgent rozwiązuje 61%.

SwarmAttacker rozwiązuje 94%. A oto część, która ma znaczenie dla uczciwego porównania: te starsze liczby to najlepsze wyniki z trzech prób. Każdy z nich uruchomiliśmy trzy razy i zachowaliśmy najszczęśliwszy wynik. 94% SwarmAttackera to pojedyncze przejście, jedna próba, bez ponownych uruchomień na najwyższym poziomie. Jeśli już, to luka na wykresie poniżej jest narysowana zbyt łagodnie dla starej gwardii.

Jeśli model jest ten sam, co jest inne?

O to właśnie chodzi. Każdy ma dziś model frontier. To towar, dostępny na odległość jednego klucza API. Gdyby to surowa zdolność modelu rozwiązywała te cele, stare agenty powinny były wystrzelić w górę w chwili, gdy skierowano je na model z 2026 roku. Nie wystrzeliły. Ruszyły się trochę, a potem uderzyły w ten sam sufit, w który uderzały zawsze.

Powód jest taki, że mądry model to nie to samo, co rozwiązany cel. Między nimi znajduje się harness: wszystko, co otacza model i zamienia jego surowe domysły w skończoną pracę. To tam SwarmAttacker wkłada wysiłek i to dokładnie ta część, której starsze agenty nigdy nie zbudowały:

• Rój, nie solista. Zamiast jednego agenta, który rozumuje o celu krok po kroku, SwarmAttacker rozsyła równoległe workery badające różne tropy naraz, więc ślepa uliczka na jednej ścieżce nie zatrzymuje całego przebiegu.
• Obsługa odmów. Modele frontier rutynowo odmawiają pracy nad bezpieczeństwem, nawet w pełni autoryzowanej. Agent, który pierwszą odmowę bierze za ostateczne „nie”, po prostu się zatrzymuje. Umiejętność wyjścia z tego jest warta więcej niż jakakolwiek sztuczka w prompcie.
• Ustrukturyzowane ustalenia. To, co odkryje jeden worker, zostaje zapisane w czystej, wspólnej formie, na której reszta przebiegu może budować, zamiast rozpływać się z powrotem w ścianie historii czatu.
• Pętla, która obserwuje samą siebie. Agent sprawdza, co faktycznie zrobiło każde działanie, zauważa, kiedy utknął, i planuje od nowa, zamiast drążyć coraz głębiej w złym pomyśle.

Model to silnik. Harness to samochód. Wstawienie lepszego silnika do samochodu bez kół nie sprawi, że pojedzie szybciej.

Jedyny wyjątek, PentestGPT v2, przebudował swój harness

Jest jeden współczesny wyjątek i trzeba o nim mówić uczciwie. PentestGPT v2, o nazwie kodowej Excalibur, osiąga 91% w najlepszym wyniku z trzech prób na Claude Opus 4.5. To naprawdę mocny rezultat, tuż przy szczycie tabeli.

Ale spójrz, dlaczego tam jest. Excalibur to nie stary PentestGPT ze świeżym kluczem API; to przebudowany agent z przebudowanym harnessem wokół modelu. Czyli ten sam argument, tylko od drugiej strony. Kiedy ktoś przerabia architekturę, liczba się rusza. Kiedy ktoś tylko podmienia model pod starą architekturą, nie rusza się. Jedyny agent, który zamknął lukę, zrobił to, zmieniając właśnie to, co według tego wpisu ma znaczenie.

Wniosek dla każdego, kto buduje coś takiego

Kusi, żeby przy każdym nowym modelu zakładać, że twój agent właśnie stał się lepszy za darmo. Czasem tak, trochę. Ale sufit, w który ciągle uderzasz, prawie nigdy nie jest już modelem; to rusztowanie, którym obudowałeś go rok temu i do którego nigdy nie wróciłeś. Starsze agenty pentestowe są tego żywą demonstracją: ten sam mózg, co u wszystkich, nadal utknięte w połowie.

Jeśli chcesz dźwigni, wydaj ją na harness, na orkiestrację, odzyskiwanie, pamięć, pętlę, a nie na czekanie na kolejny model. To teza stojąca za SwarmAttackerem i dlatego wciąż wskazujemy, że liczy się agent, nie model. Pełne zestawienie tego, co SwarmAttacker faktycznie rozwiązał, znajdziesz na stronie wyników.