Nasze AI pobiło pentesterów w 15 minut, nie 40 godzin

Jakiś czas temu firma bezpieczeństwa XBOW opublikowała coś, co zwróciło naszą uwagę. Wzięli swój zestaw 104 podatnych aplikacji webowych i dali go pięciu zawodowym testerom penetracyjnym, prawdziwym ludziom, którzy robią to na co dzień. Najlepszy z tej piątki znalazł flagę w 85% aplikacji. Zajęło to około 40 godzin skupionej pracy. Pozostała czwórka osiągnęła 59% lub mniej.

Skierowaliśmy SwarmAttacker na te same 104 aplikacji. Rozwiązał 98 z nich, 94%, w jednym przebiegu. Mediana czasu złamania celu wyniosła 15 minut.

Tak więc na tym benchmarku maszyna pokonała najlepszego człowieka. I zrobiła to w ułamku czasu.

Czego benchmark CTF nie ujmuje z pracy pentestera

Ten nagłówek jest prawdziwy i nie chcę go pomniejszać. Ale jeśli wychodzisz z przekonaniem „AI właśnie zastąpiło testerów penetracyjnych”, to odczytałeś z tego zbyt wiele, a wolę sam to powiedzieć.

To benchmark typu capture-the-flag. Każda aplikacja to samodzielne pudełko z jedną ukrytą flagą w środku, a całe zadanie polega na jej znalezieniu. To realna umiejętność i spory wycinek tego, co pentesterzy robią na co dzień. Ale to wycinek. To nie cała praca.

Benchmark taki jak ten pomija większość faktycznej pracy:

• Ustalanie zakresu. Nikt nie mówi agentowi, co jest w zasięgu, co jest kruche ani na czym klientowi naprawdę zależy. Cel jest po prostu podany.
• Rozmowa z ludźmi. Żadnego spotkania startowego, żadnego „czy ten serwer można bezpiecznie ruszać”, żadnego tłumaczenia znaleziska inżynierowi, który się z tobą nie zgadza.
• Logika biznesowa w kontekście. Błędy tutaj to techniczne wady małej aplikacji, a nie „ten proces zwrotów można wykorzystać, by opróżnić konto” w systemie z tysiącem ruchomych części.
• Raport. Połowa wartości, jaką dostarcza dobry pentester, to jasny opis: co jest nie tak, dlaczego to ważne, jak to naprawić, uszeregowane według ryzyka. Agent nie robi tu nic z tego.
• Bałagan. Prawdziwe zlecenia rozlewają się po poplątanej infrastrukturze organizacji. Łączysz jeden mały przyczółek z kolejnym w systemach, których nikt w pełni nie udokumentował. Zamknięte pudełko tego nie sprawdza.

Pokonanie najlepszego człowieka na tym benchmarku, w tym konkretnym zadaniu, jest realne i mierzalne. To nie to samo co pokonanie człowieka w jego pracy.

Jeszcze jedna kwestia uczciwości, tym razem skierowana w drugą stronę. Zawodowcy rozwiązywali nieznane cele pod realną presją czasu, na zimno, tak samo jak nasz agent. To więc nie są „eksperci robiący coś od niechcenia”. To byli dobrzy testerzy wykonujący trudną pracę szybko, a agent i tak wyszedł na prowadzenie w surowym wskaźniku rozwiązań. Obie rzeczy są prawdziwe jednocześnie.

Chcę też, by nasza własna liczba była uczciwa. Te 94% to jeden przebieg, jeden bieg na cel, bez wybierania najlepszej z kilku prób. Kilka innych systemów na tym wykresie to szczyty z trzech prób, a jeden to dostawca raportujący własny wynik. Słupki nie są więc mierzone tak samo. Traktuj wykres jako zgrubną mapę pola, a nie precyzyjny ranking. Dokładnie to, jak liczyliśmy, możesz zgłębić na stronie wyników.

Dlaczego stało się to możliwe teraz, a nie dwa lata temu?

Ciekawe pytanie nie brzmi „czy AI wygrało”, tylko „dlaczego nagle stało się to możliwe”. Dwa lata temu agenci zbudowani na ówczesnych modelach osiągali wyniki bliskie zeru w porównaniu z tym. Skok nie wziął się ze sprytniejszego agenta. Wziął się głównie z tego, że model pod spodem stał się dramatycznie lepszy dokładnie w tego rodzaju otwartym, wieloetapowym rozwiązywaniu problemów. Pisaliśmy o tej zmianie w tekście dlaczego stare projekty agentów działają lepiej na nowych modelach.

Co zmienia 15-minutowy automatyczny pierwszy przebieg

Oto część, która naprawdę mnie cieszy, a nie ma nic wspólnego z tym, że ktoś traci pracę.

Obecnie porządny test bezpieczeństwa jest drogi i powolny, więc większość oprogramowania nigdy go nie dostaje. Startupy wypuszczają produkt bez niego. Narzędzia wewnętrzne wypuszczane są bez niego. Ten projekt poboczny obsługujący prawdziwe dane użytkowników jest wypuszczany bez niego. Zlecenie dla człowieka kosztuje realne pieniądze i tygodnie na zaplanowanie, więc rezerwuje się je dla tych nielicznych rzeczy na tyle ważnych, by je uzasadnić.

15-minutowy automatyczny pierwszy przebieg zmienia ten rachunek. Nie dlatego, że zastępuje głębokie zlecenie dla człowieka, bo tego nie robi, lecz dlatego, że może działać na wszystkim. Każdej aplikacji, każdej usłudze, każdym commicie, zanim spojrzy na to człowiek. Wyłap oczywiste wady automatycznie i tanio, a uwolnisz ludzkich ekspertów, by poświęcili swoje 40 godzin na trudną, kontekstową, wymagającą osądu pracę, której benchmark nigdy nie uchwyci.

To jest tu prawdziwa historia. Nie „pentesterzy są przestarzali”. Raczej „testowanie bezpieczeństwa właśnie stało się na tyle tanie, że można je uruchamiać na rzeczach, które kiedyś pomijaliśmy”. Najlepsi ludzie wciąż są z przodu tam, gdzie liczy się to najbardziej. Po prostu jest teraz o wiele więcej miejsc, w których maszyna może rzucić pierwsze spojrzenie.