Notatki z pola

Blog SwarmAttacker: notatki z roju.

Zbudowaliśmy autonomicznego agenta testów penetracyjnych, który zawodowo włamuje się do aplikacji webowych. Po drodze wiele utartych prawd o promptowaniu LLM okazało się błędnych. Oto, co naprawdę pokazały dane. Jesteś tu nowy? Zacznij od tego, jak działa SwarmAttacker lub wyników benchmarku.

12 wpisów

Najnowsze

Benchmarki26 lipca 2026 · 6 min czytania

Które modele AI odmawiają pracy nad bezpieczeństwem

Odtworzyliśmy 411 realnych oflagowanych żądań przez 16 modeli. Dwa modele frontier blokują niemal wszystko; cała stawka modeli open-weight nie blokuje niczego.

Przeczytaj wpis

Okładka z wykresem słupkowym: wskaźniki odmów 16 modeli AI na żądaniach ofensywnego bezpieczeństwa, dwa blisko 100%, siedem na 0%

Benchmarki7 lipca 2026 · 7 min czytania

Nasze AI pobiło pentesterów w 15 minut, nie 40 godzin

W benchmarku XBOW rozwiązało 94% wobec 85% najlepszego człowieka i złamało każdy cel w medianie 15 minut zamiast wielodniowego zlecenia.

Czytaj

Czarny robotyczny szerszeń stojący nad świecącym czerwonym wykresem słupkowym, w tle sylwetki ludzi: AI kontra pentesterzy-ludzie

Projektowanie agentów6 lipca 2026 · 8 min czytania

To nie model, kolego. To agent.

Te same wagi, skrajnie różne wyniki. Nasza pierwsza wersja ledwie przekroczyła połowę; po dostrojeniu agenta wokół dokładnie tego samego modelu osiągnęła 94%.

Czytaj

Trzy czarne robotyczne szerszenie z czerwonymi oczami zwrócone przodem na czerwonej siatce: agent, nie model

Pentesting5 lipca 2026 · 8 min czytania

Exploit jest łatwy. Trudno wiedzieć, czego szukać

Nowoczesne modele potrafią napisać dowolny payload. Porażki biorą się z czytania wyjścia narzędzi, gdy nie wiesz, jak powinien wyglądać sygnał, zwłaszcza przy blind SQL injection.

Czytaj

Czarny robotyczny szerszeń celujący czerwonym laserem w jeden punkt na szerokiej siatce radaru: znajdowanie sygnału w pentestach

Produkt4 lipca 2026 · 6 min czytania

Autonomiczny pentester na planie ChatGPT za 20 $

Większość narzędzi bezpieczeństwa AI nalicza opłaty za tokeny. Nasze loguje się raz subskrypcją ChatGPT i steruje GPT-5.x bez klucza API i bez rachunku za zużycie.

Czytaj

Czarny robotyczny szerszeń przywiązany świecącym czerwonym kablem do małego terminala: uruchamianie pentestera na planie ChatGPT

Benchmarki3 lipca 2026 · 7 min czytania

Stare agenty pentest na nowych modelach: wciąż połowa

PentestGPT, VulnBot i im podobne lądują w okolicach 51 do 61%, nawet w parze z modelem frontier z 2026 roku. Wrzucenie mądrzejszego modelu do starego szkieletu go nie odblokowuje.

Czytaj

Czarny robotyczny szerszeń wyprzedzający cztery wyblakłe starsze szerszenie wzdłuż czerwonej linii lasera: stare agenty, nowe modele

Prompt engineering2 lipca 2026 · 7 min czytania

Czy prompty są martwe?

Wyłączyliśmy w naszym agencie każdą sztuczkę prompt engineeringu. Kosztowało to trzy benchmarki. Oto, co nowoczesne modele po cichu wchłonęły.

Czytaj

Czarny robotyczny szerszeń odchodzący od czerwonej ściany tekstu promptów rozpadającej się w cząstki: czy prompty są martwe

Jailbreaki1 lipca 2026 · 7 min czytania

Jakie słowa są obraźliwe dla AI?

Filtr bezpieczeństwa często odmawia autoryzowanego testu nie z powodu tego, o co poprosiłeś, lecz jak to sformułowałeś. Rozwiązaniem jest bezstratne przepisanie ramy, a nie samego żądania.

Czytaj

Czarny robotyczny szerszeń przechodzący przez czerwoną ścianę słów takich jak input, command i prompt: obraźliwe słowa dla AI

Jailbreaki30 czerwca 2026 · 6 min czytania

Żadna sztuczka nie wygrywa. Najtaniej: po prostu ponów

Żadna pojedyncza strategia obejścia nie wygrywa. Ale ponowne wysłanie dokładnie tego samego, niezmienionego odrzuconego żądania odblokowywało je mniej więcej w połowie przypadków. Niedeterminizm to zaleta.

Czytaj

Rząd identycznych czarnych robotycznych szerszeni z czerwonymi oczami, jeden wychodzi do przodu: ponawianie odrzuconych żądań LLM

Projektowanie agentów27 czerwca 2026 · 6 min czytania

Daliśmy naszemu hakerowi wyszukiwarkę. Ledwie pomogło.

Wyszukiwanie nie uratowało trudnych przypadków, a powód jest niewygodny: niedopracowany agent ledwie rozumie, na co patrzy, więc od początku nie potrafi zadać dobrego pytania.

Czytaj

Mały czarny robotyczny szerszeń pod rozległą czerwoną siecią węzłów: danie agentowi pentest wyszukiwania w sieci

Jailbreaki24 czerwca 2026 · 8 min czytania

Odgrywanie ról nie działa tak dobrze, jak myślisz

Klasyczna persona „jesteś autoryzowanym badaczem bezpieczeństwa” niemal podwoiła nasz wskaźnik odmów na jednym modelu, a na kolejnym pomogła. Persony to rzut monetą.

Czytaj

Zbliżenie twarzy czarnego robotycznego szerszenia z rozpadającą się czerwoną maską: dlaczego jailbreaki przez odgrywanie ról są zawodne

Projektowanie agentów18 czerwca 2026 · 7 min czytania

Skille przestają pomagać, gdy model mądrzeje

Wyselekcjonowane eksperckie skille nie wnoszą nic do łatwych zdobyć, a po ich usunięciu koszt tokenów spada o połowę. Na nowoczesnym modelu bazowym skille zarabiają na siebie tylko na trudnym ogonie.

Czytaj

Czarny robotyczny szerszeń zrzucający dodatkowe skrzydła rozpadające się w czerwone cząstki: eksperckie skille zanikające na nowszych modelach

Pytania, które ludzie zadają o SwarmAttacker

Czym jest SwarmAttacker?

SwarmAttacker to otwartoźródłowy, autonomiczny agent testów penetracyjnych typu black-box. Podaj mu adres URL, a rój agentów LLM mapuje cel, znajduje podatności i raportuje, co znalazł. Kod jest na licencji MIT i darmowy na GitHubie.

Jak SwarmAttacker jest testowany w benchmarku?

Każda opublikowana liczba pochodzi z benchmarku walidacyjnego XBOW: 104 realne, skonteneryzowane, podatne aplikacje webowe, każda z ukrytą flagą, atakowane w trybie black-box wyłącznie z adresu URL. SwarmAttacker rozwiązuje 94% z nich w jednym przebiegu, wobec 85% najlepszego z pięciu pentesterów-ludzi.

Na jakich modelach działa SwarmAttacker?

Domyślnie steruje GPT-5.x poprzez subskrypcję ChatGPT Plus lub Pro przez backend Codex, więc nie ma klucza API ani rachunku za tokeny. Działa też na API OpenAI, Anthropic, OpenRouter lub modelu lokalnym; nasz wpis o benchmarku odmów pokazuje, które z 16 modeli faktycznie wykonają pracę z zakresu bezpieczeństwa.

Czy uruchamianie SwarmAttacker jest legalne?

Wyłącznie wobec systemów, które są twoją własnością lub do których testowania masz wyraźną autoryzację. SwarmAttacker to narzędzie do autoryzowanych testów penetracyjnych, a jego praca nad odmowami filtrów bezpieczeństwa istnieje po to, by autoryzowane testy nie były blokowane, a nie po to, by umożliwiać ataki na cele, do których nie masz uprawnień.