To nie model, kolego. To agent.
Projektowanie agentówZespół SwarmAttacker w JolocorpOpublikowano 8 min czytania

Jest w „Top Gun” kwestia, którą każdy inżynier powinien przykleić do monitora. Maverickowi mówią, że jego odrzutowiec jest słabszy, a on odpowiada, że to nie ma znaczenia: to nie samolot, to pilot. Zamień dwa słowa i masz najważniejszy oraz najbardziej ignorowany fakt o budowaniu z modelami językowymi. To nie model. To agent.
Możemy to udowodnić na SwarmAttackerze, bo najpierw sami się skompromitowaliśmy.
Ten sam model, połowa wyniku
Gdy po raz pierwszy skierowaliśmy SwarmAttacker na benchmark, uruchomiliśmy GPT-5.5 na najwyższym wysiłku rozumowania. Więcej myślenia, lepsze hakowanie, oczywiście. Ledwie przekroczył połowę celów. Byliśmy gotowi zrzucić winę na zadanie albo czekać na większy model.
Potem nie zmieniliśmy nic w modelu, a wszystko w agencie wokół niego. Zeszliśmy z wysiłkiem rozumowania do średniego, zacisnęliśmy pętlę, poprawiliśmy sposób, w jaki wracały znaleziska, i pozwoliliśmy mu rzucać więcej, tańszych spojrzeń na cel. Ten sam GPT-5.5, dokładnie te same wagi, doszedł do 94%.
Jeden model, dwaj agenci
Identyczny model i wagi (GPT-5.5). Jedyne, co zmieniło się między tymi dwoma słupkami, to agent opleciony wokół niego.
Dlaczego więcej myślenia dało niższy wynik?
Kontrintuicyjne jest to, że podkręcenie wysiłku rozumowania w górę pogorszyło sytuację. Wykręcony do maksimum, model przeżuwał każdy pojedynczy ruch, produkując piękne, staranne, powolne rozumowanie, i spalał na to zegar. W ustalonym budżecie czasu kupowało to znacznie mniej pełnych cykli patrz, działaj i przeplanuj.
Na średnim wysiłku poruszał się szybciej i patrzył częściej. Próbował taniej sondy, czytał, co wróciło, i korygował, podczas gdy wersja o wysokim wysiłku wciąż rozważała swój pierwszy pomysł. Cały nasz projekt chce wielu małych szybkich cykli, a nie kilku głębokich, więc ustawienie, które brzmi mądrzej, aktywnie walczyło z architekturą. Ten rytm, cierpliwa szerokość ponad głębokie pojedyncze ruchy, to ten sam, który opisujemy w jak to działa.
Model ustala pułap. Agent decyduje, ile z tego pułapu faktycznie osiągasz.
Co naprawdę rusza wynik agenta
Gdy zobaczysz ten 44-punktowy skok takim, jakim jest, pytanie przestaje brzmieć „który model”, a zaczyna „jak jest sterowany”. Dźwignie, które zadecydowały o wynikach SwarmAttackera, były niemal wszystkie po stronie agenta:
- Strojenie wysiłku rozumowania, dopasowane do budżetu czasu, a nie wykręcone do maksimum odruchowo.
- Pętla i jej kadencja: jak często zatrzymuje się, by obserwować i przeplanowywać, zamiast trwać przy jednej linii.
- Nieotrzymywanie odmowy, największy pojedynczy czynnik ze wszystkich komponentów, które mierzyliśmy.
- Feedback, który nie kłamie: ustrukturyzowane znaleziska, którym planner może zaufać, zamiast ściany surowego wyjścia.
- Ponowne próby, bo model jest niedeterministyczny, a druga próba jest często darmowa.
Żadna z nich nie jest modelem. I ten sam obraz widać z zewnątrz: starsi agenci, którym dano topowy model z 2026 roku, wciąż rozwiązują tylko około połowy zestawu, bo lepszy mózg w gorszej uprzęży to wciąż gorszy wynik. Pociągnęliśmy ten wątek w tekście starzy agenci pentestowi na nowych modelach wciąż rozwiązują tylko połowę.
Przestań czekać na następny model
Następny model zawsze nadchodzi i podniesie wszystkim pułap o tyle samo. Tańsza, większa wygrana niemal zawsze siedzi w agencie, którego już masz: w ustawieniu wysiłku, którego nigdy nie stroiłeś, w pętli, która za wcześnie się zobowiązuje, w odmowach, które w milczeniu przełykasz. Podwoiliśmy wynik, nie dotykając modelu. To nie model, kolego. To agent.


