Alte Agenten lösen auf neuen Modellen nur die Hälfte

Hier ist eine Tatsache, die eigentlich seltsam sein sollte. Die Pentest-Agenten, die 2023 und 2024 gebaut wurden, waren für GPT-4 geschrieben, damals, als GPT-4 das beste Gehirn war, das man für Geld bekommen konnte. Dieselben Agenten lassen sich heute auf einem Frontier-Modell von 2026 betreiben, derselben Modellklasse, die SwarmAttacker nutzt. Niemand muss dafür eine Zeile Code umschreiben. Du richtest den alten Harness einfach auf die neue API.

Und wenn du das tust, wenn du den alten Agenten das klügste verfügbare Gehirn gibst, wie weit kommen sie dann? Ungefähr bis zur Hälfte des Benchmarks. Immer noch.

Alte Pentest-Agenten, neu vermessen auf neuen Modellen

Wir lassen jedes System gegen dieselbe Suite verwundbarer Web-Apps laufen: auf ein Ziel richten, und es muss die Flag finden. Neu vermessen auf aktuellen Frontier-Modellen landen die älteren Agenten in einem engen Cluster:

• AutoPT löst 51%.
• PentestGPT löst 54%.
• VulnBot löst 58%.
• PentestAgent löst 61%.

SwarmAttacker löst 94%. Und hier kommt der Teil, der für einen fairen Vergleich zählt: Die älteren Zahlen sind Best-of-three-Spitzenwerte. Wir haben jeden dieser Agenten dreimal laufen lassen und sein glücklichstes Ergebnis behalten. Die 94% von SwarmAttacker sind ein einzelner Durchlauf, ein Versuch, keine Wiederholungen auf oberster Ebene. Wenn überhaupt, ist die Lücke im Diagramm unten noch zu freundlich für die alte Garde gezeichnet.

Wenn das Modell dasselbe ist, was ist dann anders?

Genau darum geht es. Jeder hat heute ein Frontier-Modell. Es ist ein Gebrauchsgut, einen API-Key entfernt. Wäre die reine Modellfähigkeit das, was diese Ziele löst, hätten die alten Agenten in dem Moment nach oben schießen müssen, in dem man sie auf ein Modell von 2026 umgestellt hat. Haben sie nicht. Sie haben sich ein wenig bewegt, und dann sind sie gegen dieselbe Decke gestoßen wie immer.

Der Grund: Ein kluges Modell ist nicht dasselbe wie ein gelöstes Ziel. Dazwischen sitzt der Harness: alles, was das Modell umgibt und seine rohen Vermutungen in fertige Arbeit verwandelt. Dort steckt SwarmAttacker seinen Aufwand hinein, und genau diesen Teil haben die älteren Agenten nie gebaut:

• Ein Swarm, kein Solist. Statt eines einzelnen Agenten, der sich Schritt für Schritt durch ein Ziel denkt, fächert SwarmAttacker parallele Worker auf, die verschiedene Spuren gleichzeitig verfolgen, sodass eine Sackgasse auf einem Pfad nicht den ganzen Lauf anhält.
• Umgang mit Verweigerungen. Frontier-Modelle verweigern Sicherheitsarbeit routinemäßig, selbst vollständig autorisierte Sicherheitsarbeit. Ein Agent, der die erste Verweigerung als Nein nimmt, bleibt einfach stehen. Sich davon zu erholen ist mehr wert als jeder Prompt-Trick.
• Strukturierte Befunde. Was ein Worker entdeckt, wird in einer sauberen, gemeinsamen Form festgehalten, auf der der Rest des Laufs aufbauen kann, statt sich wieder in einer Wand aus Chatverlauf aufzulösen.
• Eine Schleife, die sich selbst beobachtet. Der Agent beobachtet, was jede Aktion tatsächlich bewirkt hat, merkt, wenn er feststeckt, und plant neu, statt sich tiefer in eine schlechte Idee zu graben.

Das Modell ist der Motor. Der Harness ist das Auto. Einen besseren Motor in ein Auto ohne Räder einzubauen macht es nicht schneller.

Die eine Ausnahme, PentestGPT v2, hat ihren Harness neu gebaut

Es gibt einen modernen Ausreißer, und dazu sollte man ehrlich sein. PentestGPT v2, Codename Excalibur, erreicht 91% als Best-of-three-Spitzenwert auf Claude Opus 4.5. Das ist ein wirklich starkes Ergebnis, ganz oben in der Nähe der Tabellenspitze.

Aber schau dir an, warum es dort oben steht. Excalibur ist nicht einfach das alte PentestGPT mit einem frischen API-Key; es ist ein neu gebauter Agent mit einem neu gebauten Harness um das Modell herum. Und das ist genau das Argument, nur aus der anderen Richtung. Wenn jemand die Architektur überarbeitet, bewegt sich die Zahl. Wenn jemand nur das Modell unter einer alten Architektur austauscht, bewegt sie sich nicht. Der einzige Agent, der die Lücke geschlossen hat, hat es getan, indem er genau das geändert hat, worauf es laut diesem Beitrag ankommt.

Die Lehre für alle, die so etwas bauen

Es ist verlockend, bei jedem neuen Modell anzunehmen, dass dein Agent gerade umsonst besser geworden ist. Manchmal stimmt das, ein bisschen. Aber die Decke, gegen die du immer wieder stößt, ist fast nie mehr das Modell; es ist das Gerüst, das du vor einem Jahr darum gebaut und nie wieder angefasst hast. Die älteren Pentest-Agenten sind der lebende Beweis: dasselbe Gehirn wie alle anderen, immer noch bei der Hälfte festgefahren.

Wenn du den Hebel willst, setz ihn beim Harness an, bei der Orchestrierung, der Wiederherstellung, dem Gedächtnis, der Schleife, nicht beim Warten auf das nächste Modell. Das ist die These hinter SwarmAttacker, und deshalb ist es der Agent, nicht das Modell, auf den wir immer wieder verweisen. Die vollständige Aufschlüsselung dessen, was SwarmAttacker tatsächlich gelöst hat, findest du auf der Ergebnisseite.