KI schlug Profi-Pentester: 15 Minuten statt 40 Stunden

Vor einiger Zeit hat die Sicherheitsfirma XBOW etwas veröffentlicht, das uns aufhorchen ließ. Sie nahmen ihre Suite aus 104 verwundbaren Web-Apps und gaben sie fünf professionellen Penetrationstestern, echten Menschen, die das beruflich machen. Der beste der fünf fand die Flag in 85% der Apps. Er brauchte dafür rund 40 Stunden konzentrierter Arbeit. Die anderen vier lagen bei 59% oder darunter.

Wir haben SwarmAttacker auf dieselben 104 Apps angesetzt. Es löste 98 davon, 94%, in einem einzigen Durchlauf. Die mediane Zeit bis zum Knacken eines Ziels lag bei 15 Minuten.

Auf diesem Benchmark hat die Maschine also den besten Menschen geschlagen. Und das in einem Bruchteil der Zeit.

Was ein CTF-Benchmark vom Job eines Pentesters weglässt

Diese Schlagzeile stimmt, und ich will sie nicht kleinreden. Aber wenn du mit dem Gedanken „KI hat gerade die Penetrationstester ersetzt“ weggehst, hast du zu viel hineingelesen, und ich sage das lieber selbst.

Das ist ein Capture-the-Flag-Benchmark. Jede App ist eine in sich geschlossene Box mit einer einzigen versteckten Flag darin, und die ganze Aufgabe besteht darin, sie zu finden. Das ist eine echte Fähigkeit und ein großer Teil dessen, was Pentester tagtäglich tun. Aber es ist ein Teil. Es ist nicht der ganze Job.

Was ein Benchmark wie dieser weglässt, ist der Großteil der eigentlichen Arbeit:

• Scoping. Niemand sagt dem Agenten, was im Scope liegt, was fragil ist oder was den Kunden wirklich interessiert. Das Ziel wird einfach übergeben.
• Mit Menschen reden. Kein Kickoff-Call, kein „Darf man diesen Server anfassen?“, kein Erklären eines Fundes gegenüber einem Engineer, der anderer Meinung ist.
• Geschäftslogik im Kontext. Die Bugs hier sind technische Schwachstellen in einer kleinen App, nicht „dieser Erstattungsprozess lässt sich missbrauchen, um das Konto leerzuräumen“ in einem System mit tausend beweglichen Teilen.
• Der Bericht. Die Hälfte des Werts, den ein guter Pentester liefert, ist eine klare Ausarbeitung: was falsch ist, warum es zählt, wie man es behebt, nach Risiko geordnet. Nichts davon macht der Agent hier.
• Das Chaos. Echte Engagements ziehen sich durch die verworrene Infrastruktur einer Organisation. Du verkettest einen kleinen Fuß in der Tür mit dem nächsten, über Systeme hinweg, die niemand vollständig dokumentiert hat. Eine abgeschlossene Box testet das nicht.

Den besten Menschen auf diesem Benchmark, bei dieser konkreten Aufgabe zu schlagen, ist real und messbar. Es ist nicht dasselbe, wie einen Menschen im Job zu schlagen.

Noch ein Stück Fairness, diesmal in die andere Richtung. Die menschlichen Profis haben unbekannte Ziele unter echtem Zeitdruck gelöst, kalt, genau wie unser Agent. Das war also kein „Experten machen Dienst nach Vorschrift“. Das waren gute Tester, die harte Arbeit schnell erledigt haben, und der Agent lag bei der reinen Lösungsrate trotzdem vorn. Beides stimmt gleichzeitig.

Ich will auch unsere eigene Zahl ehrlich halten. Die 94% sind ein einziger Durchlauf, ein Run pro Ziel, kein Herauspicken des besten aus mehreren Versuchen. Ein paar der anderen Systeme in dem Diagramm sind Best-of-three-Spitzenwerte, und eines ist ein Hersteller, der seinen eigenen Score meldet. Die Balken sind also nicht alle gleich gemessen. Nimm das Diagramm als grobe Landkarte des Feldes, nicht als präzise Rangliste. Wie genau wir gezählt haben, kannst du auf der Ergebnisseite nachlesen.

Warum wurde das jetzt möglich, und nicht schon vor zwei Jahren?

Die interessante Frage ist nicht „hat die KI gewonnen“, sondern „warum wurde es plötzlich möglich“. Vor zwei Jahren kamen Agenten, die auf den damaligen Modellen aufbauten, nicht annähernd auf solche Werte. Der Sprung kam nicht von einem klügeren Agenten. Er kam vor allem daher, dass das Modell darunter bei genau dieser Art von offenem, mehrstufigem Problemlösen dramatisch besser wurde. Über diesen Wandel haben wir in warum alte Agenten-Designs auf neuen Modellen besser funktionieren geschrieben.

Was ein automatisierter erster Durchgang in 15 Minuten verändert

Hier kommt der Teil, der mich wirklich begeistert, und er hat nichts damit zu tun, dass jemand seinen Job verliert.

Im Moment ist ein ordentlicher Sicherheitstest teuer und langsam, also bekommt die meiste Software nie einen. Startups liefern ohne aus. Interne Tools werden ohne ausgeliefert. Das Nebenprojekt, das echte Nutzerdaten verarbeitet, geht ohne live. Ein menschliches Engagement kostet richtiges Geld und braucht Wochen, bis es terminiert ist, also bleibt es den wenigen Dingen vorbehalten, die wichtig genug sind, um es zu rechtfertigen.

Ein automatisierter erster Durchgang in 15 Minuten ändert die Rechnung. Nicht weil er das tiefe menschliche Engagement ersetzt, das tut er nicht, sondern weil er auf allem laufen kann. Jede App, jeder Service, jeder Commit, bevor je ein Mensch draufschaut. Fang die offensichtlichen Schwachstellen automatisch und billig ab, und du gibst den menschlichen Experten ihre 40 Stunden frei für die harte, kontextreiche, urteilsintensive Arbeit, die ein Benchmark nie abbilden kann.

Das ist die Geschichte hier. Nicht „die Pentester sind überflüssig“. Eher „Sicherheitstests sind gerade billig genug geworden, um sie auf Dingen laufen zu lassen, die wir früher übersprungen haben“. Die besten Menschen sind dort, wo es am meisten zählt, immer noch vorn. Es gibt jetzt nur sehr viel mehr Stellen, an denen eine Maschine den ersten Blick übernehmen kann.