Wir gaben unserem Hacker eine Websuche. Sie half kaum.

Irgendwann haben wir beschlossen, dass unser Hacker Dinge nachschlagen können sollte. Echte Penetrationstester tragen nicht jede CVE, jede eigenwillige Konfiguration und jeden obskuren Bypass im Kopf. Sie öffnen einen Browser. Also haben wir SwarmAttacker ein Websuche-Tool gegeben: Wenn es mitten im Lauf auf etwas Unbekanntes stößt, kann es sich darüber einlesen und zurückkommen.

Es fühlte sich wie ein offensichtlicher Gewinn an. Das ganze Internet, einen Tool-Aufruf entfernt. Dann haben wir das Tool abgeschaltet und die gesamte Suite erneut laufen lassen, um zu sehen, was es wirklich wert war. Die Websuche zu entfernen kostete sechs von 104 Benchmarks. Real, aber bescheiden. Und als wir die Läufe gelesen haben, war sie fast nie das, was ein schweres Ziel entschieden hat.

Warum hat die Websuche kaum geholfen? Der Agent, nicht das Tool

Hier kommt der Teil, den ich nicht schreiben wollte, denn die einfache Geschichte wäre, dass das Tool schwach ist, oder die Suchergebnisse verrauscht, oder das Modell keine Seite lesen kann. Nichts davon ist das eigentliche Problem. Das eigentliche Problem sind wir, und ganz konkret der Agent, den wir um das Modell herum gebaut haben.

Ein wenig ausgereifter Agent kann kaum erkennen, was er gerade vor sich hat. Wenn er auf trübe Tool-Ausgaben starrt, eine halb kaputte Antwort, einen Fehler, der drei verschiedene Dinge bedeuten könnte, einen Header, der entweder ein Hinweis ist oder gar nichts, dann kann er oft nicht einmal die präzise Frage formulieren, die eine Suche beantworten würde. Und aus irgendetwas stimmt hier nicht kann man sich nicht herausgoogeln. Suche belohnt eine scharfe Anfrage. Eine vage gibt dir deine eigene Verwirrung mit Quellenangaben zurück.

Der Engpass war nie der Zugang zu Wissen. Es war die Reife des Agenten, der nachschaut.

Also stand das Tool da, voll leistungsfähig, neben einem Agenten, der häufig noch nicht wusste, was er es fragen sollte. Wenn der Agent die Situation bereits verstanden hatte, musste er kaum suchen, er hat einfach gehandelt. Wenn er verwirrt war, hat die Suche ihn nicht gerettet, weil man das Ding benennen muss, bevor man es nachschlagen kann. Das ist dieselbe Schwierigkeit, über die ich in das Signal lesen geschrieben habe: Der schwere Teil ist nicht, Fakten zu kennen, sondern zu bemerken, welches Detail auf dem Bildschirm tatsächlich zählt.

Warum ich die Suche trotzdem für lohnend halte

Nichts davon heißt, dass das Tool ein Fehler war. Sechs Benchmarks sind sechs Benchmarks, und bei einer Handvoll Ziele war es der Schritt, der aus einem Stillstand eine Lösung gemacht hat, meist ein gezieltes Nachschlagen von Version zu Exploit, bei dem der Agent bereits genau wusste, wonach er jagte. Das ist das Muster: Suche zahlt sich genau dann aus, wenn der Agent scharf genug ist, eine scharfe Frage zu stellen.

Was direkt darauf zeigt, wo der Hebel liegt. Ich glaube, und ich will klar sagen, dass das eine Überzeugung ist und nichts, was die Zahlen beweisen, dass ein besser trainierter, besser abgestimmter Agent aus genau demselben Websuche-Tool weit mehr herausholen würde. Kein besseres Tool. Dasselbe Tool, in die Hand eines Agenten gegeben, der auf einen Wust von Ausgaben schauen und sauber sagen kann: Das ist ein Werkzeug-Debugger, dieses PIN-Format ist alt, das hier ist zu prüfen. Gib diesem Agenten ein Suchfeld, und er wird es wie ein Profi benutzen. Gib es einem verwirrten, und er wird seine eigene Verwirrung eintippen.

Ein grober, wenig abgestimmter Agent erkennt Schwachstellen von vornherein kaum, und keine Menge Suche repariert einen Agenten, der noch nicht weiß, was er sieht. Das ist seltsam ermutigend. Es bedeutet, dass die Decke hier nicht von den Tools gesetzt wird, die wir anschrauben können. Sie wird davon gesetzt, wie gut der Agent selbst wird, und das ist der Hebel, auf den ich immer wieder zurückkomme: Es ist der Agent, nicht das Modell, und dasselbe gilt für den Agenten gegenüber den Tools um ihn herum.

Wir haben unserem Hacker das ganze Internet gegeben, und es hat die Zahl um sechs bewegt. Nicht, weil das Internet klein ist, sondern weil unser Agent noch nicht auf die richtige Art neugierig war. Das Nützlichste, was uns die Websuche beigebracht hat, war nicht, was es da draußen zu finden gibt. Es war, wie viel Luft nach oben noch bleibt, um das Ding zu verbessern, das nachschaut.