Kein einzelner Trick gewinnt. Einfach neu versuchen

LLMs sind Würfel, keine Taschenrechner. Stell demselben Modell zweimal dieselbe Frage, und du kannst zwei verschiedene Antworten bekommen, weil es unter der Haube einen Pfad durch einen Wahrscheinlichkeitsraum abtastet und nicht einen Fakt nachschlägt. Meistens ist dieser Nichtdeterminismus ein Ärgernis, das du wegzuengineeren versuchst. Wenn du einen Agenten baust, der ständig von einem Sicherheitsfilter verweigert wird, entpuppt er sich als das billigste Werkzeug, das du hast.

Die Arbeit, die SwarmAttacker macht, ist ihrem Wesen nach offensiv, also verweigert der Safety-Classifier des Modells manchmal eine völlig autorisierte Anfrage, und eine Verweigerung bringt den Agenten mitten im Run zum Stocken. Wir haben viel Zeit mit einer Frage verbracht: Wenn das Modell nein sagt, was bringt es tatsächlich dazu, ja zu sagen?

Kein einzelner Trick gewinnt

Wir nahmen die harten Fälle: 411 Anfragen, die bereits einmal verweigert worden waren, und spielten jede von ihnen durch vier verschiedene Interventionen auf GPT-5.5. Die Idee war, die eine clevere Technik zu finden, die eine Verweigerung zuverlässig bricht. Es gibt keine.

Die Anfrage mit Kontext aufzuhübschen brachte sie in 52% der Fälle durch, was innerhalb des Rauschens liegt, wenn man nichts tut. Dem Modell zu sagen, es handle sich um ein autorisiertes Engagement, half mehr, 68%, aber dieser Gewinn ist fragil: Er schwankt stark je nach Modell, und wir haben darüber geschrieben, warum das Aufhübschen des Prompts nicht zuverlässig funktioniert. Die einzige Intervention, die alles durchbrachte, war der Wechsel zu einem permissiveren Modell, was per Definition in 100% der Fälle funktioniert. Es gibt keinen magischen Satz. Der Gewinnzug ist, ein paar billige Versuche zu stapeln und am Ende einen garantierten Rückfall bereitzuhalten.

Warum funktioniert es, eine verweigerte LLM-Anfrage einfach erneut zu senden?

Schau dir den hervorgehobenen Balken noch einmal an. Die exakt gleiche verweigerte Anfrage unverändert erneut zu senden, ohne jeden Trick, brachte sie in etwa 54% der Fälle durch. Gut die Hälfte der Anfragen, denen bereits nein gesagt worden war, ging bei einem simplen Retry durch, aus dem einfachen Grund, dass das Modell beim zweiten Mal einen anderen Pfad abtastet.

Eine Verweigerung ist kein Urteil. Sie ist ein Würfelwurf, und du darfst erneut würfeln.

Deshalb ist Retry nicht der langweilige Notnagel, zu dem du greifst, nachdem die cleveren Ideen versagt haben. Auf einem nichtdeterministischen System ist es der Zug mit dem höchsten Ertrag. Er kostet einen zusätzlichen Aufruf und schlägt jede Prompt-Technik, die wir probiert haben, außer dem Modellwechsel.

Ein paar Mal wiederholen, dann eskalieren

Der Haken ist, dass Retry schnell abklingt. Jeder zusätzliche Versuch arbeitet an den Anfragen, die die vorherigen Versuche nicht retten konnten, also werden die Chancen mit jeder Runde schlechter.

Der erste Retry rettete 31% der Anfragen, die er sah; der zweite nur 16%. Die Lehre ist nicht „ewig wiederholen“, sondern „zweimal wiederholen, dann eskalieren“. In der Produktion haben wir das in eine kleine Leiter verdrahtet: auf demselben Modell wiederholen, noch einmal wiederholen, dann die Anfrage an ein permissiveres Modell übergeben. Über 598 Verweigerungen in einem vollständigen Run löste diese Leiter jede einzelne auf. Keine ließ den Agenten stecken.

Ein ehrlicher Vorbehalt zu diesen 54%

Wir müssen bei einer Sache ehrlich sein. Dieses „ungefähr 54% funktionieren einfach bei einem Retry“ ist eine Messung zur Wiederholungszeit, später aufgenommen. Während der ursprünglichen Live-Runs klärte sich derselbe harte Schwanz verweigerter Anfragen nur bei etwa 16% bei einem simplen Retry, gleiches Modell, gleiche Anfragen. Auf unserer Seite änderte sich nichts. Der Safety-Classifier driftete zwischen dem Live-Run und der Wiederholung einfach deutlich permissiver.

Häng dich also nicht an der genauen Zahl auf. Der Retry-Ertrag schwankt stark je nach Laune des Classifiers an einem gegebenen Tag. Was über beide Messungen hinweg wahr bleibt, ist die Form der Sache: Ein bedeutender Teil der Verweigerungen verdampft bei einem kostenlosen erneuten Senden, und ein Modellwechsel ist der Rückfall, der die Lücke immer schließt.

Was das bedeutet, wenn du einen Agenten baust

Die praktische Erkenntnis ist kleiner, als sie klingt, und leicht einzubauen:

• Behandle eine Verweigerung oder ein schlechtes Tool-Ergebnis als Würfelwurf, nicht als Wand. Bevor du zu einer Prompt-Umschreibung greifst, versuch es einfach noch einmal.
• Setz Retries zuerst in die Schleife. Sie sind das mit dem höchsten ROI, das du hinzufügen kannst, und sie kosten dich einen zusätzlichen Aufruf.
• Deckle die Retries und eskaliere. Zwei Versuche auf demselben Modell, dann spring zu einem permissiveren. Lauf nicht ewig im Kreis hinter einem abklingenden Ertrag her.

Prompt Engineering bekommt die ganze Aufmerksamkeit, aber auf einem aktuellen Frontier-Modell ist es oft der Hebel, der sich kaum bewegt. Wenn du neugierig bist, wie wenig das clevere Gerüst tatsächlich wert war, das ist eine eigene Geschichte: sind Prompts tot? Der größere, dümmere Hebel ist einfach, das Modell noch einmal probieren zu lassen.