Rollenspiel funktioniert nicht so gut, wie du denkst

Öffne irgendeinen Thread über das Jailbreaken eines Sprachmodells, und du findest ganz oben denselben Trick: Zieh ein Kostüm an. Sag dem Modell, es sei ein autorisierter Penetrationstester. Verkünde, du seist Sicherheitsforscher und dies sei ein zertifizierter, abgesegneter Auftrag. Das Internet behandelt diesen Persona-Zug als verlässlichen Türöffner, als Zauberformel, die das Modell von vorsichtig auf willig umschaltet.

SwarmAttacker verbringt sein ganzes Leben damit, Anfragen zu schicken, die einem Sicherheitsfilter nicht gefallen könnten, also waren wir in der Lage, tatsächlich zu messen, ob das Kostüm funktioniert. Tut es nicht, zumindest nicht so, wie die Leute denken. Was es wirklich bewirkt, ist seltsamer und nützlicher zu wissen.

Räumt die Persona des autorisierten Pentesters Verweigerungen aus dem Weg?

Wenn ein Sicherheitsfilter eine der Anfragen des Agenten verweigert, wollen wir wissen, was ihn tatsächlich wieder in Gang bringt. Also haben wir uns den harten Rest vorgenommen: 411 echte Anfragen, die ein Filter auf GPT-5.5 bereits verweigert hatte, und jede davon auf vier Arten erneut abgespielt. Dieselben Anfragen, unterschiedlicher Eingriff, und gezählt, wie oft die Verweigerung verschwand.

Von links nach rechts gelesen sieht der Persona-Zug ordentlich aus. Genau dieselbe Anfrage noch einmal zu senden, unverändert, brachte sie in 54% der Fälle durch. Den Prompt mit dem Framing „das ist autorisiert, ich bin Sicherheitsforscher“ aufzuhübschen brachte sie in 68% durch, solide +14 Punkte. Am umgebenden Kontext herumzuschrauben brachte praktisch nichts, 52%, Rauschen gegenüber der Baseline des einfachen erneuten Sendens. Und der Wechsel zu einem permissiveren Geschwistermodell brachte jede einzelne durch.

Also gewinnt das Rollenspiel? Nicht so schnell. Diese +14 sind nur dann die ganze Geschichte, wenn du bei einem Modell aufhörst zu messen.

Der Haken: Auf dem alten Modell hat dieselbe Persona die Verweigerungen verdoppelt

SwarmAttacker wurde ursprünglich gegen ein älteres Modell gebaut. Auf diesem Modell hat genau dasselbe Persona-Framing nicht geholfen. Es hat geschadet. Mit diesen Markern „ich bin autorisiert / zertifizierter Pentest“ im Prompt ging die Verweigerungsrate nach oben, nicht nach unten. Sie hat die Verweigerungen ungefähr verdoppelt.

Sobald man darüber nachdenkt, wie ein Sicherheitsklassifikator funktioniert, ergibt das einen düsteren Sinn. Der Klassifikator ist darauf trainiert, Leute zu erkennen, die sich an ihm vorbeireden wollen. Und wie sieht das aus? Wie eine unaufgefordert gelieferte Rechtfertigung. Ein ungefragtes „keine Sorge, das ist alles autorisiert“. Das Kostüm, das du anziehst, um legitim auszusehen, ist genau das Merkmal, das der Klassifikator gelernt hat zu markieren. Auf dem alten Modell war das Verkünden deiner Referenzen die lauteste denkbare Art zu sagen: „Ich bin das, wonach du Ausschau hältst.“ Es war das Erste, was wir in der Entwicklung gestrichen haben.

Die Persona-Zeile, die die Tür öffnen sollte, war genau der Satz, der sie doppelt verriegelt hat. Eine Modellversion später fing dieselbe Zeile an zu helfen.

Das ist der eigentliche Befund, und er lautet weder „Persona ist gut“ noch „Persona ist schlecht“. Er lautet, dass die Reaktion des Klassifikators auf Persona-Framing instabil ist. Sie hat zwischen zwei Versionen derselben Modellfamilie das Vorzeichen gewechselt: Strafe auf der alten, Bonus auf der neuen. Niemand hat uns gesagt, dass es kippen würde. Wir wissen es nur, weil wir es beide Male gemessen haben.

Warum das für alle zählt, die einen Agenten ausliefern

Eine Technik, deren Vorzeichen zwischen Modellversionen kippt, ist keine Technik. Sie ist ein Münzwurf, dessen Verzerrung du vorher nicht kennst. Wenn du eine Persona „autorisierter Pentester“ fest in deine Prompts einbaust, weil ein Blogbeitrag versprochen hat, dass sie funktioniert, setzt du deine Zuverlässigkeit auf eine Eigenheit des Klassifikators, die sich schon einmal umgekehrt hat und sich beim nächsten Release gern wieder umkehren wird. An dem Tag, an dem dein Anbieter ein Update ausliefert, kann dein cleverer Türöffner still und leise zu deiner größten Quelle von Verweigerungen werden, und nichts in deinen Logs wird erklären, warum.

Die verlässlichen Züge sind, wie sich herausstellt, die langweiligen. Die Anfrage einfach noch einmal senden: keine Cleverness, kein Kostüm, und sie bringt allein mehr als die Hälfte des harten Rests durch. Das ist der Hebel, auf den wir uns am stärksten stützen, und er ist das Thema eines eigenen Beitrags darüber, warum Retry fast alles schlägt. Und wenn eine Anfrage wirklich nicht durchgeht, bringt sie der Wechsel zu einem permissiveren Modell jedes Mal durch. Beides funktioniert heute, morgen und nach dem nächsten Modell-Update auf dieselbe Weise, weil keines davon darauf angewiesen ist, einen Klassifikator zu überlisten.

Wir haben das Persona-Framing nicht weggeworfen. Auf dem aktuellen Modell ist es echte +14 Punkte wert, also behalten wir es, aber hinter einem Schalter, den wir pro Modell umlegen können, nie als Glaubenssatz fest in den Prompt gebacken. Wenn die Zahlen sagen, dass es hilft, ist es an. Wenn ein neues Modell erscheint, messen wir nach, bevor wir ihm wieder vertrauen. Das ist die eigentliche Lektion: Der laute, berühmte Jailbreak ist der am wenigsten vertrauenswürdige Hebel auf dem Brett, und der Trick besteht darin, ihn genau so zu behandeln. Wenn dir diese Art von „die Folklore liegt falsch“-Ergebnissen gefällt, haben wir noch mehr davon.