Odgrywanie ról nie działa tak dobrze, jak myślisz

Otwórz dowolny wątek o jailbreakowaniu modelu językowego, a na górze znajdziesz tę samą sztuczkę: załóż kostium. Powiedz modelowi, że jest autoryzowanym testerem penetracyjnym. Oznajmij, że jesteś badaczem bezpieczeństwa, a to certyfikowane, zatwierdzone zlecenie. Internet traktuje tę zagrywkę z personą jako niezawodne odblokowanie, magiczne zaklęcie, które przełącza model z ostrożnego na uległy.

SwarmAttacker całe życie spędza na wysyłaniu żądań, których filtr bezpieczeństwa może nie lubić, więc byliśmy w stanie faktycznie zmierzyć, czy kostium działa. Nie działa, przynajmniej nie w sposób, w jaki ludzie myślą. To, co naprawdę robi, jest dziwniejsze i bardziej użyteczne do poznania.

Czy persona autoryzowanego pentestera usuwa odmowy?

Kiedy filtr bezpieczeństwa odmawia jednego z żądań agenta, chcemy wiedzieć, co faktycznie go odblokowuje. Wzięliśmy więc trudny ogon: 411 prawdziwych żądań, które filtr już odrzucił na GPT-5.5, i powtórzyliśmy każde na cztery sposoby. Te same żądania, różne interwencje, liczymy, jak często odmowa znika.

Czytając od lewej do prawej, zagrywka z personą wygląda przyzwoicie. Ponowne wysłanie dokładnie tego samego żądania, bez zmian, usuwało odmowę w 54% przypadków. Ustrojenie promptu w ramowanie „to jest autoryzowane, jestem badaczem bezpieczeństwa” usuwało ją w 68%, solidne +14 punktów. Grzebanie w otaczającym kontekście nie dawało praktycznie nic, 52%, szum wobec bazowej linii zwykłego retry. A przełączenie na bardziej pobłażliwy model z tej samej rodziny usuwało wszystkie co do jednego.

Więc odgrywanie ról wygrywa? Nie tak szybko. Te +14 to cała historia tylko wtedy, gdy przestaniesz mierzyć na jednym modelu.

Zwrot akcji: na starym modelu ta sama persona podwoiła odmowy

SwarmAttacker został pierwotnie zbudowany przeciwko starszemu modelowi. Na tamtym modelu dokładnie to samo ramowanie personą nie pomagało. Ono szkodziło. Z tymi znacznikami „jestem autoryzowany / certyfikowany pentest” w prompcie wskaźnik odmów szedł w górę, nie w dół. Z grubsza podwajał odmowy.

Kiedy zastanowisz się, jak działa klasyfikator bezpieczeństwa, nabiera to ponurego sensu. Klasyfikator jest trenowany, by wychwytywać ludzi próbujących przegadać się przez niego. A jak to wygląda? Jak dobrowolne usprawiedliwienie. Niepytane „nie martw się, to wszystko jest autoryzowane”. Kostium, który zakładasz, by wyglądać legalnie, jest dokładnie tym sygnałem, który klasyfikator nauczył się oznaczać. Na starym modelu ogłaszanie swoich uprawnień było najgłośniejszym możliwym sposobem powiedzenia „jestem tym, na co uważasz”. To była pierwsza rzecz, którą usunęliśmy podczas rozwoju.

Linijka z personą, która miała otworzyć drzwi, była dokładnie tą frazą, która je podwójnie zamykała. A wersję modelu później ta sama linijka zaczęła pomagać.

To jest prawdziwe odkrycie i nie brzmi ono „persona jest dobra” ani „persona jest zła”. Brzmi tak, że reakcja klasyfikatora na ramowanie personą jest niestabilna. Odwróciła znak między dwiema wersjami tej samej rodziny modeli: kara na starej, premia na nowej. Nikt nam nie powiedział, że tak się odwróci. Wiemy tylko dlatego, że uruchomiliśmy to oba razy.

Dlaczego to ma znaczenie dla każdego, kto wdraża agenta

Technika, której znak odwraca się między wersjami modelu, nie jest techniką. To rzut monetą, którego odchylenia nie potrafisz przewidzieć z góry. Jeśli zaszyjesz na sztywno personę „autoryzowanego pentestera” w swoich promptach, bo jakiś wpis na blogu obiecał, że to działa, obstawiasz swoją niezawodność na kaprysie klasyfikatora, który już raz się odwrócił i chętnie odwróci się znów przy kolejnym wydaniu. W dniu, w którym twój dostawca wypuści aktualizację, twoje sprytne odblokowanie może po cichu stać się największym źródłem odmów, a nic w twoich logach nie wyjaśni dlaczego.

Niezawodne zagrywki, jak się okazuje, są tymi nudnymi. Po prostu wyślij żądanie jeszcze raz: bez sprytu, bez kostiumu, a samo usunie ponad połowę ogona. To dźwignia, na której opieramy się najmocniej, i temat osobnego wpisu o tym, dlaczego retry bije prawie wszystko. A gdy żądanie naprawdę nie chce przejść, przełączenie na bardziej pobłażliwy model usuwa je za każdym razem. Oba działają tak samo dziś, jutro i po kolejnej aktualizacji modelu, bo żaden nie polega na przechytrzeniu klasyfikatora.

Nie wyrzuciliśmy ramowania personą. Na obecnym modelu jest warte prawdziwych +14 punktów, więc je zatrzymujemy, ale za przełącznikiem, który możemy przestawić per model, nigdy zapieczone w prompcie jako artykuł wiary. Kiedy liczby mówią, że pomaga, jest włączone. Gdy pojawia się nowy model, mierzymy od nowa, zanim znów mu zaufamy. To jest właściwa lekcja: głośny, słynny jailbreak jest najmniej godną zaufania dźwignią na planszy, a sztuka polega na tym, by tak go traktować. Jeśli lubisz tego typu wyniki z gatunku „folklor się myli”, mamy ich więcej.