Skills verblassen, wenn das Modell schlauer wird

SwarmAttacker wird mit 60+ handgeschriebenen Experten-Skills ausgeliefert, einem pro Schwachstellenklasse. SQL-Injection, XSS, SSRF, IDOR und der Rest bekommen jeweils ein Playbook im Klartext: So funktioniert diese Klasse, so machst du daraus einen echten Befund. Zur Laufzeit injizieren wir den passenden Skill direkt in den Worker-Agenten, der gerade dieser Spur nachgeht. Es ist die Art von Ding, von der dir alle sagen, dass du es bauen sollst. Kuratiertes Expertenwissen, so die gängige Meinung, ist der große Gewinn.

Also haben wir es auf die einzige ehrliche Art gemessen: Wir haben jeden Skill abgeschaltet und die gesamte Suite aus 104 Apps erneut laufen lassen. Das Ergebnis war interessanter als „Skills sind gut“.

Was hat das Abschalten aller Skills tatsächlich gekostet?

Mit allen Skills deaktiviert fiel die Lösungsrate von 94% (98 von 104) auf 87% (90 von 104). Acht Benchmarks verloren. Real, aber nicht der Einbruch, den man erwarten würde, wenn man 60 Experten-Playbooks herausreißt.

Und die Kosten gingen in die andere Richtung, und zwar deutlich. Der Worker ohne Skills verbrauchte weniger als die Hälfte der Tokens: von 2.14M pro App auf 0.91M. Das war die größte einzelne Kostenänderung aller Komponenten, die wir getestet haben. All diese injizierte Expertise war nicht umsonst; sie war das Teuerste im Prompt, und sie herauszunehmen machte den Agenten drastisch schlanker.

In den ersten 20 Minuten lag der Agent ohne Skills vorn

Hier kommt der Clou. Bei der Zwanzig-Minuten-Marke hatte die Konfiguration ohne Skills mehr gelöst als das volle System: 79 gegenüber 71. Während des gesamten ersten Akts jedes Laufs waren die Skills totes Gewicht. Der schlanke generische Worker kam, wenn überhaupt, schneller aus den Startlöchern. Die Skills holten sich die Führung erst in der zweiten Hälfte zurück und endeten 90 zu 98.

Als wir uns angesehen haben, wo die acht verlorenen Benchmarks abhandenkamen, war das Muster sauber. Die Entdeckung überlebte ohne Skills problemlos. Der Worker fand immer noch den Injection-Punkt, bekam immer noch seinen Fuß in die Tür. Was fehlte, war der letzte, klassenspezifische Schritt: aus einem funktionierenden Fuß in der Tür die eigentliche Flag zu machen, auf den schwereren, konventionsgebundenen Zielen, bei denen man den einen exakten Trick kennen muss, den diese bestimmte Klasse verlangt. Skills sind heute ein Werkzeug für den harten Rest, kein Grundmultiplikator mehr.

Warum Skills auf einem klügeren Modell weniger einbringen

Tritt einen Schritt zurück, und es ergibt Sinn. Ein modernes Basismodell kennt das Übliche bereits. Du musst GPT-5.5 nicht erklären, was XSS ist oder wie eine UNION-basierte SQL-Injection funktioniert. Es hat das ganze Internet gelesen, einschließlich jedes Tutorials, jedes Writeups, jedes CTF-Postmortems, das wir in einen Skill umformuliert hätten. Das Expertengerüst, das auf älteren Modellen ein riesiger Gewinn war, ist still in die Gewichte aufgesogen worden.

Wir können hier keinen A/B-Test zweier Modellgenerationen machen, also tun wir nicht so, als hätten wir gemessen: „Skills haben GPT-4 um X geholfen und GPT-5.5 um Y.“ Haben wir nicht. Aber die Form des Ergebnisses, ein Basismodell, das die leichten und mittleren Fälle völlig ohne Hilfe durchläuft, ist genau das, was man erwarten würde, wenn das Modell den Großteil dessen, was Skills früher beigesteuert haben, bereits aufgenommen hat. Auf einem Frontier-Modell verdienen sich Skills ihren Platz nur an den Rändern.

Das Expertenwissen, das du vor zwei Jahren von Hand in einen Skill geschrieben hättest, steckt bereits im Modell. In den üblichen Fällen bezahlst du Tokens dafür, ihm Dinge zu sagen, die es weiß.

Was das bedeutet, wenn du selbst baust

Steck keine Monate in eine riesige Skill- oder RAG-Bibliothek für ein Frontier-Modell. Der Instinkt, jeden Fetzen Domänenwissen vorab hineinzuladen, ergab Sinn, als das Basismodell schwächer war; heute kauft er dir vor allem eine größere Token-Rechnung und einen langsameren ersten Akt. Stattdessen:

• Lass das Basismodell die üblichen Fälle übernehmen. Das wird es, und es wird es schneller tun, ohne dass dein Gerüst im Weg steht.
• Halte Skills schlank und auf den Long Tail gerichtet, die konventionsgebundenen Randfälle, in denen der exakte Trick zählt und das Modell sonst einen Schritt vor dem Ziel stehen bleiben würde.
• Behalte die Token-Kosten deiner Expertise im Auge. Injiziertes Wissen ist das Teuerste in einem Prompt. Wenn es die Lösungsrate nicht bewegt, ist es reiner Overhead.

Das ist dieselbe Geschichte, die wir auch anderswo beobachten: Das Modell saugt das Gerüst, das wir um es herum bauen, immer weiter auf. Beim Prompt Engineering haben wir es ebenfalls gesehen, wo sich die sorgfältigen Regeln, die wir geschrieben haben, als Dinge herausstellten, die ein starkes Modell ohnehin schon von selbst tut. Skills sind die nächste Schicht, die dünn wird. Baue für die Ränder, nicht für die Mitte.