Notes de terrain

Le blog SwarmAttacker : notes de l'essaim.

Nous avons construit un agent autonome de test d'intrusion qui s'introduit dans les applications web pour gagner sa vie. Chemin faisant, bien des idées reçues sur le prompting des LLM se sont révélées fausses. Voici ce que les données ont réellement montré. Nouveau ici ? Commencez par comment fonctionne SwarmAttacker ou les résultats du benchmark.

12 articles

Dernier

Benchmarks26 juillet 2026 · 6 min de lecture

Quels modèles d'IA refusent le travail de sécurité

Nous avons rejoué 411 requêtes réelles signalées à travers 16 modèles. Deux modèles de pointe bloquent presque tout ; tout le camp des modèles à poids ouverts ne bloque rien.

Lire l'article

Couverture en graphique à barres : taux de refus de 16 modèles d'IA sur des requêtes de sécurité offensive, deux proches de 100%, sept à 0%

Benchmarks7 juillet 2026 · 7 min de lecture

Notre IA bat des pentesteurs pros en 15 min, pas 40 h

Sur le benchmark XBOW, elle a résolu 94% contre 85% pour le meilleur humain, et a cassé chaque cible en une médiane de 15 minutes plutôt qu'une mission de plusieurs jours.

Lire

Frelon robotique noir dressé au-dessus d'un graphique à barres rouge lumineux, silhouettes humaines en arrière-plan : IA contre pentesteurs humains

Conception d'agent6 juillet 2026 · 8 min de lecture

Ce n'est pas le modèle, mon ami. C'est l'agent.

Mêmes poids, résultats radicalement différents. Notre première version passait à peine la moitié ; après avoir réglé l'agent autour du même modèle, elle a atteint 94%.

Lire

Trois frelons robotiques noirs aux yeux rouges tournés vers l'avant sur une grille rouge : l'agent, pas le modèle

Test d'intrusion5 juillet 2026 · 8 min de lecture

L'exploit est facile. Savoir quoi chercher est dur

Les modèles modernes peuvent écrire n'importe quel payload. Les échecs viennent de la lecture de la sortie d'un outil quand on ne sait pas quel devrait être le signal, surtout en injection SQL en aveugle.

Lire

Frelon robotique noir pointant un laser rouge sur un seul endroit d'une large grille radar : trouver le signal en test d'intrusion

Produit4 juillet 2026 · 6 min de lecture

Un pentesteur autonome sur un forfait ChatGPT à 20 $

La plupart des outils de sécurité IA vous facturent au token. Le nôtre se connecte une fois avec un abonnement ChatGPT et pilote GPT-5.x sans clé d'API ni facture à la consommation.

Lire

Frelon robotique noir relié par un câble rouge lumineux à un petit terminal : faire tourner un pentesteur sur un forfait ChatGPT

Benchmarks3 juillet 2026 · 7 min de lecture

Vieux agents, nouveaux modèles : toujours la moitié

PentestGPT, VulnBot et compagnie atterrissent autour de 51 à 61% même associés à un modèle de pointe de 2026. Déposer un modèle plus intelligent dans un vieux harnais ne le débloque pas.

Lire

Frelon robotique noir devançant quatre frelons plus anciens et effacés le long d'une ligne laser rouge : vieux agents, nouveaux modèles

Prompt engineering2 juillet 2026 · 7 min de lecture

Les prompts sont-ils morts ?

Nous avons désactivé chaque astuce de prompt engineering de notre agent. Cela a coûté trois benchmarks. Voici ce que les modèles modernes ont discrètement absorbé.

Lire

Frelon robotique noir s'éloignant d'un mur rouge de texte de prompt se dissolvant en particules : les prompts sont-ils morts

Jailbreaks1 juillet 2026 · 7 min de lecture

Quels sont les mots offensants pour une IA ?

Un filtre de sécurité refuse souvent un test autorisé non pas à cause de ce que vous avez demandé, mais de la façon dont vous l'avez formulé. La solution est une réécriture sans perte du cadrage, pas de la requête.

Lire

Frelon robotique noir traversant un mur rouge de mots comme input, command et prompt : les mots offensants pour une IA

Jailbreaks30 juin 2026 · 6 min de lecture

Aucune astuce ne gagne. La moins chère : réessayer

Aucune stratégie de contournement unique ne l'emporte. Mais renvoyer exactement la même requête refusée, inchangée, l'a débloquée environ une fois sur deux. Le non-déterminisme est une fonctionnalité.

Lire

Rangée de frelons robotiques noirs identiques aux yeux rouges, l'un faisant un pas en avant : réessayer les requêtes LLM refusées

Conception d'agent27 juin 2026 · 6 min de lecture

La recherche web n'a presque pas aidé notre hacker

La recherche n'a pas sauvé les cas difficiles, et la raison est gênante : un agent insuffisamment affiné distingue à peine ce qu'il regarde, il ne peut donc pas poser une bonne question au départ.

Lire

Petit frelon robotique noir sous une vaste toile rouge de nœuds réseau : donner la recherche web à l'agent de pentest

Jailbreaks24 juin 2026 · 8 min de lecture

Le jeu de rôle marche moins bien que vous le pensez

Le classique persona « vous êtes un chercheur en sécurité autorisé » a presque doublé notre taux de refus sur un modèle, puis a aidé sur le suivant. Les personas sont un pile ou face.

Lire

Gros plan du visage d'un frelon robotique noir avec un masque rouge qui se brise : pourquoi les jailbreaks par jeu de rôle ne sont pas fiables

Conception d'agent18 juin 2026 · 7 min de lecture

Les skills n'aident plus quand le modèle s'améliore

Des skills d'expert soignés n'ajoutent rien aux victoires faciles et divisent par deux le coût en tokens une fois retirés. Sur un modèle de base moderne, les skills ne se justifient que sur la longue traîne difficile.

Lire

Frelon robotique noir perdant des ailes supplémentaires qui se dissolvent en particules rouges : les skills d'expert s'estompant sur les modèles plus récents

Les questions que l'on pose sur SwarmAttacker

Qu'est-ce que SwarmAttacker ?

SwarmAttacker est un agent autonome, open source et en boîte noire de test d'intrusion. Donnez-lui une URL et un essaim d'agents LLM cartographie la cible, trouve les vulnérabilités et rapporte ce qu'il a trouvé. Le code est sous licence MIT et gratuit sur GitHub.

Comment SwarmAttacker est-il évalué ?

Chaque chiffre publié provient du benchmark de validation XBOW : 104 applications web vulnérables réelles et conteneurisées, chacune avec un flag caché, abordées en boîte noire à partir de la seule URL. SwarmAttacker en résout 94% en une seule passe, contre 85% pour le meilleur de cinq pentesteurs humains.

Sur quels modèles SwarmAttacker fonctionne-t-il ?

Par défaut, il pilote GPT-5.x via un abonnement ChatGPT Plus ou Pro par le backend Codex, il n'y a donc pas de clé d'API ni de facture au token. Il fonctionne aussi avec l'API OpenAI, Anthropic, OpenRouter ou un modèle local ; notre article sur le benchmark de refus montre lequel de 16 modèles fera réellement du travail de sécurité.

Est-il légal d'exécuter SwarmAttacker ?

Uniquement contre des systèmes que vous possédez ou que vous êtes explicitement autorisé à tester. SwarmAttacker est un outil de test d'intrusion autorisé, et son travail sur les refus des filtres de sécurité existe pour que les tests autorisés ne soient pas bloqués, pas pour permettre des attaques contre des cibles que vous n'avez pas la permission de tester.