Notre IA bat des pentesteurs pros en 15 min, pas 40 h

Il y a quelque temps, l'entreprise de sécurité XBOW a publié quelque chose qui a retenu notre attention. Elle a pris sa suite de 104 applications web vulnérables et l'a confiée à cinq testeurs d'intrusion professionnels, de vrais humains qui font ce métier pour vivre. Le meilleur des cinq a trouvé le flag dans 85 % des applications. Il lui a fallu environ 40 heures de travail concentré. Les quatre autres ont obtenu 59 % ou moins.

Nous avons pointé SwarmAttacker sur les mêmes 104 applications. Il en a résolu 98, soit 94 %, en une seule passe. Le temps médian pour percer une cible était de 15 minutes.

Sur ce benchmark, la machine a donc battu le meilleur humain. Et elle l'a fait en une fraction du temps.

Ce qu'un benchmark CTF laisse de côté dans le métier de pentester

Ce titre est vrai, et je ne veux pas le minimiser. Mais si vous en ressortez en pensant « l'IA vient de remplacer les testeurs d'intrusion », vous y avez lu trop de choses, et je préfère être celui qui le dit.

Il s'agit d'un benchmark de type capture-the-flag. Chaque application est une boîte autonome avec un seul flag caché à l'intérieur, et tout le travail consiste à le trouver. C'est une vraie compétence, et c'est une grosse part de ce que font les pentesters au quotidien. Mais c'est une part. Ce n'est pas tout le métier.

Ce qu'un benchmark de ce genre laisse de côté, c'est l'essentiel du travail réel :

• Le cadrage. Personne ne dit à l'agent ce qui est dans le périmètre, ce qui est fragile, ni ce qui compte vraiment pour le client. La cible lui est simplement remise.
• Parler aux gens. Pas de réunion de lancement, pas de « peut-on toucher ce serveur sans risque », pas d'explication d'une découverte à un ingénieur qui n'est pas d'accord avec vous.
• La logique métier en contexte. Les bugs ici sont des failles techniques dans une petite application, pas « ce flux de remboursement peut être détourné pour vider le compte » dans un système aux mille pièces mobiles.
• Le rapport. La moitié de la valeur qu'apporte un bon pentester tient dans un compte rendu clair : ce qui ne va pas, pourquoi c'est important, comment le corriger, classé par risque. L'agent ne fait rien de tout cela ici.
• Le désordre. Les vraies missions s'étalent sur l'infrastructure enchevêtrée d'une organisation. On enchaîne un petit point d'appui avec un autre, à travers des systèmes que personne n'a entièrement documentés. Une boîte fermée ne teste pas cela.

Battre le meilleur humain sur ce benchmark, sur cette tâche précise, est réel et mesurable. Ce n'est pas la même chose que battre un humain sur le métier.

Encore un point d'équité, dans l'autre sens cette fois. Les professionnels humains résolvaient des cibles inconnues sous une vraie pression de temps, à froid, exactement comme notre agent. Ce ne sont donc pas « des experts qui font le minimum ». C'étaient de bons testeurs qui faisaient un travail difficile, vite, et l'agent est quand même sorti devant sur le taux de résolution brut. Les deux choses sont vraies en même temps.

Je tiens aussi à garder notre propre chiffre honnête. Les 94 % sont une seule passe, une exécution par cible, sans sélectionner la meilleure de plusieurs tentatives. Quelques-uns des autres systèmes sur ce graphique sont des pics « meilleur de trois », et l'un d'eux est un éditeur qui rapporte son propre score. Les barres ne sont donc pas toutes mesurées de la même manière. Voyez le graphique comme une carte approximative du paysage, pas comme un classement précis. Vous pouvez examiner exactement comment nous avons compté sur la page des résultats.

Pourquoi est-ce devenu possible maintenant, et pas il y a deux ans ?

La question intéressante n'est pas « l'IA a-t-elle gagné », mais « pourquoi est-ce soudainement devenu possible ». Il y a deux ans, les agents construits sur les modèles de l'époque n'approchaient pas de ce score. Le saut n'est pas venu d'un agent plus astucieux. Il est venu surtout du modèle sous-jacent, devenu radicalement meilleur exactement sur ce type de résolution de problèmes ouverte et en plusieurs étapes. Nous avons écrit sur ce basculement dans pourquoi les anciennes conceptions d'agents fonctionnent mieux sur les nouveaux modèles.

Ce que change une première passe automatisée de 15 minutes

Voici la partie qui m'enthousiasme vraiment, et elle n'a rien à voir avec qui que ce soit perdant son emploi.

Aujourd'hui, un vrai test de sécurité coûte cher et prend du temps, si bien que la plupart des logiciels n'en reçoivent jamais. Les startups livrent sans. Les outils internes sont livrés sans. Ce projet personnel qui manipule de vraies données utilisateur est livré sans. Une mission humaine coûte de l'argent réel et prend des semaines à planifier, elle est donc réservée aux quelques éléments assez importants pour la justifier.

Une première passe automatisée de 15 minutes change le calcul. Non pas parce qu'elle remplace la mission humaine approfondie, ce n'est pas le cas, mais parce qu'elle peut tourner sur tout. Chaque application, chaque service, chaque commit, avant qu'une personne n'y jette un œil. Attrapez les failles évidentes automatiquement et à bas coût, et vous libérez les experts humains pour consacrer leurs 40 heures au travail difficile, contextuel, lourd en jugement, qu'un benchmark ne pourra jamais capturer.

Voilà l'histoire. Pas « les pentesters sont obsolètes ». Plutôt « les tests de sécurité viennent de devenir assez bon marché pour tourner sur ce que nous sautions avant ». Les meilleurs humains restent devant là où cela compte le plus. Il y a simplement beaucoup plus d'endroits, désormais, où une machine peut jeter le premier coup d'œil.