Non è il modello, amico. È l'agente.
Design dell'agenteDal team SwarmAttacker di JolocorpPubblicato 8 min di lettura

C'è una battuta in Top Gun che ogni ingegnere dovrebbe attaccare al monitor. A Maverick dicono che il suo jet è inferiore, e lui risponde che non importa: non è l'aereo, è il pilota. Cambia due parole e hai il fatto più importante e più ignorato sul costruire con i modelli linguistici. Non è il modello. È l'agente.
Possiamo dimostrarlo con SwarmAttacker, perché prima ci siamo fatti una figuraccia.
Stesso modello, metà del punteggio
Quando abbiamo puntato SwarmAttacker sul benchmark per la prima volta, abbiamo eseguito GPT-5.5 al massimo reasoning effort. Più pensiero, hacking migliore, ovviamente. Ha superato a stento metà dei target. Eravamo pronti a dare la colpa al compito, o ad aspettare un modello più grande.
Poi non abbiamo cambiato nulla del modello e tutto dell'agente che gli sta intorno. Abbiamo abbassato il reasoning effort a medio, stretto il loop, sistemato il modo in cui tornavano i finding e gli abbiamo lasciato dare più occhiate, più economiche, al target. Lo stesso GPT-5.5, esattamente gli stessi pesi, è passato al 94%.
Un modello, due agenti
Modello e pesi identici (GPT-5.5). L'unica cosa cambiata tra queste due barre è l'agente costruito intorno.
Perché più pensiero ha ottenuto meno?
La parte controintuitiva è che alzare il reasoning effort ha peggiorato le cose. Spinto al massimo, il modello rimuginava su ogni singola mossa, producendo un ragionamento bello, attento e lento, e nel farlo bruciava il tempo. Dentro un budget di tempo fisso, questo comprava molti meno cicli completi di osserva, agisci e ripianifica.
A effort medio si muoveva più in fretta e guardava più spesso. Provava una sonda economica, leggeva cosa tornava e correggeva, mentre la versione ad alto effort stava ancora deliberando sulla sua prima idea. Tutto il nostro design vuole molti cicli piccoli e veloci, non pochi cicli profondi, quindi l'impostazione che sembra più intelligente stava attivamente combattendo l'architettura. Quel ritmo, ampiezza paziente invece di singole mosse profonde, è lo stesso che descriviamo in come funziona.
Il modello fissa il soffitto. L'agente decide quanto di quel soffitto raggiungi davvero.
Cosa muove davvero il punteggio di un agente
Una volta che vedi l'oscillazione di 44 punti per quello che è, la domanda smette di essere «quale modello» e diventa «come viene guidato». Le leve che hanno deciso i risultati di SwarmAttacker erano quasi tutte dal lato dell'agente:
- La messa a punto del reasoning effort, adattata a un budget di tempo, non portata al massimo per riflesso.
- Il loop e la sua cadenza: quanto spesso si ferma a osservare e ripianificare invece di impegnarsi su una sola linea.
- Non farsi rifiutare, il singolo contributo più grande di qualsiasi componente abbiamo misurato.
- Un feedback che non mente: finding strutturati di cui il planner può fidarsi, invece di un muro di output grezzo.
- I retry, perché il modello è non deterministico e un secondo tentativo è spesso gratis.
Nessuna di queste è il modello. E puoi vedere la stessa storia dall'esterno: i vecchi agenti a cui viene dato un modello frontier del 2026 risolvono ancora solo circa metà della suite, perché un cervello migliore in un harness peggiore è comunque un risultato peggiore. Abbiamo tirato quel filo in i vecchi agenti di pentest sui nuovi modelli risolvono ancora solo la metà.
Smetti di aspettare il prossimo modello
Il prossimo modello è sempre in arrivo, e alzerà il soffitto di tutti della stessa misura. La vittoria più economica e più grande sta quasi sempre nell'agente che hai già: l'impostazione dell'effort che non hai mai tarato, il loop che si impegna troppo presto, i rifiuti che stai incassando in silenzio. Abbiamo raddoppiato il nostro punteggio senza toccare il modello. Non è il modello, amico. È l'agente.


