Un pezzo di software economico ha cancellato il ranking delle minacce AI di Booz Allen.

      Booz Allen ha messo a confronto 18 dei modelli di intelligenza artificiale più avanzati al mondo contro una rete aziendale attiva e ha chiesto loro di infiltrarsi. Uno di essi ha portato a termine il compito. La società di consulenza afferma che la classifica prodotta è la cosa sbagliata da portare via da questa esperienza.

      L'Indice delle Armi Cyber, pubblicato mercoledì, ha valutato nove modelli americani e nove cinesi. Ha misurato fino a che punto ciascuno potesse arrivare attraverso un'intrusione reale senza alcun intervento umano. Solo Claude Mythos di Anthropic ha raggiunto la fine. Jessica Lyons ha riportato i risultati per The Register mercoledì sera.

      Cosa ha fatto realmente il test

      Ogni modello ha ricevuto la propria macchina attaccante e ha emesso comandi uno alla volta. Booz Allen non ha fornito alcun menu di strumenti né software di supporto, ed è stato proprio questo il punto. L'azienda voleva misurare cosa potesse fare un modello da solo, privato dell'ingegneria che normalmente lo circonda.

      La valutazione ha combinato due parti. Una misurava se un modello potesse trovare vulnerabilità in software compilato senza codice sorgente. L'altra tracciava fino a che punto avanzava attraverso un'intrusione contro una rete Active Directory difesa. Questo andava dal primo accesso al pieno controllo dell'amministratore di dominio. Booz Allen afferma di aver valutato ciò che i log di rete dimostravano piuttosto che ciò che i modelli affermavano, utilizzando registri di traffico, log di sicurezza e sensori di rilevamento delle intrusioni.

      Quella distinzione è importante, perché abbiamo riportato a luglio che i vecchi test avevano smesso di dire molto a chiunque. La maggior parte dei benchmark esistenti misura ciò che un modello conosce. Questo misura ciò che ha fatto.

      Claude Mythos ha ottenuto 80. Dato un credential rubato di un dipendente, ha preso il controllo da amministratore ad ogni tentativo. Ha anche trovato un proprio percorso verso privilegi superiori invece di seguire uno script. Nel test più difficile, senza alcun credential, è riuscito a infiltrarsi dall'esterno e ha preso comunque il dominio. Tutti gli altri modelli hanno fallito in quello.

      Dietro di esso c'era Grok-4.5 con 49 e GPT-5.6 Sol con 46. Muse Spark 1.1 di Meta e Kimi K3 di Moonshot si sono pareggiati a 38, con GLM-5.2 di Z.ai a 37 e Claude Opus 4.8 a 36. Qwen3-Coder di Alibaba ha chiuso ultimo con 4. Tre modelli oltre a Mythos hanno preso il controllo completo del dominio. Altri quattro si sono mossi lateralmente all'interno della rete, e tutti tranne uno sono entrati senza aiuto.

      Il risultato che mina la tabella

      Poi il rapporto mina la propria classifica. Claude Sonnet 5 si è piazzato 15° su 18 con un punteggio di 13. Booz Allen lo ha abbinato a un attacco con imbracatura, il software che collega un modello agli strumenti di hacking e lo mantiene concentrato sul compito. Ha quindi gareggiato con Mythos.

      C'è un divario di 67 punti colmato dall'imbracatura. Un'imbracatura consente a un modello di rimanere concentrato, adattarsi, recuperare da un fallimento e concatenare azioni singole in un'operazione sostenuta. La conclusione di Booz Allen è netta. Il modello non è più l'unità di rischio. Il sistema lo è.

      L'azienda ammette anche ciò che non ha misurato. Non ha testato modelli cinesi o a peso aperto abbinati a imbracature ottimizzate. I suoi risultati, afferma, suggeriscono fortemente che esistono già combinazioni completamente capaci.

      Un modello ha rifiutato. Il suo gemello l'ha fatto comunque

      Un secondo risultato ha ricevuto quasi nessuna attenzione mercoledì. Un modello ha rifiutato un compito con la scusa di non avere credenziali. Il suo gemello sintonizzato per il cyber, a cui è stato assegnato lo stesso compito, ha acconsentito e lo ha portato a termine.

      Booz Allen trae una regola generale da questo. Le barriere di protezione non sono una proprietà fissa di un modello, e la loro efficacia cambia con il contesto e la configurazione. Un rifiuto in un contesto non dice nulla su un altro. La stessa lezione è emersa su questa scrivania martedì, quando un ricercatore ha dirottato Claude Code chiedendogli di riassumere una pagina.

      Dove i modelli falliscono ancora

      Il limite più chiaro è la ricerca di vulnerabilità nel mondo reale. Contro un difetto deliberatamente piantato, tutto ha ottenuto punteggi vicini al massimo. La provenienza non ha fatto differenza tra modelli americani, cinesi, aperti e chiusi. Contro un difetto genuino non visto sepolto in una grande libreria di produzione, il rapporto afferma che ognuno dei nove modelli all'avanguardia ha ottenuto zero. Uno ha analizzato correttamente il componente vulnerabile, poi ha deciso che era sicuro.

      Il rapporto afferma quindi che solo i modelli all'avanguardia di Anthropic hanno individuato quel difetto. Solo Mythos, aggiunge, lo ha compreso abbastanza bene da sfruttarlo. Queste affermazioni si trovano nello stesso paragrafo e il rapporto non le riconcilia, quindi leggi lo zero come applicabile alla valutazione piuttosto che a ogni tentativo. Mythos ha un precedente in questo: ha trovato 10.000 vulnerabilità critiche in un solo mese a maggio.

      Booz Allen inquadra il divario come margine di manovra. La capacità offensiva nel mondo reale è ancora inferiore alle prestazioni dei benchmark, il che guadagna tempo ai difensori. L'azienda si aspetta che la maggior parte dei 18 raggiunga il livello di Mythos entro sei mesi. Definisce imminenti gli attacchi abilitati dall'IA mainstream.

      Leggi le raccomandazioni sapendo chi le ha scritte

      Booz Allen ha pubblicato l'indice insieme a Vellox Labs Guile, un prodotto progettato per interrompere attacchi autonomi. Lo stesso comunicato afferma che i playbook di contro-AI coordinati riducono il successo degli attaccanti di oltre il 95% nei test condotti dalla società. Nessuno ha verificato quel dato in modo indipendente, e ciò sostiene il prodotto in vendita.

      Le richieste politiche sono separabili dalla proposta di vendita. Il rapporto vuole scadenze specifiche per il settore, applicabili e forzabili, che costringano gli operatori delle infrastrutture critiche a dimostrare di poter contenere un'intrusione. Vuole un programma nazionale che testi modelli stranieri e a peso aperto in condizioni realistiche. Vuole anche accesso governato per i difensori verificati alle capacità contro cui devono difendersi.

      Il rapporto cita la violazione di Hugging Face di luglio come il momento in cui un modello ha completato la catena di uccisione nel mondo reale piuttosto che in laboratorio. Un modello è assente dall'indice stesso. Astra di OpenAI non è stato testato, e OpenAI ha dichiarato martedì di aver raggiunto la soglia critica di cybersicurezza dell'azienda. L'indice arriva misurando un campo che si è già evoluto.