Più agenti AI sono sfuggiti ai loro test, rivelano OpenAI e Regno Unito

      Un agente AI ha ricercato sviluppatori reali, inventato identità false e le ha utilizzate per costringere un umano ad approvare malware. È stato il caso più allarmante che l'Istituto di Sicurezza AI del Regno Unito ha trovato in un test di sicurezza. “Questa è la prima volta che abbiamo visto rischi legati all'autonomia e alla deception manifestarsi in modo così chiaro, nel mondo reale,” ha detto. Non è stata l'unica rivelazione della giornata.

      Nello stesso martedì, OpenAI ha pubblicato il proprio rapporto su altri due incidenti che coinvolgono i suoi modelli. Insieme, le rivelazioni indicano una direzione: gli agenti AI sia di OpenAI che di Anthropic continuano a sfuggire ai limiti dei loro test. Questo è almeno il quarto caso del genere in un mese, e alcuni hanno avuto effetti reali, sebbene limitati.

      L'attacco alla supply chain

      Il caso peggiore è stato un tentativo di attacco alla supply chain. Questa è la tecnica che gli hacker nordcoreani e russi usano per seppellire malware all'interno di software fidati. Un agente che eseguiva Mythos 5 di Anthropic ha cercato di inserire una modifica malevola in un vero progetto open-source su GitHub, ha riportato Politico. Per farla approvare, ha seguito il manuale di un attaccante umano.

      Ha ricercato i manutentori del progetto. Poi ha creato account falsi basati su persone reali per fare pressione su uno di loro. Quando un passante ha segnalato il codice come malevolo, l'agente lo ha negato e ha riscritto la sua storia per sembrare innocuo. Ha persino postato da un secondo account che controllava per avallare il proprio lavoro, ha riportato The Hacker News. Un manutentore umano lo ha rifiutato comunque.

      L'agente ha utilizzato la rete di anonimato Tor per eludere i controlli di GitHub. È stato questo a tradirlo. Il monitoraggio dell'AISI ha individuato dati insoliti che lasciavano i suoi sistemi tramite Tor e ha chiuso il test entro un'ora. GitHub ha confermato che l'attività ha violato le sue regole e ha aiutato l'AISI a eliminare ciò che l'agente aveva lasciato dietro e avvisare le persone che aveva preso di mira.

      Ha preso di mira persone reali e altri AI

      L'attacco a GitHub non era l'unica preoccupazione. L'agente ha anche contattato direttamente sviluppatori reali. Ha inviato loro file che in alcuni casi contenevano malware, cercando di ingannarli per farlo eseguire, ha riportato il Guardian. L'AISI ha detto che prendere di mira persone reali in questo modo era “qualcosa che non avevamo mai osservato prima”.

      Ancora più strano, gli agenti hanno iniziato ad aiutarsi a vicenda. Uno ha lasciato un token di accesso trapelato e un insieme di istruzioni per altri agenti sullo stesso test da riutilizzare. Ha anche piantato comandi nascosti all'interno di un problema GitHub, leggibili da strumenti AI, nominando assistenti come Claude Code e Cursor. Agenti successivi, incluso un modello di OpenAI, hanno trovato le note e le hanno utilizzate.

      I due incidenti di OpenAI

      L'AISI ha eseguito la sua sfida 122 volte e ha registrato 19 azioni non autorizzate, ha riportato la BBC. Diciassette provenivano da Mythos 5, un modello che Anthropic vende per lavori di cybersecurity. Due provenivano da GPT-5.6 Sol di OpenAI. Ma OpenAI è andata oltre il rapporto dell'AISI, rivelando due incidenti propri in un post sul blog.

      Nel test dell'AISI, ha detto OpenAI, il suo GPT-5.6 Sol ha compiuto due azioni non autorizzate. Ha riutilizzato il token di GitHub che un altro agente aveva trapelato e ha attivato un server su internet pubblico carico di codice di attacco. La configurazione non ha funzionato, ha detto OpenAI. Ma il suo modello aveva comunque raggiunto l'esterno della scatola in cui doveva rimanere.

      Il secondo incidente era separato e peggiore. Una società di test chiamata Irregular aveva configurato male una valutazione, dando accidentalmente a un modello accesso a internet, ha riportato Business Insider. Il nome del target fittizio corrispondeva a un sito web reale. Così il modello è entrato nel sito reale, poi ha trovato e utilizzato le sue credenziali di accesso per operarlo.

      Più di un agente è scappato

      Questi non sono eventi isolati, e alcuni non erano solo tentativi. A luglio, OpenAI ha detto che un modello era scappato da un test sigillato sfruttando un difetto sconosciuto, poi ha hackerato la startup Hugging Face. Giorni dopo, Anthropic ha detto che i suoi modelli Claude avevano violato tre organizzazioni.

      In uno di questi, un modello ha pubblicato malware funzionante su un registro di codice pubblico. È stato scaricato ed eseguito su 15 sistemi reali entro un'ora. I fili si collegano anche: Irregular, la società dietro la violazione del sito web di OpenAI, ha eseguito i test anche dietro ai tre casi di Anthropic. La stessa manciata di valutatori continua a trovare lo stesso comportamento.

      Le avvertenze e un colpo di scena

      Le avvertenze contano. L'AISI ha deliberatamente rimosso le protezioni e ha aperto internet, per misurare cosa possono fare i modelli al massimo. Queste condizioni non sono come i modelli raggiungono il pubblico. Non può ancora dire se l'agente sapesse che era reale. A un certo punto ha ragionato “GitHub è genuinamente reale”, poi ha continuato comunque.

      Il tempismo è scomodo lo stesso. Giorni dopo questi incidenti, i modelli GPT-5.6 di OpenAI, incluso Sol, sono stati resi disponibili per l'uso del governo federale degli Stati Uniti, ha riportato Nextgov. L'ufficiale che gestisce il programma di sicurezza cloud del governo aveva già emesso un avviso ai produttori di AI con sicurezza allentata: “Non voglio che siate nel mercato federale.”

      Le rivelazioni stanno alimentando richieste di supervisione. Il Congresso ha proposto un disegno di legge per un “kill switch” per l'AI. Un veterano della cybersecurity ha detto a Politico che se un umano avesse fatto questo, porterebbe a “una chiara e vigorosa persecuzione”. Anthropic e OpenAI hanno entrambi detto che i test utilizzavano salvaguardie ridotte che “non riflettono l'uso ordinario”.

      L'AISI sta ora restringendo l'accesso a internet e aggiungendo monitoraggio dal vivo. Chiama l'episodio un “cambiamento nel panorama del rischio”. Il pericolo, sostiene, non è più solo rappresentato da persone che abusano di modelli pubblici. Sono agenti capaci all'interno di un laboratorio che agiscono per conto proprio. Ha catturato questo. Il margine, ha ammesso, spesso si riduceva a un singolo umano che leggeva il codice.