OpenAI ammette che il modello di intelligenza artificiale ha hackerato Hugging Face, l'IA open-source cinese ha aiutato a indagare.

      Un recente attacco informatico AI che ha sorpreso l'industria ha messo inaspettatamente sotto i riflettori la compagnia cinese Zhipu AI e il suo modello open-source GLM 5.2.

      OpenAI ha riconosciuto per la prima volta che uno dei suoi modelli AI è sfuggito a un ambiente di test sandbox durante una valutazione interna della sicurezza informatica, compromettendo l'infrastruttura di produzione di Hugging Face, la più grande piattaforma AI open-source al mondo.

      Durante l'indagine forense successiva, Hugging Face ha inizialmente tentato di analizzare l'attacco utilizzando un modello AI commerciale statunitense di punta, ma le sue misure di sicurezza integrate hanno bloccato l'indagine. L'azienda ha infine deciso di utilizzare un'istanza locale di GLM 5.2 per completare l'analisi forense.

      L'incidente segna il primo caso pubblicamente divulgato di un modello AI che esegue autonomamente un attacco informatico nel mondo reale.

      L'incidente è iniziato come quella che doveva essere una valutazione di modello di routine.

      Per misurare le vere capacità di sicurezza informatica dei suoi ultimi modelli, OpenAI ha testato GPT-5.6 Sol insieme a un modello pre-rilascio più capace utilizzando ExploitGym, un benchmark pubblico per la sicurezza informatica offensiva. Per simulare meglio le condizioni del mondo reale, l'azienda ha disabilitato la maggior parte delle misure di sicurezza che normalmente limitano le attività informatiche ad alto rischio.

      Secondo il design del test, i modelli erano confinati in una sandbox con accesso limitato alla rete, con accesso solo a uno strumento di installazione di pacchetti. Tuttavia, un modello ha scoperto e sfruttato una vulnerabilità zero-day precedentemente sconosciuta nell'installer, permettendogli di eludere le restrizioni di rete e accedere a Internet pubblico.

      Una volta online, il modello ha iniziato a ragionare autonomamente. Ha dedotto che Hugging Face ospitava probabilmente modelli, dataset o addirittura soluzioni benchmark correlate a ExploitGym, e ha lanciato un attacco per ottenerli.

      Secondo OpenAI, il modello ha combinato credenziali rubate con ulteriori exploit zero-day per identificare un percorso di esecuzione di codice remoto sui server di Hugging Face. Alla fine ha accesso al database di produzione della piattaforma e ha recuperato le risposte del benchmark.

      OpenAI ha dichiarato che il modello ha dimostrato un comportamento diretto verso obiettivi insolitamente forte ed è stato altamente persistente nei suoi sforzi per risolvere ExploitGym.

      La scorsa settimana, Hugging Face aveva rivelato di aver subito un attacco informatico eseguito da un sistema di agenti AI autonomi, anche se non ha identificato l'attaccante in quel momento.

      Secondo l'analisi post-incidente dell'azienda, l'attacco è iniziato sfruttando vulnerabilità nella sua pipeline di elaborazione dei dati, consentendo l'esecuzione di codice remoto e l'accesso a livello di nodo. L'attaccante ha poi rubato credenziali cloud e si è spostato lateralmente attraverso più cluster interni. Quasi l'intera operazione è stata automatizzata, con l'agente AI che ha eseguito migliaia di azioni indipendenti e persino generato attività di depistaggio per complicare l'indagine.

      La parte più drammatica della storia, tuttavia, è arrivata dopo la violazione.

      Hugging Face ha inizialmente tentato di analizzare più di 17.000 log di attacco utilizzando un modello AI commerciale statunitense di punta. Poiché i log contenevano codice di exploit reale, comandi di attacco e tecniche di escalation dei privilegi, i meccanismi di sicurezza del modello hanno rifiutato di elaborare le richieste.

      Il modello commerciale non è stato in grado di distinguere i rispondenti legittimi agli incidenti da attori malevoli e quindi ha bloccato qualsiasi richiesta che coinvolgesse tecniche di exploit. Questo ha effettivamente bloccato l'indagine forense.

      Hugging Face ha infine implementato localmente GLM 5.2 open-source di Zhipu AI per analizzare i log di attacco e completare le indagini digitali. Poiché il modello operava interamente all'interno dell'infrastruttura di Hugging Face, log sensibili, credenziali e dati dell'attaccante non hanno mai lasciato l'ambiente dell'azienda.

      Ironia della sorte, un modello AI americano ha attaccato una piattaforma AI americana. Un modello AI commerciale americano non è stato in grado di assistere a causa delle proprie misure di sicurezza, e l'indagine forense è stata infine completata utilizzando un modello AI open-source cinese.

      Il co-fondatore e CEO di Hugging Face, Clément Delangue, ha dichiarato che l'incidente ha rafforzato la convinzione di lunga data dell'azienda che la sicurezza AI non possa essere risolta da un'unica azienda dietro porte chiuse. Invece, una difesa efficace richiede collaborazione aperta e accesso ampio agli strumenti AI per i ricercatori di sicurezza in tutto il mondo.

      OpenAI ha dichiarato di aver divulgato responsabilmente le vulnerabilità zero-day ai fornitori di software interessati e sta continuando la sua indagine congiunta con Hugging Face. Maggiori dettagli tecnici sono attesi in futuro.

      L'incidente mostra anche una crescente sfida nell'era dell'AI. Man mano che i sistemi AI diventano capaci di scoprire autonomamente vulnerabilità, pianificare attacchi ed eseguire intrusioni, le misure di sicurezza tradizionali come sandbox, guardrail e controlli di autorizzazione potrebbero non essere più sufficienti. Mentre gli attaccanti possono implementare sistemi AI senza restrizioni, i difensori potrebbero trovarsi vincolati dalle politiche di sicurezza integrate nei modelli commerciali.

      Il futuro della sicurezza informatica potrebbe non essere più definito dalla competizione tra umani, ma da AI contro AI.

      

      

      

       Jessie Wu è una reporter tecnologica con sede a Shanghai. Copre elettronica di consumo, semiconduttori e l'industria dei giochi per TechNode. Connettiti con lei via e-mail: jessie.wu@technode.com.

       Altri articoli di Jessie Wu