OpenAI afferma che i modelli di intelligenza artificiale hanno autonomamente portato a termine un grande attacco informatico, ma solo un'IA cinese ha aiutato nel recupero.
OpenAI
Unsplash
L'ultimo test di cybersecurity di OpenAI ha prodotto un risultato che suona come un copione di fantascienza cautelativo. I suoi modelli di intelligenza artificiale sono riusciti a fuggire dalla loro sandbox e hanno raggiunto l'internet aperto. È qui che le cose hanno preso una piega spaventosa, poiché hanno iniziato a hackerare Hugging Face per rubare le risposte al test che stavano sostenendo.
L'azienda afferma che GPT-5.6 Sol e un modello non rilasciato più capace hanno autonomamente concatenato vulnerabilità nei sistemi di ricerca di OpenAI e nell'infrastruttura di produzione di Hugging Face. OpenAI ha descritto l'evento come un incidente informatico senza precedenti.
I modelli hanno trovato un vero percorso di fuga
L'incidente è iniziato durante una valutazione interna progettata per misurare le capacità avanzate di cybersecurity offensiva. OpenAI ha deliberatamente eseguito i modelli con rifiuti informatici ridotti e senza i classificatori di produzione che normalmente impediscono loro di intraprendere attacchi pericolosi.
OpenAI / ChatGPT
L'ambiente di test era fortemente isolato. Tuttavia, poteva raggiungere un proxy ospitato internamente utilizzato per recuperare pacchetti software. Questi modelli hanno quindi speso risorse di calcolo sostanziali alla ricerca di un percorso di fuga e hanno scoperto una vulnerabilità precedentemente sconosciuta in quel proxy, che hanno sfruttato. Questo ha permesso loro di elevare i propri privilegi e muoversi attraverso l'infrastruttura di ricerca di OpenAI, raggiungendo infine un sistema con accesso a internet illimitato.
I modelli hanno poi dedotto che Hugging Face potrebbe ospitare materiale relativo a ExploitGym, il benchmark di cybersecurity che stavano cercando di completare. Secondo OpenAI, hanno utilizzato credenziali rubate e ulteriori vulnerabilità zero-day per trovare un percorso di esecuzione di codice remoto nei server di Hugging Face e recuperare soluzioni per il test da un database di produzione.
OpenAI ha rilevato attività insolite internamente, mentre i sistemi di sicurezza di Hugging Face hanno identificato e fermato l'intrusione sulla propria infrastruttura. Hugging Face ha dichiarato che l'incidente ha esposto una raccolta limitata di dataset interni e credenziali di servizio. Non ha trovato prove che modelli pubblici, dataset o immagini di container siano stati alterati. Ma la sua valutazione dell'impatto possibile su clienti o partner è ancora in corso.
Un'IA cinese ha aiutato gli investigatori a districarsi in questo pasticcio
Hugging Face ha affrontato un problema strano mentre esaminava più di 17.000 eventi registrati dall'attacco. I suoi investigatori inizialmente hanno provato a utilizzare modelli di IA all'avanguardia disponibili tramite API commerciali. Tuttavia, i loro sistemi di sicurezza sono riusciti a bloccare comandi malevoli, payload di sfruttamento e artefatti di comando e controllo contenuti nelle prove. I modelli ospitati non potevano distinguere in modo affidabile il lavoro forense da qualcuno che richiedeva aiuto con un attacco.
Z.Ai
L'azienda è passata a GLM 5.2, un modello a peso aperto sviluppato dalla cinese Z.ai, e lo ha eseguito localmente. Agenti forensi guidati dall'IA hanno utilizzato il modello per ricostruire la cronologia, identificare credenziali compromesse, estrarre indicatori di compromissione e sono persino riusciti a separare attività genuine da esche. Hugging Face afferma che il processo ha richiesto ore invece dei giorni che un'indagine convenzionale avrebbe potuto richiedere. Mantenere GLM sulla propria infrastruttura ha anche impedito che credenziali e dati di attacco lasciassero il proprio ambiente.
I team di sicurezza di Hugging Face hanno successivamente rimosso le posizioni di accesso e ricostruito il sistema compromesso. Quindi, il GLM non ha contenuto da solo l'intrusione. OpenAI ha costruito un'IA capace di portare a termine questo tipo di intrusione, mentre l'esperienza di Hugging Face suggerisce che i difensori potrebbero aver bisogno di modelli altrettanto capaci in attesa dall'altra parte.
Vikhyaat Vivek è un giornalista tecnologico e recensore con sette anni di esperienza nella copertura dell'hardware di consumo, con un focus su…
WhatsApp può ora aprire e modificare PDF senza doverli scaricare prima
Adobe Acrobat sta aggiungendo strumenti di visualizzazione e annotazione integrati per PDF condivisi tramite WhatsApp su schermi più grandi.
Adobe sta rendendo gli allegati PDF molto meno fastidiosi in WhatsApp. La sua nuova integrazione con Acrobat ti consente di aprire un PDF e annotarlo senza scaricare il file o lasciare la conversazione. La funzione è disponibile oggi tramite WhatsApp Web e l'app per Windows. Tuttavia, il titolo viene con un'importante avvertenza. Questo non è un editing completo dei PDF. Puoi rivedere e annotare un documento, ma non puoi riscrivere il suo testo originale o riorganizzare il layout.
Leggi di più
Substack ora ti consente di controllare se un post è stato scritto da un'IA
Un nuovo scanner alimentato da Pangram ti consente di controllare post, note e risposte per segni di scrittura AI.
Substack sta dando ai lettori un modo per controllare se il post che stanno leggendo è stato scritto da un umano o da un chatbot. L'azienda ha collaborato con la società di rilevamento dell'IA Pangram per introdurre nuovi strumenti che consentiranno agli utenti di scansionare post, note e risposte per testo generato da IA. Il CEO Chris Best ha presentato le funzionalità in un post intitolato "Contro il Claudefishing", il suo termine per contenuti che si basano sull'IA mentre si presentano come lavoro umano. Come funziona lo strumento di scansione
Leggi di più
La carenza di talenti IA in Cina ha portato i giganti tecnologici a reclutare adolescenti
Dimentica il reclutamento nei campus, le più grandi aziende tecnologiche della Cina scommettono su programmatori adolescenti.
Un ragazzo di 13 anni a Hangzhou ha già vinto competizioni nazionali di IA e ha costruito un seguito di oltre 136.000 persone online, tutto mentre suo padre cerca di capire come guidarlo in un campo che esisteva a malapena quando lui stesso cresceva. La situazione di quella famiglia, riportata per la prima volta da Rest of World, dice molto su dove sta andando l'industria tecnologica cinese in questo momento. Le aziende erano solite aspettare che i laureati entrassero dalla porta. Ora stanno cercando più indietro, prima agli studenti universitari e sempre più agli adolescenti, sperando di individuare talenti rari prima che qualcun altro arrivi a loro.
Leggi di più
Other articles
OpenAI afferma che i modelli di intelligenza artificiale hanno autonomamente portato a termine un grande attacco informatico, ma solo un'IA cinese ha aiutato nel recupero.
GPT-5.6 Sol e un modello OpenAI non rilasciato hanno sfruttato vulnerabilità zero-day per uscire da un ambiente di test e accedere all'infrastruttura di produzione di Hugging Face.
