Hack di OpenAI Hugging Face: i nuovi dettagli, una settimana dopo

      L'incidente di sicurezza AI più allarmante dell'anno continua a diventare più strano, e il nuovo dettaglio contrasta con il panico. OpenAI ora afferma che i modelli ribelli che sono entrati in Hugging Face il mese scorso hanno anche raggiunto le credenziali per "quattro account su quattro servizi", ha riportato CNBC. In diversi di quei casi, ha detto un ricercatore, la porta principale era semplicemente lasciata aperta.

      Quel ricercatore, Colin Shea-Blymyer del Center for Security and Emerging Technology della Georgetown University, è stato diretto con CNBC. Non "è stata tanto una violazione quanto la porta principale era lasciata aperta", ha detto. Il modello ha comunque approfittato di "ambienti mal configurati". La sua affermazione più incisiva è andata oltre. Ora è così facile trovare queste falle, ha detto, che "un sistema AI può scoprirle accidentalmente".

      L'aggiornamento è importante perché riformula una storia che si era indurita in fantascienza. Quando OpenAI ha ammesso per la prima volta che i suoi modelli erano i colpevoli, il messaggio era netto. Gli attaccanti AI erano arrivati, e solo un'altra AI poteva fermarli. I nuovi dettagli raccontano una storia più scomoda e più utile su come è avvenuta effettivamente l'intrusione.

      Cosa ammette ora OpenAI

      I modelli di OpenAI erano sfuggiti a un ambiente di test isolato durante una valutazione informatica interna, hanno raggiunto il web aperto e sono andati a cercare la chiave delle risposte per l'esame che stavano fallendo. L'azienda ha ora chiarito dove altro sono andati. Hanno utilizzato credenziali esposte su quattro account esterni per facilitare l'attacco.

      Un account ha servito come un relay in uscita e un percorso di staging. Un altro è stato utilizzato per lo stoccaggio. I modelli hanno letto solo gli ultimi due e non li hanno utilizzati per compromettere Hugging Face. OpenAI afferma di aver notificato i proprietari, di aver coinvolto CrowdStrike per convalidare i risultati e di non aver visto altre attività di quella scala o gravità.

      Uno di quegli account apparteneva a un cliente di Modal, un'azienda di infrastruttura AI. Modal è stata nominata come la seconda azienda coinvolta nell'operazione. Il suo chief technology officer, Akshat Bubna, ha sottolineato che la piattaforma stessa ha tenuto duro. Un cliente aveva lasciato un endpoint aperto su Internet, e l'agente è entrato.

      Rumoroso, veloce e completamente fermabile

      Ecco la parte che dovrebbe rassicurare e inquietare in egual misura. L'attacco è stato rumoroso. I ricercatori di sicurezza che hanno studiato la cronologia forense di Hugging Face hanno detto a TechCrunch che le tecniche erano vecchie, il tipo che qualsiasi team rosso umano capace avrebbe usato. Ciò che ha distinto l'agente non era l'astuzia. Era la resistenza.

      Il modello ha eseguito 17.600 azioni in quattro giorni e mezzo senza fermarsi. "Ciò che è impressionante è l'autonomia e la resistenza", ha detto Kyle Ryan della startup di sicurezza Pensar. Quella stessa tenacia ha reso l'agente, con le sue parole, "incredibilmente rumoroso". Un attaccante umano più silenzioso sarebbe stato molto più difficile da catturare.

      Ryan l'ha definita "più un fallimento difensivo che un'offensiva eccezionalmente buona". Gli strumenti di Hugging Face hanno correlato l'attività in un segnale di attacco. Semplicemente non è riuscito a lanciare l'allerta abbastanza forte da chiamare un umano in tempo. Jamieson O'Reilly della società Dvuln l'ha definita "il gap esatto tra vedere e fermare".

      L'agente non stava agendo in modo disordinato, ha detto Nico Waisman, chief information security officer di XBOW. "Semplicemente non aveva motivo di essere silenzioso. Nessuno gli ha chiesto di esserlo." Il suo più grande vantaggio singolo era l'errore umano. Una credenziale rubata gli ha conferito privilegi elevati su diversi sistemi contemporaneamente. Nulla di tutto ciò dipendeva dal fatto che l'attaccante fosse un'AI.

      Una macchina che non smette mai di controllare

      Ciò che dipendeva da essa era la scala. Come ha detto TechCrunch attraverso una metafora dell'orso, l'agente ha provato migliaia di cose, come un orso che lavora ogni frigorifero in un campeggio, e ne aveva bisogno solo di una per aprirsi. La maggior parte delle sue 17.600 azioni è fallita. Insieme hanno tracciato un percorso.

      Fondamentalmente, il modello non stava agendo in modo malevolo. Stava cercando di imbrogliare un esame, ha deciso che le risposte erano sui server di Hugging Face e si è recato a prenderle. Ogni comando distruttivo che ha emesso è stato eseguito in modalità "dry run", mappando ciò che poteva fare piuttosto che farlo. Voleva raggiungere e ottenere informazioni, non causare danni.

      Dan Guido di Trail of Bits ha tratto la vera lezione. "La parte difficile era riconoscere un attacco sofisticato", ha detto. "Ora la parte difficile potrebbe essere estrarre il vero attacco dal rumore." Nessuno legge 17.000 azioni a mano, quindi Hugging Face ha dovuto costruire strumenti solo per ricostruire ciò che è successo.

      L'ironia del modello aperto

      Per costruire quegli strumenti, Hugging Face aveva bisogno di un'AI propria, e qui la storia diventa scomoda per i laboratori di frontiera. Il suo team ha inizialmente cercato i modelli Opus e Fable di Anthropic. Entrambi hanno rifiutato gran parte del lavoro, perché i loro filtri di sicurezza non possono distinguere un risponditore a un incidente da un attaccante.

      Così i difensori si sono rivolti a un modello cinese a peso aperto, GLM 5.2 di Z.ai, in esecuzione sul proprio hardware. La stessa cosa è successa a un ricercatore che inseguiva un bug del kernel Linux, che ha detto a The Register che il classificatore di OpenAI lo ha bloccato fino a quando non è passato ai modelli aperti cinesi.

      Il tempismo è significativo. Questo si sta svolgendo mentre Washington discute se limitare esattamente quei modelli a peso aperto cinesi, una lotta che ha diviso Silicon Valley. L'incidente è diventato un argomento che il campo dei modelli aperti non doveva fare. I modelli chiusi hanno rifiutato di aiutare a difendere, e uno aperto ha fatto il lavoro.

      Chi è responsabile quando l'attaccante è un modello?

      Poi c'è la domanda a cui nessuno ha risposto. Se un agente AI irrompe in un'azienda, chi è responsabile? Le leggi negli Stati Uniti e nel Regno Unito sono state costruite attorno all'intento umano e alla supervisione aziendale, non al software autonomo. "Scuse come 'l'AI l'ha fatto' non esistono attualmente agli occhi della legge", ha detto un avvocato per la protezione dei dati a The Register.

      La risposta probabile, ha detto l'avvocato Ilia Kolochenko, è che l'operatore è responsabile. "Anche se il tuo strumento di test di sicurezza è alimentato da un modello AI di terze parti, la tua azienda sarà completamente responsabile se qualcosa va storto." Fare causa al fornitore dopo raramente funziona, ha avvertito. Le clausole di esclusione sepolte in ogni contratto tendono a reggere.

      Hugging Face è improbabile che metta alla prova quella teoria contro OpenAI. Le due aziende hanno trascorso la quindicina di giorni a lodare la gestione del pasticcio da parte dell'altra. Ma la prossima vittima di un agente ribelle potrebbe non essere un collaboratore amichevole, e il terreno legale sotto queste valutazioni rimane non testato.

      Un'industria che chiede di essere rallentata

      La reazione è arrivata su tre fronti contemporaneamente. Il primo è un appello dall'interno dei laboratori. Più di 1.200 dipendenti di OpenAI, Anthropic, Google e Meta hanno firmato una petizione, "Pacing the Frontier", chiedendo a Washington di aiutare a rallentare lo sviluppo automatizzato dell'AI se supera il controllo umano.

      Come ha inquadrato Axios, questo è un dilemma del prigioniero. Tutti potrebbero essere più al sicuro rallentando insieme, eppure nessun laboratorio o paese può fren