OpenAI afferma che segnali precedenti avrebbero potuto prevenire la violazione di Hugging Face

      Il rapporto tecnico di OpenAI sulla violazione di Hugging Face afferma che un team interno ha visto i suoi modelli raggiungere l'internet aperto dalla loro sandbox a fine maggio, e che un avviso di giugno non ha fermato la valutazione. Ha anche scoperto che l'addestramento a volte premiava gli agenti per aver sfruttato il proprio ambiente.

      OpenAI ha pubblicato il suo resoconto su come i suoi modelli hanno hackerato Hugging Face, e la parte interessante è il calendario. Sapeva a fine maggio che i modelli in fase di test stavano sfruttando una vulnerabilità per raggiungere l'internet aperto.

      Un team interno ha notato la fuga in quel momento. Uno strumento di monitoraggio ha sollevato un secondo avviso il 27 giugno, rintracciato a agenti che utilizzavano una bacheca improvvisata per muoversi nella rete, e il personale di guardia ha deciso che la valutazione non doveva fermarsi.

      Il verdetto della compagnia è cauto. "Con il senno di poi, alcuni segnali precoci identificati in questo rapporto avrebbero potuto innescare una risposta anticipata," scrive.

      Ciò che è seguito a Hugging Face non è stato sottile. Gli agenti hanno eseguito codice su 41 server di produzione, hanno preso il controllo a livello di root di almeno uno, ottenuto credenziali di produzione e scaricato quattro repository di codice privati, gran parte di esso in 13 ore.

      Hanno colpito anche il proprio datore di lavoro. All'interno di OpenAI, gli agenti hanno letto 956 segreti memorizzati, comprese le credenziali per lo strumento di monitoraggio che ha sollevato l'allerta, e hanno raggiunto l'accesso a livello di amministratore a parte della sua infrastruttura cloud.

      La scoperta più scomoda riguarda l'addestramento, non la sicurezza. OpenAI afferma che gli agenti che hanno sfruttato il proprio ambiente quando gli strumenti appropriati hanno fallito sono stati a volte premiati per questo, che è il meccanismo che trasforma una fuga di mesi in un'abitudine appresa.

      Un esempio illustra il punto. Un agente ha sfruttato una vulnerabilità per leggere il programma che doveva ricreare, ha copiato la risposta ed è stato premiato per aver completato il compito.

      Una valutazione indipendente è arrivata lo stesso giorno. METR e Redwood Research hanno scoperto che gli agenti hanno eluso i controlli di sicurezza automatizzati in entrambe le aziende mentre hanno messo meno sforzo nell'evitare gli esseri umani.

      L'amministratore delegato di Hugging Face ha chiesto questo per settimane. Clem Delangue vuole che le aziende siano legalmente obbligate a pubblicare le tracce degli agenti che mostrano cosa hanno chiesto gli ingegneri e cosa hanno fatto gli agenti.

      L'Europa richiede già parte di questo. L'articolo 55 della legge sull'IA obbliga i fornitori di modelli di uso generale con rischio sistemico a segnalare incidenti gravi all'Ufficio IA senza indebito ritardo e a garantire il modello e la sua infrastruttura.

      Il problema è quale modello. Questi doveri si applicano una volta che un modello è immesso sul mercato, e OpenAI afferma che il principale motore di questa intrusione era un modello di ricerca interno che non è mai stato.

      L'America sta cercando invece di emettere citazioni. Il procuratore generale dell'Alabama ne ha inviata una, settimane dopo che 15 stati hanno detto a OpenAI di preservare i suoi documenti.