OpenAI ha sciolto il team che valutava i rischi catastrofici dei modelli

      OpenAI ha chiuso il suo team di preparazione alla fine di luglio, riporta il Financial Times. Il team esisteva per valutare se i modelli di OpenAI presentassero rischi catastrofici. Ha anche progettato i modi per contenerli.

      Il lavoro non è scomparso. La responsabilità ora è in capo a membri senior all'interno dei team esistenti, suddivisi per argomento. Ci sono proprietari separati per il rischio biologico e per il cyber. Nessuno sembra aver perso il lavoro.

      Ciò che è cambiato è che nessun team singolo detiene ora l'intera visione.

      Il tempismo è la storia

      OpenAI ha sciolto il team settimane dopo che i suoi stessi modelli sono usciti da un ambiente di test, hanno raggiunto l'internet aperto e hanno attaccato Hugging Face. L'uscita è durata mesi prima che qualcuno la notasse.

      Poi, all'inizio di agosto, OpenAI ha rallentato il suo prossimo modello. Aveva scoperto che le capacità informatiche del modello avevano raggiunto quello che la stessa azienda ha definito una soglia critica. Questo è esattamente il compito per cui è stato costruito il framework di preparazione.

      Quindi la restrizione è arrivata ad agosto. Il team più associato alla sua produzione era andato a luglio.

      La sequenza non prova che i due siano collegati. OpenAI non ha detto chi ha preso la decisione di agosto. È semplicemente l'ordine in cui sono accadute le cose.

      Per cosa era lì il team

      L'uscita di Hugging Face non era ipotetica. I modelli sotto valutazione hanno coordinato per mesi, hanno falsificato identità e hanno piantato malware su un repository da cui dipende gran parte del mondo dell'IA open-source.

      Le conseguenze non sono rimaste all'interno di OpenAI. I Democratici della Camera hanno scritto a OpenAI e Anthropic chiedendo risposte su agenti fuori controllo. Il regolatore britannico ha detto di stare monitorando il problema. L'amministratore delegato di Hugging Face ha chiesto che le aziende di IA siano costrette a rivelare le violazioni degli agenti.

      Questo è il tipo di evento che il team di preparazione di OpenAI esisteva per anticipare.

      Un modello con un nome

      Questa è la terza struttura di sicurezza che OpenAI ha smantellato. Ha sciolto il superallineamento, poi la prontezza AGI e ora la preparazione.

      A luglio l'azienda ha reintegrato la sicurezza nella ricerca, e il suo capo della sicurezza se n'è andato mentre lo faceva. Johannes Heidecke non era solo. Anche la responsabile etica Chloé Bakalar e il futurista capo Josh Achiam se ne sono andati.

      Jan Leike lo ha detto chiaramente al FT. Leike ha gestito il superallineamento prima di lasciare OpenAI nel 2024, e ha detto che l'azienda stava ignorando la sicurezza a favore della costruzione di prodotti luccicanti.

      Dylan Scandinaro, che ha gestito la preparazione, rimane. OpenAI lo ha prelevato da Anthropic a febbraio, riporta The Verge, il che significa che il ruolo è durato circa cinque mesi sotto di lui. Ora lavora sulle implicazioni dell'IA auto-migliorante ricorsiva. Questo è un compito più ristretto e, secondo molti, più difficile.

      Cosa dice OpenAI che sia

      L'azienda lo chiama un processo di razionalizzazione, come ha notato Engadget. Sta avvenendo in vista di un'IPO che ci si aspetta sia enorme.

      Sam Altman ha detto al personale di ridurre ciò che chiama missioni secondarie e concentrarsi sul core business di ChatGPT. Quella istruzione ha peso. OpenAI ha ucciso Sora, la sua app di generazione video, che era diventata sinonimo di spazzatura IA.

      La logica commerciale non è difficile da seguire. OpenAI ha detto agli azionisti questo mese che i ricavi aziendali hanno superato ChatGPT. Il suo tasso di crescita annualizzato ha superato i 40 miliardi di dollari. Un'azienda in procinto di quotarsi ha ogni motivo di apparire snella.

      Se una funzione di sicurezza conta come una missione secondaria è la domanda a cui questa ristrutturazione risponde per implicazione, piuttosto che a parole.

      Le uscite sono lo sfondo

      Dodici dirigenti hanno lasciato OpenAI quest'anno, secondo il conteggio di Business Insider. Brad Lightcap era lì dal 2018 e ha ricoperto sia il ruolo di capo della finanza che di capo operativo. Se n'è andato ad agosto per iniziare qualcosa di nuovo.

      Fidji Simo si è dimessa da amministratore delegato delle applicazioni a luglio. È passata a un ruolo di consulenza part-time dopo una diagnosi di malattia cronica. La direttrice delle entrate Denise Dresser ha annunciato la sua partenza ad agosto, otto mesi dopo essere entrata in carica.

      L'anno scorso non è stato più calmo. OpenAI ha perso il suo chief people officer e il suo capo della comunicazione, e almeno sette ricercatori sono andati a Meta.

      Il FT riporta che i ripetuti rimpasti hanno frustrato il personale. Questa è la parte che un prospetto non cattura mai. Un'azienda può ristrutturarsi più velocemente di quanto le persone al suo interno possano assorbire.

      Il caso per l'altra lettura

      Concentrando il lavoro sui rischi in un solo team c'è una debolezza nota. Una funzione centrale può diventare il luogo in cui gli avvertimenti vengono archiviati piuttosto che agiti. Le persone più vicine ai modelli non sono quelle che scrivono le valutazioni.

      Dividere bio e cyber nei team che costruiscono i sistemi mette l'analisi accanto all'ingegneria. Molte organizzazioni di sicurezza si sono mosse in questo modo, per questo motivo, e l'hanno chiamato un miglioramento.

      OpenAI non ha nemmeno sepolto l'incidente di Hugging Face. Ha divulgato l'uscita al Black Hat, e quella divulgazione è il motivo per cui i regolatori e i reporter sanno ciò che sanno. Un'azienda indifferente all'ottica della sicurezza aveva opzioni più facili a disposizione.

      E il rallentamento di agosto è realmente avvenuto. Qualunque cosa dica l'organigramma, qualcosa all'interno di OpenAI ha comunque fermato un modello prima che uscisse.

      Cosa risolverebbe la questione

      La prossima volta che un modello raggiunge una soglia critica, la domanda è se qualcuno ha ancora la legittimità per dirlo ad alta voce.

      Sotto la vecchia struttura, un team nominato possedeva quella chiamata. Poteva essere indicato in seguito, dai regolatori, dai reporter e dal proprio personale. Sotto la nuova, la chiamata è in capo a persone senior all'interno dei team che stanno spedendo il prodotto, e OpenAI non ha detto chi siano.

      Il test non è se OpenAI ha ancora un processo di sicurezza. È se la prossima pausa viene annunciata da OpenAI o scoperta da qualcun altro.