Greg Brockman afferma che OpenAI ha sottovalutato le capacità informatiche dei propri modelli.

      Greg Brockman è intervenuto su CNBC lunedì per affermare che le partenze di dirigenti in OpenAI non sono insolite.

      “Penso che la differenza tra OpenAI e altre organizzazioni sia che siamo così tanto sotto i riflettori, quindi ogni partenza viene scrutinata in un modo che altrimenti non accadrebbe,” ha detto il presidente dell'azienda a Squawk Box.

      Non ha torto riguardo allo scrutinio. Ha anche pubblicato qualcosa il giorno prima che merita più attenzione.

      La frase nel suo stesso post sul blog

      Brockman ha scritto un lungo post sul suo blog personale domenica, rivolto ai team di sicurezza. La maggior parte della copertura lo ha trasformato in un elenco. Una riga in esso conta più delle altre tremila parole.

      “L'incidente di Hugging Face ha mostrato che abbiamo sottovalutato le reali capacità informatiche dei nostri modelli di intelligenza artificiale,” ha scritto domenica. “Stiamo rafforzando i nostri requisiti di sicurezza di conseguenza.”

      Questo è un co-fondatore di OpenAI che afferma per iscritto che l'azienda ha sbagliato la propria valutazione delle capacità.

      Descrive ciò che è accaduto in termini più diretti rispetto a quelli usati dall'azienda all'epoca. Un collettivo autonomo ha penetrato in modo autonomo l'infrastruttura di ricerca di OpenAI. Ha poi raggiunto l'infrastruttura di produzione di un'altra azienda. Ha concatenato difetti sconosciuti con credenziali già trapelate online.

      Abbiamo coperto l'incidente stesso quando OpenAI lo ha divulgato a Black Hat.

      Il team che ha fatto la valutazione non c'è più

      Ecco la parte imbarazzante della cronologia.

      OpenAI ha sciolto il suo team di preparazione alla fine di luglio. Quel team esisteva per valutare se i modelli presentassero rischi catastrofici. L'azienda ha ridistribuito il lavoro in team esistenti, con proprietari separati per bio e cyber.

      Ad agosto il suo presidente ha pubblicato una frase che affermava che l'azienda aveva sottovalutato esattamente quella categoria di rischio.

      L'ordine non prova una connessione, e OpenAI non ha detto chi ora approva le valutazioni delle capacità. È semplicemente degno di nota che l'ammissione sia arrivata dopo la riorganizzazione piuttosto che prima.

      Cosa raccomanda effettivamente

      Il post non è difensivo. È un insieme dettagliato e gratuito di istruzioni per altre aziende, e la parte più persuasiva è una dimostrazione su se stesso.

      Brockman ha puntato ChatGPT Work sul suo stesso sito web personale, un sito statico dietro Cloudflare. In circa quindici minuti ha trovato tredici problemi. I suoi record DNS non hanno impedito a nessuno di falsificare email da lui. Il sito eseguiva una versione insicura di jQuery. Cloudflare stava passando richieste a AWS tramite HTTP non crittografato.

      Ha poi chiesto di risolverli. In circa un'ora ha configurato DNS e TLS attraverso il pannello di Cloudflare nel suo browser. Ha eliminato jQuery, spostato il sito da AWS e avviato un rollout graduale dell'autenticazione email.

      Le sue dieci raccomandazioni iniziano con l'approvazione dei dirigenti. Passano attraverso la fornitura di un agente ai team di sicurezza, la pulizia dell'attuale backlog di vulnerabilità e l'automazione del triage degli avvisi gradualmente piuttosto che tutto in una volta. Business Insider ha riprodotto l'elenco.

      OpenAI sta già operando in questo modo internamente. Quasi tutti i suoi avvisi di sicurezza iniziali vengono triageati dai modelli prima che un umano li veda, scrive Brockman.

      L'ambizione tecnica sottostante è più grande di quanto suggerisca la lista di controllo. OpenAI sta addestrando modelli per scrivere quello che Brockman chiama codice superumanamente sicuro. Sostiene anche che i suoi modelli sono abbastanza bravi nelle dimostrazioni matematiche da verificare formalmente la sicurezza del software, un compito che ha sconfitto gli esseri umani per decenni.

      L'azienda ha iniziato a limitare le sue capacità informatiche a difensori verificati all'inizio di quest'anno. Brockman ha detto a CNBC che OpenAI prende l'incidente estremamente sul serio e che segnalare ciò che vede in arrivo fa parte del lavoro.

      L'avvertimento che ha sepolto

      Un paragrafo nel post è una previsione specifica e datata, e quasi nessuno l'ha notata.

      Brockman osserva che i modelli a peso aperto con capacità informatiche solo mesi dietro il confine sono già disponibili. Poi punta al prossimo, previsto per la fine di agosto, e dice che sembra probabile che acceleri significativamente il panorama delle minacce. Il suo post è collegato a GLM-5.3, dal laboratorio cinese Zhipu, anche se non lo nomina nel testo.

      I ricercatori hanno già scoperto che i modelli a peso aperto sono in ritardo sulla sicurezza anche dove corrispondono in capacità. Brockman sostiene che il divario sta per peggiorare in una data nota, il che è un'affermazione più forte rispetto al solito atteggiamento dell'industria riguardo al rischio.

      La consolidazione che nessuno chiama consolidazione

      Tornando alle partenze, perché le due storie sono la stessa storia.

      Denise Dresser è andata via dopo otto mesi alla guida dell'iniziativa aziendale contro Anthropic. Dali Rajic l'ha sostituita, arrivando da Wiz. Brad Lightcap è partito due giorni prima, dopo otto anni. Era già passato dal ruolo di chief operating a progetti speciali ad aprile.

      Fidji Simo si è dimessa il mese scorso per motivi di salute, citando un'esacerbazione severa di una malattia cronica.

      Brockman ha assunto le sue responsabilità. CNBC osserva che questo lo lascia a supervisionare i progetti più importanti e redditizi dell'azienda. La sua precedente segnalazione descriveva il potere che si consolidava sotto di lui in vista della quotazione.

      “Io sono una costante, Sam è una costante, e penso che siamo più forti grazie a quella resilienza e diversità,” ha detto Brockman.

      Letto letteralmente, è una descrizione di due persone che accumulano ciò che tutti gli altri hanno messo da parte.

      I numeri che ha confermato

      Brockman ha fornito a CNBC nuovi dati. Il tasso di crescita di OpenAI è aumentato del 20% mese su mese a luglio. I clienti aziendali sono cresciuti del 32%. Lui e il direttore finanziario Sarah Friar hanno fornito agli investitori entrambi i numeri venerdì.

      L'azienda ha presentato il suo prospetto in modo riservato alla SEC a giugno e non ha ancora fissato una data di quotazione. CNBC stima la valutazione che sta difendendo agli investitori a 852 miliardi di dollari.

      Cosa risolverebbe la questione

      Brockman merita credito per due cose. OpenAI ha divulgato un incidente che avrebbe potuto seppellire, e il post offre un lavoro difensivo genuinamente utile gratuitamente piuttosto che venderlo.

      La domanda aperta è più ristretta rispetto ai titoli. Un'azienda ha ammesso di aver sottovalutato i propri modelli. Il seguito ovvio è chi fa ora le stime e se quella persona può fermare un lancio.

      OpenAI non ha risposto a questo. Osserva se il prospetto lo farà.