OpenAI ha creato GPT-Red per hackerare la propria IA e l'ha nascosto.

      OpenAI ha addestrato un hacker d'élite, poi lo ha rinchiuso in una gabbia. Il suo unico compito è quello di rompere l'IA di OpenAI. L'azienda afferma che è troppo pericoloso lasciare che qualcun altro si avvicini.

      Il modello si chiama GPT-Red, e OpenAI ne ha fornito dettagli questa settimana. È un red-teamer automatizzato: software che cerca modi per dirottare o sabotare altri sistemi di IA, in modo che le vulnerabilità possano essere corrette prima del rilascio. Gli esseri umani hanno a lungo svolto questo lavoro manualmente. È la spinta più profonda di OpenAI nell'automazione della propria sicurezza IA, e GPT-Red lo fa a velocità macchina.

      OpenAI lo ha mirato all'iniezione di prompt, dove istruzioni nascoste, sepolte in un'email, in una pagina web o in un file, ingannano un modello facendogli fare qualcosa che non dovrebbe. Poi ha lasciato l'hacker libero su obiettivi reali.

      Il dojo di addestramento

      GPT-Red impara combattendo. OpenAI lo ha messo in un ciclo di auto-gioco contro una squadra di modelli difensori. GPT-Red viene premiato per aver portato a termine un attacco; i difensori per averne respinto uno. Man mano che i difensori diventano più astuti, GPT-Red deve inventare trucchi più subdoli. OpenAI afferma di aver investito alcune delle sue più grandi esecuzioni di calcolo nel modello, una quantità che definisce senza precedenti per il lavoro di sicurezza.

      È diventato bravo. Parlando con MIT Technology Review, il team ha detto che GPT-Red ha trovato una nuova classe di attacco che non avevano mai visto, che chiamano una "falsa catena di pensiero". Pianta una nota falsa nella memoria di lavoro privata di un modello, ingannandolo nel fidarsi di qualcosa che non è vero.

      “È come se ti dicessi che 1+1=3 e che hai già verificato questo,” ha detto il ricercatore di OpenAI Chris Choquette-Choo. “Il modello è tipo, ‘Oh, ok, certo,’ e sputa semplicemente 3.”

      Hacking il distributore automatico

      I test sono diventati fisici. In uno, GPT-Red ha attaccato Vendy, un agente IA che gestisce un vero distributore automatico nell'ufficio di OpenAI, costruito da Andon Labs. Ha cambiato i prezzi, ha abbassato il prezzo di un articolo costoso al minimo di 50 centesimi e ha annullato un ordine di un cliente. OpenAI afferma di aver rivelato le vulnerabilità.

      I punteggi sono sorprendenti. Contro un vecchio GPT-5, oltre il 90% degli attacchi più forti di GPT-Red ha funzionato. Contro il nuovo GPT-5.6, meno del 23% ha funzionato. In una ripetizione di un test del 2025, GPT-Red ha battuto i red-teamers umani a mani basse, risolvendo l'84% degli scenari contro il loro 13%.

      Tenuto in gabbia

      OpenAI ha addestrato GPT-5.6 contro GPT-Red, e lo definisce il suo modello più robusto finora contro l'iniezione di prompt. Ma non consegnerà l'attaccante stesso, così le sue abilità rimangono lontane dai veri dirottatori di agenti. Non è il primo laboratorio a costruire qualcosa e decidere di non rilasciarlo.

      “Non è una cosa banale che qualcuno potrebbe facilmente fare,” ha detto Choquette-Choo, “basta andare e addestrare un super-attaccante usando questa idea.”

      GPT-Red ha ancora punti ciechi. È debole negli attacchi prolungati e alternati, e nel nascondere istruzioni all'interno delle immagini. E i tester umani continuano a catturare cose che gli sfuggono. “Penso che l'expertise umana sarà ancora molto importante,” ha detto Jessica Ji, un'analista di sicurezza IA al CSET di Georgetown.

      L'idea più grande è un volano: usare i modelli di oggi per rafforzare quelli di domani. OpenAI lo fa già per rendere la sua IA più intelligente. Ora vuole che la sicurezza si espanda altrettanto rapidamente. Un documento completo è previsto per la fine di questa settimana.