OpenAI construyó GPT-Red para hackear su propia IA y la ocultó.

OpenAI construyó GPT-Red para hackear su propia IA y la ocultó.

      OpenAI ha entrenado a un hacker de élite y luego lo ha encerrado en una jaula. Su trabajo consiste en romper la propia IA de OpenAI. La compañía dice que es demasiado peligroso permitir que alguien más se acerque a ella.

      El modelo se llama GPT-Red, y OpenAI lo detalló esta semana. Es un equipo automatizado de ataque: software que busca formas de secuestrar o sabotear otros sistemas de IA, para que las vulnerabilidades puedan ser corregidas antes de su lanzamiento. Los humanos han realizado este trabajo manualmente durante mucho tiempo. Es el empuje más profundo de OpenAI hasta ahora para automatizar la seguridad de su propia IA, y GPT-Red lo hace a velocidad de máquina.

      OpenAI lo dirigió hacia la inyección de comandos, donde instrucciones ocultas, enterradas en un correo electrónico, una página web o un archivo, engañan a un modelo para que haga algo que no debería. Luego dejó suelto al hacker en objetivos reales.

      El dojo de entrenamiento

      GPT-Red aprende luchando. OpenAI lo colocó en un bucle de auto-juego contra un escuadrón de modelos defensores. GPT-Red es recompensado por realizar un ataque; los defensores por detener uno. A medida que los defensores se vuelven más astutos, GPT-Red debe inventar trucos más desagradables. OpenAI dice que invirtió algunas de sus mayores ejecuciones de computación en el modelo, una cantidad que considera sin precedentes para trabajos de seguridad.

      Se volvió bueno. Hablando con MIT Technology Review, el equipo dijo que GPT-Red encontró una nueva clase de ataque que nunca habían visto, que llaman una "cadena de pensamiento falsa". Plantea una nota falsa en la memoria de trabajo privada de un modelo, engañándolo para que confíe en algo que no es cierto.

      "Es como si te dijera que 1+1=3 y que ya lo has verificado", dijo el investigador de OpenAI, Chris Choquette-Choo. "El modelo dice: 'Oh, está bien, por supuesto', y simplemente escupe 3."

      Hackeando la máquina expendedora

      Las pruebas se volvieron físicas. En una, GPT-Red atacó a Vendy, un agente de IA que opera una máquina expendedora real en la oficina de OpenAI, construida por Andon Labs. Cambió los precios, marcó un artículo caro al mínimo de 50 centavos y canceló el pedido de un cliente. OpenAI dice que ha revelado las fallas.

      Los resultados son sorprendentes. Contra un GPT-5 más antiguo, más del 90% de los ataques más fuertes de GPT-Red funcionaron. Contra el nuevo GPT-5.6, menos del 23% lo hicieron. En una repetición de una prueba de 2025, GPT-Red superó a los equipos de ataque humanos sin problemas, resolviendo el 84% de los escenarios frente al 13% de ellos.

      Mantenido en una jaula

      OpenAI entrenó a GPT-5.6 contra GPT-Red, y lo llama su modelo más robusto hasta ahora contra la inyección de comandos. Pero no entregará al atacante en sí, por lo que sus habilidades se mantienen alejadas de los verdaderos secuestradores de agentes. No es el primer laboratorio en construir algo y decidir no liberarlo.

      "No es algo trivial que alguien podría hacer fácilmente", dijo Choquette-Choo, "simplemente ir y entrenar a un super-atacante usando esta idea."

      GPT-Red aún tiene puntos ciegos. Es débil en ataques prolongados y en ocultar instrucciones dentro de imágenes. Y los evaluadores humanos siguen atrapando cosas que se le escapan. "Creo que la experiencia humana seguirá siendo muy importante", dijo Jessica Ji, analista de seguridad de IA en CSET de Georgetown.

      La idea más grande es un volante: usar los modelos de hoy para fortalecer los de mañana. OpenAI ya hace esto para hacer que su IA sea más inteligente. Ahora quiere que la seguridad escale tan rápido. Un documento completo se publicará más adelante esta semana.

Otros artículos

¿Cuáles son las formas más fáciles de aceptar pagos en línea y en persona? ¿Cuáles son las formas más fáciles de aceptar pagos en línea y en persona? Esta publicación es presentada en asociación pagada con QuickBooks. Los clientes de hoy esperan que las empresas acepten pagos de la manera que les resulte más conveniente, ya sea tocando una tarjeta en un mostrador de pago, pagando una factura desde un teléfono o completando una compra en línea. Para las pequeñas empresas, cumplir con esas expectativas es importante, pero gestionar múltiples sistemas de pago [...] Boston Dynamics está probando a Spot como un robot de entrega de paquetes que camina de la furgoneta a la puerta. Boston Dynamics está probando a Spot como un robot de entrega de paquetes que camina de la furgoneta a la puerta. Boston Dynamics equipó a Spot con una cinta transportadora para llevar paquetes desde las furgonetas de entrega hasta las puertas de entrada, apuntando a los últimos 50 pies de la cadena logística. Apple busca adquisiciones de chips de IA para reparar sus servidores Apple busca adquisiciones de chips de IA para reparar sus servidores Apple está buscando adquisiciones de chips de IA después de que sus propios servidores M2 Ultra no cumplieran con las expectativas, un raro impulso de fusiones y adquisiciones mientras Nvidia aún alimenta a Siri basado en Gemini. Walden Robotics se lanza con $300 millones, y sin patas. Walden Robotics se lanza con $300 millones, y sin patas. Walden Robotics, una empresa derivada de Toyota, salió de la clandestinidad con $300 millones a una valoración de $1.1 mil millones. Sus humanoides de fábrica se desplazan sobre ruedas, no sobre piernas. Bliq recibe luz verde para coches sin conductor en Finlandia Bliq recibe luz verde para coches sin conductor en Finlandia Bliq.ai obtuvo la aprobación para operar coches sin conductor en las carreteras públicas de Finlandia, su segundo mercado de la UE después de Estonia, comenzando con una prueba invernal en Helsinki. OpenAI está mostrando las probabilidades de la Copa del Mundo de Kalshi dentro de ChatGPT, su primer acuerdo de mercado de predicciones. OpenAI está mostrando las probabilidades de la Copa del Mundo de Kalshi dentro de ChatGPT, su primer acuerdo de mercado de predicciones. ChatGPT ahora muestra las probabilidades del mercado de predicciones de Kalshi para los partidos de la Copa del Mundo 2026, marcando la primera asociación de OpenAI con un intercambio de apuestas regulado.

OpenAI construyó GPT-Red para hackear su propia IA y la ocultó.

OpenAI construyó GPT-Red, un hacker de IA interno que ataca sus propios modelos para fortalecer GPT-5.6 contra la inyección de prompts, y funciona demasiado bien como para ser liberado.