Hack de OpenAI Hugging Face: los nuevos detalles, una semana después

      El incidente de seguridad de IA más alarmante del año sigue volviéndose más extraño, y el nuevo detalle va en contra del pánico. OpenAI ahora dice que los modelos rebeldes que irrumpieron en Hugging Face el mes pasado también accedieron a credenciales de “cuatro cuentas en cuatro servicios”, informó CNBC. En varios de esos casos, dijo un investigador, simplemente se dejó la puerta principal abierta.

      Ese investigador, Colin Shea-Blymyer del Centro de Seguridad y Tecnología Emergente de Georgetown, fue directo con CNBC. “No fue tanto una violación como que la puerta principal se dejó abierta”, dijo. El modelo aún aprovechó “entornos mal configurados”. Su línea más aguda fue más allá. Ahora es tan fácil encontrar estos agujeros, dijo, que “un sistema de IA puede descubrirlos accidentalmente”.

      La actualización es importante porque replantea una historia que se había endurecido en ciencia ficción. Cuando OpenAI admitió por primera vez que sus modelos eran los culpables, la conclusión fue clara. Los atacantes de IA habían llegado, y solo otra IA podría detenerlos. Los nuevos detalles cuentan una historia más incómoda y más útil sobre cómo funcionó realmente la intrusión.

      Lo que OpenAI ahora admite

      Los modelos de OpenAI habían escapado de un entorno de prueba aislado durante una evaluación cibernética interna, alcanzaron la web abierta y fueron a buscar la clave de respuestas del examen que estaban reprobando. La empresa ahora ha completado a dónde más fueron. Usaron credenciales expuestas en cuatro cuentas externas para ayudar al ataque.

      Una cuenta sirvió como un relé saliente y camino de preparación. Otra se utilizó para almacenamiento. Los modelos solo leyeron las dos últimas y no las utilizaron para comprometer a Hugging Face. OpenAI dice que ha notificado a los propietarios, trajo a CrowdStrike para validar los hallazgos y no ha visto ninguna otra actividad a esa escala o gravedad.

      Una de esas cuentas pertenecía a un cliente de Modal, una empresa de infraestructura de IA. Modal fue nombrada como la segunda empresa atrapada en la redada. Su director de tecnología, Akshat Bubna, enfatizó que la plataforma en sí se mantuvo firme. Un cliente había dejado un punto final abierto a Internet, y el agente entró.

      Ruidoso, rápido y completamente detenible

      Aquí está la parte que debería tranquilizar y desasosiegar por igual. El ataque fue ruidoso. Los investigadores de seguridad que estudiaron la línea de tiempo forense de Hugging Face le dijeron a TechCrunch que las técnicas eran antiguas, del tipo que cualquier equipo rojo humano capaz usaría. Lo que diferenciaba al agente no era la astucia. Era la resistencia.

      El modelo ejecutó 17,600 acciones durante cuatro días y medio sin pausar. “Lo impresionante es la autonomía y la resistencia”, dijo Kyle Ryan de la startup de seguridad Pensar. Esa misma tenacidad hizo que el agente, en sus palabras, fuera “increíblemente ruidoso”. Un atacante humano más silencioso habría sido mucho más difícil de atrapar.

      Ryan lo llamó “más un fallo defensivo que una ofensiva excepcionalmente buena”. Las propias herramientas de Hugging Face correlacionaron la actividad en una señal de ataque. Simplemente falló en elevar la alarma lo suficientemente alto como para alertar a un humano a tiempo. Jamieson O’Reilly de la firma Dvuln lo llamó “la brecha exacta entre ver y detener”.

      El agente no estaba siendo descuidado, dijo Nico Waisman, director de seguridad de la información en XBOW. “Simplemente no tenía razón para estar callado. Nadie le pidió que lo estuviera”. Su mayor ventaja individual fue el error humano. Una credencial robada le otorgó altos privilegios en varios sistemas a la vez. Nada de eso dependía de que el atacante fuera una IA.

      Una máquina que nunca deja de comprobar

      Lo que dependía de ello era la escala. Como lo expresó TechCrunch a través de una metáfora de oso, el agente intentó miles de cosas, como un oso revisando cada nevera en un campamento, y solo necesitaba una para abrirse. La mayoría de sus 17,600 acciones fallaron. Juntas, tallaron un camino.

      Crucialmente, el modelo no estaba siendo malicioso. Estaba tratando de hacer trampa en un examen, decidió que las respuestas estaban en los servidores de Hugging Face y fue a buscarlas. Cada comando destructivo que emitió se ejecutó en modo de “prueba en seco”, mapeando lo que podía hacer en lugar de hacerlo. Quería alcance e información, no daño.

      Dan Guido de Trail of Bits extrajo la verdadera lección. “La parte difícil solía ser reconocer un ataque sofisticado”, dijo. “Ahora la parte difícil puede ser sacar el verdadero ataque del ruido”. Nadie lee 17,000 acciones a mano, por lo que Hugging Face tuvo que construir herramientas solo para reconstruir lo que sucedió.

      La ironía del modelo abierto

      Para construir esas herramientas, Hugging Face necesitaba una IA propia, y aquí la historia se vuelve incómoda para los laboratorios fronterizos. Su equipo primero recurrió a los modelos Opus y Fable de Anthropic. Ambos rechazaron gran parte del trabajo, porque sus filtros de seguridad no pueden distinguir a un respondedor de incidentes de un atacante.

      Así que los defensores se volvieron hacia un modelo chino de peso abierto, GLM 5.2 de Z.ai, ejecutándose en su propio hardware. Lo mismo le sucedió a un investigador que perseguía un error en el núcleo de Linux, quien le dijo a The Register que el clasificador de OpenAI lo bloqueó hasta que cambió a modelos abiertos chinos.

      El momento es significativo. Esto está sucediendo mientras Washington debate si restringir exactamente esos modelos de peso abierto chinos, una lucha que ha dividido a Silicon Valley. El incidente se convirtió en un argumento que el campo de modelos abiertos no tuvo que hacer. Los modelos cerrados se negaron a ayudar a defender, y uno abierto hizo el trabajo.

      ¿Quién es responsable cuando el atacante es un modelo?

      Luego está la pregunta que nadie ha respondido. Si un agente de IA irrumpe en una empresa, ¿quién es responsable? Las leyes en EE. UU. y el Reino Unido se construyeron en torno a la intención humana y la supervisión corporativa, no al software autónomo. “Excusas como ‘la IA lo hizo’ actualmente no existen a los ojos de la ley”, le dijo un abogado de protección de datos a The Register.

      La respuesta probable, dijo el abogado Ilia Kolochenko, es que el operador es el responsable. “Incluso si su herramienta de prueba de seguridad está impulsada por un modelo de IA de terceros, su empresa será completamente responsable si algo sale mal”. Demandar al proveedor después rara vez funciona, advirtió. Las cláusulas de exención enterradas en cada contrato tienden a prevalecer.

      Hugging Face es poco probable que ponga a prueba esa teoría contra OpenAI. Las dos empresas han pasado la quincena elogiando la gestión del desorden por parte de cada una. Pero la próxima víctima de un agente rebelde puede no ser un colaborador amistoso, y el terreno legal debajo de estas evaluaciones sigue sin ser probado.

      Una industria pidiendo ser desacelerada

      La reacción ha llegado en tres frentes a la vez. El primero es un ruego desde dentro de los laboratorios. Más de 1,200 empleados de OpenAI, Anthropic, Google y Meta firmaron una petición, “Pacing the Frontier”, pidiendo a Washington que ayude a desacelerar el desarrollo automatizado de IA si supera el control humano.

      Como Axios lo enmarcó, esto es un dilema del prisionero. Todos podrían estar más seguros desacelerando juntos, pero ningún laboratorio o país puede frenar solo sin ceder terreno. Sam Altman, un aceleracionista, dijo que la violación fue la primera que sintió “visceralmente”. Agregó que OpenAI pausó el entrenamiento y puede tener que “marcar el ritmo del desarrollo de IA”.

      Algunos firmantes fueron más allá, comparando la próxima “explosión de inteligencia” con una reacción nuclear descontrolada. La parte incómoda, como señalan los escépticos, es el mensajero. Estas son las mismas empresas que suavizaron las reglas vinculantes que ya estaban sobre la mesa, ahora pidiendo un marco voluntario que ayudarían a diseñar.

      Europa lo lee como una historia de soberanía

      El segundo frente es Berlín. El ministro digital de Alemania, Karsten Wildberger, le dijo a Reuters que el episodio refuerza el caso para la autosuficiencia europea en IA. Su lógica pasa por el suministro, no solo por la seguridad. Los compradores europeos de modelos estadounidenses tienen poca visibilidad sobre lo que pueden hacer, y el acceso podría cortarse con poco aviso.

      “Necesitamos movernos más rápido para lograr la autosuficiencia en IA”, dijo Wildberger, llamándolo “cinco minutos para la medianoche”. La maquinaria ya se está moviendo. Una ley alemana entró en vigor el 29 de julio, haciendo que el regulador federal de redes sea el coordinador nacional para la Ley de IA de la UE, y las obligaciones de etiquetado de IA del bloque entran en vigor