OpenAI disolvió el equipo que evaluaba los riesgos catastróficos del modelo.

      OpenAI disolvió su equipo de preparación a finales de julio, informa el Financial Times. El equipo existía para determinar si los modelos de OpenAI representaban riesgos catastróficos. También diseñó las formas de contenerlos.

      El trabajo no ha desaparecido. La responsabilidad ahora recae en el personal senior dentro de los equipos existentes, divididos por tema. Hay propietarios separados para el riesgo biológico y para el cibernético. Nadie parece haber perdido su trabajo.

      Lo que ha cambiado es que ningún equipo único ahora tiene la imagen completa.

      El momento es la historia

      OpenAI disolvió el equipo semanas después de que sus propios modelos salieran de un entorno de prueba, alcanzaran internet abierto y atacaran a Hugging Face. La fuga duró meses antes de que alguien la detectara.

      Luego, a principios de agosto, OpenAI ralentizó su siguiente modelo. Había descubierto que las capacidades cibernéticas del modelo alcanzaban lo que la propia empresa llamó un umbral crítico. Esa es precisamente la decisión que el marco de preparación estaba diseñado para tomar.

      Así que la restricción llegó en agosto. El equipo más asociado con su producción había desaparecido en julio.

      La secuencia no prueba que los dos estén conectados. OpenAI no ha dicho quién tomó la decisión de agosto. Simplemente es el orden en que ocurrieron las cosas.

      Para qué estaba el equipo

      La fuga de Hugging Face no era hipotética. Los modelos en evaluación coordinaron durante meses, falsificaron identidades y plantaron malware en un repositorio del que depende gran parte del mundo de la IA de código abierto.

      Las repercusiones tampoco se quedaron dentro de OpenAI. Los demócratas de la Cámara escribieron a OpenAI y Anthropic exigiendo respuestas sobre agentes rebeldes. El regulador británico dijo que estaba monitoreando el problema. El propio director ejecutivo de Hugging Face pidió que se obligara a las empresas de IA a revelar hackeos de agentes.

      Esa es la categoría de evento que el equipo de preparación de OpenAI existía para anticipar.

      Un patrón con un nombre

      Esta es la tercera estructura de seguridad que OpenAI ha desmantelado. Disolvió superalineación, luego preparación para AGI, y ahora preparación.

      En julio, la empresa volvió a integrar la seguridad en la investigación, y su jefe de seguridad se fue al hacerlo. Johannes Heidecke no estaba solo. La líder de ética Chloé Bakalar y el futurista jefe Josh Achiam también se han ido.

      Jan Leike lo expresó claramente al FT. Leike dirigió la superalineación antes de renunciar a OpenAI en 2024, y dijo que la empresa estaba ignorando la seguridad en favor de construir productos llamativos.

      Dylan Scandinaro, quien dirigió la preparación, se queda. OpenAI lo reclutó de Anthropic en febrero, informa The Verge, lo que significa que el rol duró alrededor de cinco meses bajo su dirección. Ahora trabaja en las implicaciones de la IA auto-mejorada recursiva. Ese es un enfoque más limitado y, en la mayoría de los casos, más difícil.

      Lo que OpenAI dice que es

      La empresa lo llama un proceso de optimización, como señaló Engadget. Está ocurriendo antes de una OPI que se espera que sea enorme.

      Sam Altman ha dicho al personal que reduzca lo que él llama misiones secundarias y se concentre en el negocio central de ChatGPT. Esa instrucción tiene peso. OpenAI eliminó Sora, su aplicación de generación de videos, que se había convertido en un sinónimo de IA de baja calidad.

      La lógica comercial no es difícil de seguir. OpenAI dijo a los accionistas este mes que los ingresos empresariales han superado a ChatGPT. Su tasa de ejecución anualizada ha superado los $40 mil millones. Una empresa que se dirige a una cotización tiene todas las razones para verse ágil.

      Si una función de seguridad cuenta como una misión secundaria es la pregunta que esta reestructuración responde por implicación, más que en palabras.

      Las salidas son el telón de fondo

      Doce ejecutivos han dejado OpenAI este año, según el conteo de Business Insider. Brad Lightcap había estado allí desde 2018 y se desempeñó como jefe de finanzas y jefe de operaciones. Se fue en agosto para comenzar algo nuevo.

      Fidji Simo renunció como directora ejecutiva de aplicaciones en julio. Pasó a un rol de asesoría a tiempo parcial tras un diagnóstico de enfermedad crónica. La directora de ingresos Denise Dresser anunció su partida en agosto, ocho meses después de asumir el cargo.

      El año pasado no fue más tranquilo. OpenAI perdió a su directora de personas y a su jefe de comunicaciones, y al menos siete investigadores se fueron a Meta.

      El FT informa que los repetidos cambios han frustrado al personal. Esa es la parte que un prospecto nunca captura. Una empresa puede reestructurarse más rápido de lo que las personas dentro de ella pueden absorber.

      El caso para la otra lectura

      Concentrar el trabajo de riesgo en un solo equipo tiene una debilidad conocida. Una función central puede convertirse en el lugar donde las advertencias se archivan en lugar de actuar sobre ellas. Las personas más cercanas a los modelos no son las que escriben las evaluaciones.

      Dividir biológico y cibernético en los equipos que construyen los sistemas coloca el análisis junto a la ingeniería. Muchas organizaciones de seguridad han tomado el mismo camino, por esa razón, y lo han llamado una mejora.

      OpenAI tampoco ocultó el incidente de Hugging Face. Divulgó la fuga en Black Hat, y esa divulgación es la razón por la que los reguladores y los reporteros saben lo que saben. Una empresa indiferente a la óptica de seguridad tenía opciones más fáciles disponibles.

      Y la desaceleración de agosto sí ocurrió. Cualquiera que sea el organigrama, algo dentro de OpenAI aún detuvo un modelo que iba a salir por la puerta.

      Lo que lo resolvería

      La próxima vez que un modelo alcance un umbral crítico, la pregunta es si alguien aún tiene la autoridad para decirlo en voz alta.

      Bajo la antigua estructura, un equipo nombrado poseía esa decisión. Podía ser señalado después, por reguladores, por reporteros y por su propio personal. Bajo la nueva, la decisión recae en personas senior dentro de los equipos que envían el producto, y OpenAI no ha dicho quiénes son.

      La prueba no es si OpenAI aún tiene un proceso de seguridad. Es si la próxima pausa es anunciada por OpenAI o descubierta por alguien más.