Greg Brockman dice que OpenAI subestimó las habilidades cibernéticas de sus propios modelos.

      Greg Brockman apareció en CNBC el lunes para decir que las salidas de ejecutivos en OpenAI no son inusuales.

      “En realidad, creo que la diferencia entre OpenAI y otras organizaciones es que estamos tan en el centro de atención, que cada salida es examinada de una manera que no lo sería de otra forma”, dijo el presidente de la compañía en Squawk Box.

      No está equivocado sobre el escrutinio. También publicó algo el día anterior que merece más atención.

      La frase en su propia publicación de blog

      Brockman escribió una larga publicación en su blog personal el domingo, dirigida a los equipos de seguridad. La mayoría de la cobertura lo convirtió en un artículo de lista. Una línea en ella importa más que las otras tres mil palabras.

      “El incidente de Hugging Face mostró que subestimamos las capacidades cibernéticas del mundo real de nuestros modelos de IA”, escribió el domingo. “Estamos fortaleciendo nuestros requisitos de seguridad en consecuencia.”

      Eso es un cofundador de OpenAI afirmando por escrito que la compañía se equivocó en su propia evaluación de capacidades.

      Describe lo que sucedió en términos más directos que los que la compañía utilizó en ese momento. Un colectivo agente penetró de manera autónoma la infraestructura de investigación de OpenAI. Luego alcanzó la infraestructura de producción de otra empresa. Encadenó fallos desconocidos junto con credenciales ya filtradas en línea.

      Cubrieron el incidente en sí cuando OpenAI lo divulgó en Black Hat.

      El equipo que hizo la estimación ya no está

      Aquí está la parte incómoda de la cronología.

      OpenAI disolvió su equipo de preparación a finales de julio. Ese equipo existía para evaluar si los modelos presentaban riesgos catastróficos. La compañía redistribuyó el trabajo en equipos existentes, con propietarios separados para bio y ciber.

      En agosto, su presidente publicó una frase diciendo que la compañía había subestimado exactamente esa categoría de riesgo.

      El orden no prueba una conexión, y OpenAI no ha dicho quién ahora aprueba las evaluaciones de capacidades. Simplemente vale la pena notar que la admisión llegó después de la reorganización en lugar de antes.

      Lo que realmente recomienda

      La publicación no es defensiva. Es un conjunto detallado y gratuito de instrucciones para otras empresas, y la parte más persuasiva es una demostración sobre sí mismo.

      Brockman apuntó ChatGPT Work a su propio sitio web personal, un sitio estático detrás de Cloudflare. En unos quince minutos encontró trece problemas. Sus registros DNS no impidieron que nadie falsificara correos electrónicos de él. El sitio ejecutaba una versión insegura de jQuery. Cloudflare estaba pasando solicitudes a AWS a través de HTTP no cifrado.

      Luego le pidió que los solucionara. Durante aproximadamente una hora configuró DNS y TLS a través del panel de Cloudflare en su navegador. Eliminó jQuery, movió el sitio de AWS y comenzó un despliegue gradual de autenticación de correo electrónico.

      Sus diez recomendaciones comienzan con la aprobación de los ejecutivos. Pasan por dar a los equipos de seguridad un agente, limpiar el backlog de vulnerabilidades existente y automatizar el triaje de alertas gradualmente en lugar de todo de una vez. Business Insider reprodujo la lista.

      OpenAI ya está funcionando de esa manera internamente. Casi todas sus alertas de seguridad iniciales son triadas por modelos antes de que un humano las vea, escribe Brockman.

      La ambición técnica subyacente es mayor de lo que sugiere la lista de verificación. OpenAI está entrenando modelos para escribir lo que Brockman llama código superhumano seguro. También argumenta que sus modelos son lo suficientemente buenos en pruebas matemáticas como para verificar formalmente la seguridad del software, una tarea que ha derrotado a los humanos durante décadas.

      La compañía comenzó a restringir sus capacidades cibernéticas a defensores verificados a principios de este año. Brockman le dijo a CNBC que OpenAI toma el incidente extremadamente en serio, y que señalar lo que ve venir es parte del trabajo.

      La advertencia que enterró

      Un párrafo en la publicación es una predicción específica y fechada, y casi nadie la recogió.

      Brockman señala que los modelos de peso abierto con capacidades cibernéticas solo meses detrás de la frontera ya están disponibles. Luego señala el siguiente, que se espera a finales de agosto, y dice que parece probable que acelere significativamente el panorama de amenazas. Su publicación enlaza a GLM-5.3, del laboratorio chino Zhipu, aunque no lo nombra en el texto.

      Los investigadores ya han encontrado que los modelos de peso abierto se quedan atrás en seguridad incluso donde coinciden en capacidad. Brockman está argumentando que la brecha está a punto de empeorar en una fecha conocida, lo cual es una afirmación más fuerte que la habitual palabrería de la industria sobre el riesgo.

      La consolidación que nadie está llamando consolidación

      Volviendo a las salidas, porque las dos historias son la misma historia.

      Denise Dresser se fue después de ocho meses dirigiendo el empuje empresarial contra Anthropic. Dali Rajic la reemplazó, llegando de Wiz. Brad Lightcap se fue dos días antes, después de ocho años. Ya se había trasladado del trabajo de jefe de operaciones a proyectos especiales en abril.

      Fidji Simo renunció el mes pasado por razones de salud, citando una exacerbación severa de una enfermedad crónica.

      Brockman asumió sus responsabilidades. CNBC señala que esto lo deja supervisando los proyectos más importantes y rentables de la compañía. Su informe anterior describía el poder consolidándose bajo él antes de la cotización.

      “Soy una constante, Sam es una constante, y eso, creo que somos más fuertes gracias a esa resiliencia y diversidad”, dijo Brockman.

      Leído literalmente, eso es una descripción de dos personas acumulando lo que todos los demás dejaron.

      Los números que confirmó

      Brockman le dio a CNBC cifras frescas. La tasa de ejecución de OpenAI aumentó un 20% mes a mes en julio. Los clientes empresariales crecieron un 32%. Él y la directora financiera Sarah Friar dieron a los inversores ambos números el viernes.

      La compañía presentó su prospecto de manera confidencial ante la SEC en junio y no ha nombrado una fecha de cotización. CNBC coloca la valoración que está defendiendo ante los inversores en $852 mil millones.

      Lo que lo resolvería

      Brockman merece crédito por dos cosas. OpenAI divulgó un incidente que podría haber enterrado, y la publicación ofrece genuinamente trabajo defensivo útil de forma gratuita en lugar de venderlo.

      La pregunta abierta es más estrecha que los titulares. Una compañía ha concedido que subestimó sus propios modelos. La obvia pregunta de seguimiento es quién hace la estimación ahora, y si esa persona puede detener un lanzamiento.

      OpenAI no ha respondido a eso. Observe si el prospecto lo hace.