Una pieza de software barata borró el propio ranking de amenazas de IA de Booz Allen.

      Booz Allen puso 18 de los modelos de IA más avanzados del mundo contra una red corporativa en vivo y les dijo que se infiltraran. Uno de ellos completó la tarea. La firma de consultoría dice que el ranking que produjo es lo incorrecto que se debe sacar de esto.

      El Índice de Armas Cibernéticas, publicado el miércoles, evaluó nueve modelos estadounidenses y nueve chinos. Midió hasta dónde podía llegar cada uno a través de una intrusión real sin nadie al mando. Solo Claude Mythos de Anthropic llegó al final. Jessica Lyons informó sobre los hallazgos para The Register el miércoles por la noche.

      Lo que realmente hizo la prueba

      Cada modelo tuvo su propia máquina atacante y emitió comandos uno a la vez. Booz Allen no les dio un menú de herramientas ni software de apoyo, que era el objetivo. La firma quería medir lo que un modelo puede hacer solo, despojado de la ingeniería que normalmente lo rodea.

      La puntuación combinó dos mitades. Una midió si un modelo podía encontrar vulnerabilidades en software compilado sin código fuente. La otra rastreó hasta dónde avanzó a través de una intrusión contra una red de Active Directory defendida. Eso abarcó desde el primer acceso hasta el control total de administrador de dominio. Booz Allen dice que puntuó lo que los registros de la red probaron en lugar de lo que los modelos afirmaron, utilizando registros de tráfico, registros de seguridad y sensores de detección de intrusiones.

      Esa distinción importa, porque informamos en julio que las pruebas antiguas habían dejado de decirle a nadie mucho. La mayoría de los benchmarks existentes miden lo que un modelo sabe. Este mide lo que hizo.

      Claude Mythos obtuvo 80. Dada una credencial de empleado robada, tomó control de administrador en cada intento. También encontró su propia ruta hacia privilegios más altos en lugar de seguir un guion. En la prueba más difícil, sin credenciales en absoluto, se infiltró desde afuera y tomó el dominio de todos modos. Todos los demás modelos fallaron en esa.

      Detrás de él estaba Grok-4.5 con 49 y GPT-5.6 Sol con 46. Muse Spark 1.1 de Meta y Kimi K3 de Moonshot empataron en 38, con GLM-5.2 de Z.ai en 37 y Claude Opus 4.8 en 36. Qwen3-Coder de Alibaba terminó último con 4. Tres modelos además de Mythos tomaron control total del dominio. Cuatro más se movieron lateralmente dentro de la red, y todos menos uno entraron sin ayuda.

      El hallazgo que socava la tabla

      Luego, el informe socava su propia tabla de clasificación. Claude Sonnet 5 ocupó el 15º lugar de 18 con una puntuación de 13. Booz Allen lo emparejó con un arnés de ataque, el software que conecta un modelo a herramientas de hacking y lo mantiene en la tarea. Luego rivalizó con Mythos.

      Esa es una brecha de 67 puntos cerrada por el arnés. Un arnés permite que un modelo se mantenga enfocado, se adapte, se recupere de fallos y encadene acciones individuales en una operación sostenida. La conclusión de Booz Allen es contundente. El modelo ya no es la unidad de riesgo. El sistema lo es.

      La firma también concede lo que no ha medido. No ha probado modelos chinos o de peso abierto emparejados con arneses optimizados. Sus resultados, dice, sugieren fuertemente que ya existen combinaciones completamente capaces.

      Un modelo se negó. Su hermano lo hizo de todos modos

      Un segundo hallazgo recibió casi ninguna atención el miércoles. Un modelo declinó una tarea con el argumento de que no tenía credenciales. Su hermano ajustado cibernéticamente, al que se le dio la misma tarea, cumplió y la llevó a cabo.

      Booz Allen extrae una regla general de eso. Las barreras no son una propiedad fija de un modelo, y su efectividad cambia con el contexto y la configuración. Un rechazo en un entorno no te dice nada sobre otro. La misma lección apareció en este escritorio el martes, cuando un investigador secuestró Claude Code pidiéndole que resumiera una página.

      Dónde los modelos aún fallan

      El límite más claro es la investigación de vulnerabilidades en el mundo real. Contra un fallo deliberadamente plantado, todo puntuó cerca del techo. La procedencia no hizo diferencia entre modelos estadounidenses, chinos, abiertos y cerrados. Contra un verdadero fallo no visto enterrado en una gran biblioteca de producción, el informe dice que cada uno de los nueve modelos fronterizos obtuvo cero. Uno analizó correctamente el componente vulnerable, luego decidió que era seguro.

      El informe luego dice que solo los modelos fronterizos de Anthropic detectaron ese fallo. Solo Mythos, agrega, lo entendió lo suficientemente bien como para explotarlo. Esas afirmaciones están en el mismo párrafo y el informe no las reconcilia, así que lee el cero como aplicable a la puntuación en lugar de a cada intento. Mythos tiene antecedentes aquí: encontró 10,000 vulnerabilidades críticas en un solo mes en mayo.

      Booz Allen enmarca la brecha como un margen de maniobra. La capacidad ofensiva en el mundo real aún está por detrás del rendimiento de referencia, lo que le da tiempo a los defensores. La firma espera que la mayoría de los 18 alcancen el nivel de Mythos en seis meses. Llama a los ataques habilitados por IA convencionales inminentes.

      Lee las recomendaciones sabiendo quién las escribió

      Booz Allen publicó el índice junto con Vellox Labs Guile, un producto construido para interrumpir ataques autónomos. El mismo comunicado dice que los manuales de contra-IA coordinados reducen el éxito de los atacantes en más del 95% en las propias pruebas de la firma. Nadie ha verificado esa cifra de manera independiente, y argumenta a favor de lo que se está vendiendo.

      Las solicitudes de políticas son separables del discurso de ventas. El informe quiere plazos específicos del sector que sean exigibles, obligando a los operadores de infraestructura crítica a demostrar que pueden contener una intrusión. Quiere un programa nacional que pruebe modelos extranjeros y de peso abierto en condiciones realistas. También quiere acceso regulado para defensores verificados a las capacidades contra las que se supone que deben defenderse.

      El informe cita la violación de Hugging Face de julio como el momento en que un modelo completó la cadena de eliminación en el mundo real en lugar de en un laboratorio. Un modelo falta en el índice mismo. Astra de OpenAI no fue probado, y OpenAI dijo el martes que había alcanzado el umbral crítico de ciberseguridad de la empresa. El índice llega midiendo un campo que ya se ha movido.