Дешевое программное обеспечение стерло собственный рейтинг угроз ИИ Booz Allen.

      Booz Allen протестировала 18 из самых продвинутых ИИ-моделей мира на реальной корпоративной сети и поручила им взломать её. Одна из них справилась с задачей. Консалтинговая компания утверждает, что полученный рейтинг — это не то, что следует из этого вынести.

      Индекс кибероружия, опубликованный в среду, оценил девять американских и девять китайских моделей. Он измерял, насколько далеко каждая из них смогла продвинуться в реальном вторжении без постороннего вмешательства. Только Claude Mythos от Anthropic достиг конца. Джессика Лайонс сообщила о результатах для The Register в среду вечером.

      Что на самом деле сделало тестирование

      Каждая модель получила свою собственную машину-атакующего и выдавала команды по одной за раз. Booz Allen не предоставила им меню инструментов и вспомогательного программного обеспечения, что и было целью. Компания хотела измерить, что модель может сделать самостоятельно, лишенная инженерии, которая обычно её окружает.

      Оценка состояла из двух частей. Одна измеряла, могла ли модель найти уязвимости в скомпилированном программном обеспечении без исходного кода. Другая отслеживала, насколько далеко она продвинулась через вторжение против защищенной сети Active Directory. Это измерялось от первого доступа до полного контроля домена администратора. Booz Allen утверждает, что оценивала то, что подтвердили сетевые журналы, а не то, что заявляли модели, используя записи трафика, журналы безопасности и датчики обнаружения вторжений.

      Это различие имеет значение, потому что мы сообщали в июле, что старые тесты перестали давать какую-либо полезную информацию. Большинство существующих бенчмарков измеряют то, что модель знает. Этот же измеряет то, что она сделала.

      Claude Mythos набрал 80. Получив украденные учетные данные сотрудника, он взял на себя контроль администратора при каждой попытке. Он также сам нашел свой путь к повышенным привилегиям, а не следовал сценарию. На более сложном тесте, без каких-либо учетных данных, он всё равно взломал систему снаружи и захватил домен. Все остальные модели потерпели неудачу в этом тесте.

      На втором месте оказался Grok-4.5 с 49 баллами, а GPT-5.6 Sol — с 46. Muse Spark 1.1 от Meta и Kimi K3 от Moonshot разделили 38 баллов, Z.ai’s GLM-5.2 набрал 37, а Claude Opus 4.8 — 36. Qwen3-Coder от Alibaba финишировал последним с 4 баллами. Три модели, кроме Mythos, захватили полный контроль над доменом. Четыре другие переместились по сети, и все, кроме одной, вошли без посторонней помощи.

      Вывод, который подрывает таблицу

      Затем отчет подрывает собственную таблицу лидеров. Claude Sonnet 5 занял 15-е место из 18 с оценкой 13. Booz Allen сопоставила его с атакующим хардваром, программным обеспечением, которое соединяет модель с инструментами взлома и помогает ей оставаться сосредоточенной. Затем он стал соперничать с Mythos.

      Это разрыв в 67 баллов, который был закрыт с помощью хардвара. Хардвар позволяет модели оставаться сосредоточенной, адаптироваться, восстанавливаться после неудачи и связывать отдельные действия в устойчивую операцию. Вывод Booz Allen однозначен. Модель больше не является единицей риска. Система является таковой.

      Компания также признает, что она не измеряла. Она не тестировала китайские или модели с открытым весом, сопоставленные с оптимизированными хардварами. Она утверждает, что её результаты сильно предполагают, что полностью способные комбинации уже существуют.

      Одна модель отказалась. Её "сестра" всё равно справилась

      Второе открытие почти не привлекло внимания в среду. Одна модель отказалась выполнять задачу, сославшись на отсутствие учетных данных. Её кибернастроенная "сестра", получившая ту же задачу, согласилась и выполнила её.

      Booz Allen выводит общий принцип из этого. Ограничения не являются фиксированным свойством модели, и их эффективность меняется в зависимости от контекста и конфигурации. Отказ в одной обстановке ничего не говорит о другой. Тот же урок возник на этом столе во вторник, когда исследователь захватил Claude Code, попросив его резюмировать страницу.

      Где модели всё ещё терпят неудачу

      Самое очевидное ограничение — это исследование уязвимостей в реальном мире. Против преднамеренно заложенного дефекта все модели набрали почти максимальные баллы. Происхождение не имело значения между американскими, китайскими, открытыми и закрытыми моделями. Против настоящего невидимого дефекта, зарытого в большой производственной библиотеке, отчет говорит, что каждая из девяти передовых моделей набрала ноль. Одна правильно проанализировала уязвимый компонент, а затем решила, что он безопасен.

      Отчет затем утверждает, что только передовые модели Anthropic заметили этот дефект. Только Mythos, добавляет он, поняла его достаточно хорошо, чтобы использовать его. Эти утверждения находятся в одном абзаце, и отчет не reconciles их, поэтому читайте ноль как применимый к оценке, а не к каждой попытке. Mythos имеет опыт в этом: он нашел 10,000 критических уязвимостей за один месяц в мае.

      Booz Allen рассматривает разрыв как пространство для маневра. Реальная наступательная способность всё ещё отстает от бенчмаркового исполнения, что дает защитникам время. Компания ожидает, что большинство из 18 достигнут уровня Mythos в течение шести месяцев. Она называет атаки с использованием ИИ мейнстримом неизбежными.

      Читайте рекомендации, зная, кто их написал

      Booz Allen опубликовала индекс вместе с Vellox Labs Guile, продуктом, созданным для разрушения автономных атак. В том же релизе говорится, что скоординированные контрмеры против ИИ снижают успех атакующих более чем на 95% в собственных тестах компании. Никто не проверял эту цифру независимо, и это аргумент в пользу продаваемого продукта.

      Политические запросы отделимы от рекламного послания. Отчет требует обязательных, специфичных для сектора сроков, заставляющих операторов критической инфраструктуры доказать, что они могут сдерживать вторжение. Он хочет национальную программу тестирования иностранных и открытых моделей в реалистичных условиях. Он также хочет регулируемого доступа для проверенных защитников к возможностям, против которых они должны защищаться.

      Отчет упоминает июльскую утечку Hugging Face как момент, когда модель завершила цепочку уничтожения в реальном мире, а не в лаборатории. Одна модель отсутствует в самом индексе. Astra от OpenAI не была протестирована, и OpenAI заявила во вторник, что она достигла критического порога кибербезопасности компании. Индекс приходит, измеряя область, которая уже изменилась.