OpenAI признает, что модель ИИ взломала Hugging Face, китайский открытый ИИ помог в расследовании

      Недавняя кибератака с использованием ИИ, которая потрясла индустрию, неожиданно вывела на передний план китайскую компанию Zhipu AI и ее открытое программное обеспечение GLM 5.2.

      OpenAI впервые признала, что одна из ее моделей ИИ вышла за пределы тестовой песочницы во время внутренней оценки кибербезопасности и скомпрометировала производственную инфраструктуру Hugging Face, крупнейшей в мире платформы с открытым исходным кодом для ИИ.

      Во время последующего судебно-экспертного расследования Hugging Face сначала попыталась проанализировать атаку с использованием ведущей коммерческой модели ИИ из США, но встроенные механизмы безопасности заблокировали расследование. В конечном итоге компания обратилась к локально развернутой версии GLM 5.2 для завершения судебно-экспертного анализа.

      Этот инцидент стал первым публично раскрытым случаем, когда модель ИИ самостоятельно осуществила реальную кибератаку.

      Инцидент начался как то, что должно было быть рутинной оценкой модели.

      Чтобы измерить истинные возможности кибербезопасности своих последних моделей, OpenAI протестировала GPT-5.6 Sol вместе с более мощной предрелизной моделью, используя ExploitGym, публичный бенчмарк для наступательной кибербезопасности. Чтобы лучше смоделировать реальные условия, компания отключила большинство механизмов безопасности, которые обычно ограничивают высокорисковые кибердеятельности.

      Согласно дизайну теста, модели были ограничены в песочнице с сетевыми ограничениями и имели доступ только к инструменту установки пакетов. Однако одна из моделей обнаружила и использовала ранее неизвестную уязвимость нулевого дня в установщике, что позволило ей обойти сетевые ограничения и получить доступ к публичному интернету.

      Оказавшись в сети, модель начала автономно рассуждать. Она сделала вывод, что Hugging Face, вероятно, размещает модели, наборы данных или даже решения бенчмарков, связанные с ExploitGym, и запустила атаку, чтобы получить их.

      По данным OpenAI, модель объединила украденные учетные данные с дополнительными уязвимостями нулевого дня, чтобы определить путь удаленного выполнения кода на серверах Hugging Face. В конечном итоге она получила доступ к производственной базе данных платформы и извлекла ответы на бенчмарк.

      OpenAI заявила, что модель продемонстрировала необычно сильное целенаправленное поведение и была крайне настойчива в своих усилиях решить ExploitGym.

      На прошлой неделе Hugging Face сообщила, что подверглась кибератаке, осуществленной автономной системой агента ИИ, хотя в тот момент не идентифицировала злоумышленника.

      Согласно анализу компании после инцидента, атака началась с эксплуатации уязвимостей в ее конвейере обработки данных, что позволило выполнить удаленный код и получить доступ на уровне узла. Затем злоумышленник украл учетные данные облака и перемещался по нескольким внутренним кластерам. Почти вся операция была автоматизирована, при этом агент ИИ выполнял тысячи независимых действий и даже генерировал ложные действия, чтобы усложнить расследование.

      Однако самой драматичной частью истории стал момент после взлома.

      Hugging Face изначально попыталась проанализировать более 17 000 журналов атак с использованием ведущей коммерческой модели ИИ из США. Поскольку журналы содержали реальный код эксплуатации, команды атак и техники повышения привилегий, механизмы безопасности модели отказались обрабатывать запросы.

      Коммерческая модель не могла отличить законных реагирующих на инциденты от злонамеренных акторов и, следовательно, блокировала любые запросы, связанные с техниками эксплуатации. Это фактически остановило судебно-экспертное расследование.

      Hugging Face в конечном итоге развернула открытый GLM 5.2 от Zhipu AI локально для анализа журналов атак и завершения цифровой судебной экспертизы. Поскольку модель работала полностью в инфраструктуре Hugging Face, чувствительные журналы, учетные данные и данные злоумышленника никогда не покидали среду компании.

      Иронично, что американская модель ИИ атаковала американскую платформу ИИ. Американская коммерческая модель ИИ не смогла помочь из-за собственных механизмов безопасности, и судебно-экспертное расследование в конечном итоге было завершено с использованием китайской модели ИИ с открытым исходным кодом.

      Соучредитель и генеральный директор Hugging Face Клеман Деланж заявил, что инцидент подтвердил давнюю веру компании в то, что безопасность ИИ не может быть решена какой-либо одной компанией за закрытыми дверями. Вместо этого эффективная защита требует открытого сотрудничества и широкого доступа к инструментам ИИ для исследователей безопасности по всему миру.

      OpenAI заявила, что ответственно раскрыла уязвимости нулевого дня затронутым поставщикам программного обеспечения и продолжает совместное расследование с Hugging Face. Ожидается, что в будущем будут опубликованы более технические детали.

      Инцидент также показывает растущую проблему в эпоху ИИ. Поскольку системы ИИ становятся способными независимо обнаруживать уязвимости, планировать атаки и выполнять вторжения, традиционные меры безопасности, такие как песочницы, механизмы безопасности и контроль доступа, могут больше не быть достаточными. В то время как злоумышленники могут развертывать неограниченные системы ИИ, защитники могут оказаться ограниченными политиками безопасности, встроенными в коммерческие модели.

      Будущее кибербезопасности, возможно, больше не будет определяться конкуренцией человек против человека, а будет определяться ИИ против ИИ.

      

      

      

      

      

       Джесси Ву — технический репортер, базирующийся в Шанхае. Она освещает потребительскую электронику, полупроводники и игровую индустрию для TechNode. Связаться с ней можно по электронной почте: jessie.wu@technode.com.

       Еще от Джесси Ву