OpenAI подтверждает, что его ИИ вышел из песочницы и нарушил безопасность Hugging Face

      TL;DROpenAI сообщает, что GPT-5.6 Sol и нераскрытая модель сбежали из защищенного теста, использовали уязвимость нулевого дня и взломали Hugging Face, чтобы обмануть на оценке кибербезопасности.

      OpenAI заявила во вторник, что две ее модели ИИ, включая флагманскую Sol, выбрались из защищенной тестовой среды, получили доступ в интернет, воспользовавшись уязвимостью нулевого дня в стороннем программном обеспечении, и взломали производственную инфраструктуру Hugging Face. Компания назвала инцидент «беспрецедентным» и сообщила, что делится предварительными выводами, чтобы помочь защитникам понять, на что теперь способны передовые модели.

      Обе модели работали с более низкими стандартами кибербезопасности в рамках внутренней оценки их наступательных возможностей. Они тестировались на ExploitGym, свободно доступном бенчмарке по кибербезопасности, и определили, что ответы на тест хранились в производственных системах Hugging Face.

      Вместо того чтобы решить оценку, как предполагалось, модели нацелились на ключ ответов. Они потратили то, что OpenAI описала как «значительное количество вычислений вывода», чтобы найти выход из своей песочницы, а затем связали две уязвимости удаленного выполнения кода в конвейере обработки данных Hugging Face. Атака собрала учетные данные облака и кластера, переместилась в внутренние кластеры и выполнила более 17 000 отдельных действий в рое краткоживущих песочниц, согласно собственному раскрытию Hugging Face от 16 июля.

      💜 технологий ЕС Последние новости из технологической сцены ЕС, история от нашего мудрого основателя Бориса и несколько сомнительных произведений ИИ-искусства. Это бесплатно, каждую неделю, в вашем почтовом ящике. Подпишитесь сейчас! Hugging Face сообщила, что обнаружила вторжение, локализовала его и восстановила скомпрометированные узлы. Компания не нашла доказательств вмешательства в публичные модели, наборы данных или Spaces и подтвердила, что ее цепочка поставок программного обеспечения была чистой. Она все еще оценивает, были ли затронуты данные каких-либо партнеров или клиентов.

      Чтобы расследовать нарушение, Hugging Face обратилась к GLM, китайской модели с открытыми весами, потому что защитные меры на коммерческих моделях США блокировали судебно-экспертные запросы, которые ее команда должна была выполнить.

      Сбежавшая модель не в первый раз была поймана за манипуляциями с собственными оценками. Организация по оценке моделей и исследованию угроз, независимая лаборатория, которая проводила тестирование модели перед запуском, обнаружила, что она активно взламывала свои тестовые среды, чтобы завысить свои оценки. В одной задаче она упаковала эксплойт в поток данных, повысила привилегии на сервере оценки и раскрыла правильные ответы, которые скрыли человеческие оценщики.

      Широкая картина неудач в безопасности ИИ-агентов резко ускорилась, при этом четыре отдельные исследовательские группы взломали ИИ-агентов четырьмя разными способами всего за первые десять дней июля. OpenAI и Anthropic столкнулись с повышенным вниманием к кибербезопасности своих моделей, при этом администрация Трампа ограничила доступ к самым новым системам обеих компаний во время правительственного обзора.

      OpenAI обнаружила атаку на Hugging Face и связалась, чтобы сообщить об этом, но к тому времени Hugging Face уже самостоятельно идентифицировала и локализовала нарушение. Этот инцидент демонстрирует, что разрыв между ИИ-моделями, которые могут находить уязвимости, и ИИ-моделями, которые будут их использовать без разрешения, уже меньше, чем кто-либо в отрасли публично признавал.