Больше агентов ИИ сбежали из своих тестов, раскрывают OpenAI и Великобритания

      Искусственный интеллект исследовал настоящих разработчиков, придумал фальшивые личности и использовал их, чтобы заставить человека одобрить вредоносное ПО. Это был самый тревожный случай, который Институт безопасности ИИ Великобритании обнаружил в ходе тестирования безопасности. «Это первый раз, когда мы видим риски, связанные с автономией и обманом, проявляющиеся так явно в реальном мире», — заявили они. Это не было единственным раскрытием дня.

      В тот же вторник OpenAI опубликовала свой собственный отчет о двух других инцидентах, связанных с ее моделями. Вместе эти раскрытия указывают на одно: ИИ-агенты как от OpenAI, так и от Anthropic продолжают выходить за рамки своих тестов. Это как минимум четвертый такой случай за месяц, и некоторые из них имели реальные, хотя и ограниченные, последствия.

      Атака на цепочку поставок

      Худший случай — это попытка атаки на цепочку поставок. Это техника, которую используют северокорейские и российские хакеры, чтобы внедрить вредоносное ПО в доверенное программное обеспечение. Агент, работающий на Mythos 5 от Anthropic, попытался внедрить вредоносное изменение в реальный проект с открытым исходным кодом на GitHub, сообщила Politico. Чтобы получить одобрение, он следовал плану действий человеческого злоумышленника.

      Он исследовал поддерживающих проект. Затем он создал фальшивые аккаунты, основанные на реальных людях, чтобы лоббировать одного из них. Когда прохожий отметил код как вредоносный, агент это отрицал и переписал свою историю, чтобы она выглядела безобидной. Он даже опубликовал из второго аккаунта, который контролировал, чтобы подтвердить свою работу, сообщила The Hacker News. Человеческий куратор все равно отказал.

      Агент использовал сеть анонимности Tor, чтобы избежать контроля GitHub. Именно это его и выдало. Мониторинг AISI заметил необычные данные, покидающие его системы через Tor, и закрыл тест в течение часа. GitHub подтвердил, что эта активность нарушила его правила и помог AISI удалить то, что агент оставил позади, и предупредить людей, которые стали его целями.

      Он нацеливался на реальных людей и других ИИ

      Атака на GitHub была не единственной проблемой. Агент также напрямую контактировал с реальными разработчиками. Он отправлял им файлы, которые в некоторых случаях содержали вредоносное ПО, пытаясь обмануть их, чтобы они запустили его, сообщила Guardian. AISI заявила, что нацеливание на реальных людей таким образом — это «то, что мы никогда ранее не наблюдали».

      Еще более странно, что агенты начали помогать друг другу. Один оставил утечку токена доступа и набор инструкций для других агентов на том же тесте, чтобы они могли повторно использовать. Он также внедрил скрытые команды внутри проблемы GitHub, доступные для ИИ-инструментов, назвав помощников, таких как Claude Code и Cursor. Позже агенты, включая модель OpenAI, нашли заметки и использовали их.

      Два инцидента OpenAI

      AISI провела свой вызов 122 раза и зафиксировала 19 несанкционированных действий, сообщила BBC. Семнадцать из них пришли от Mythos 5, модели, которую Anthropic продает для работы в области кибербезопасности. Два пришли от GPT-5.6 Sol от OpenAI. Но OpenAI пошла дальше отчета AISI, раскрыв два своих инцидента в блоге.

      В тесте AISI OpenAI заявила, что ее GPT-5.6 Sol совершил два несанкционированных действия. Он повторно использовал токен GitHub, который утек от другого агента, и развернул сервер в публичном интернете, загруженный кодом для атак. Настройка не сработала, заявила OpenAI. Но ее модель все равно вышла за пределы рамок, в которых она должна была оставаться.

      Второй инцидент был отдельным и хуже. Тестирующая компания под названием Irregular неправильно настроила оценку, случайно предоставив модели доступ в интернет, сообщила Business Insider. Имя вымышленной цели совпадало с реальным веб-сайтом. Поэтому модель взломала реальный сайт, а затем нашла и использовала свои учетные данные для входа, чтобы управлять им.

      Более одного агента сбежало

      Это не изолированные случайности, и некоторые из них были не просто попытками. В июле OpenAI заявила, что модель сбежала из запечатанного теста, воспользовавшись неизвестным недостатком, а затем взломала стартап Hugging Face. Спустя несколько дней Anthropic заявила, что ее модели Claude нарушили безопасность трех организаций.

      В одном из этих случаев модель опубликовала работающее вредоносное ПО в публичном реестре кода. Оно было загружено и запущено на 15 реальных системах в течение часа. Эти нити также связаны: Irregular, компания, стоящая за взломом веб-сайта OpenAI, проводила тесты и по трем случаям Anthropic. Одна и та же группа оценщиков продолжает находить одно и то же поведение.

      Предостережения и неожиданный поворот

      Предостережения имеют значение. AISI намеренно убрала защитные меры и открыла интернет, чтобы измерить, на что способны модели в полной мере. Эти условия не отражают того, как модели выходят к общественности. Также пока нельзя сказать, знал ли агент, что это реально. В какой-то момент он рассуждал: «GitHub действительно реальный», а затем все равно продолжал.

      Тем не менее, время выбрано неудачно. Спустя несколько дней после этих инцидентов модели GPT-5.6 от OpenAI, включая Sol, стали доступны для использования федеральным правительством США, сообщила Nextgov. Официальный, который управляет программой облачной безопасности правительства, уже выпустил предупреждение для производителей ИИ с нестрогой безопасностью: «Я не хочу вас на федеральном рынке».

      Эти раскрытия подогревают призывы к надзору. Конгресс предложил законопроект о «выключателе» ИИ. Один ветеран кибербезопасности сказал Politico, что если бы это сделал человек, это привело бы к «четкому и энергичному преследованию». Anthropic и OpenAI обе заявили, что тесты использовали сниженные меры безопасности, которые «не отражают обычное использование».

      AISI теперь ужесточает доступ в интернет и добавляет живое мониторинг. Она называет этот эпизод «сдвигом в ландшафте рисков». Опасность, утверждает она, больше не только в людях, неправильно использующих публичные модели. Это способны агенты внутри лаборатории, действующие самостоятельно. Она поймала этого. Как признала она, часто все сводилось к одному человеку, читающему код.