OpenAI создала GPT-Red, чтобы взломать собственный ИИ, и спрятала его.

      OpenAI обучила элитного хакера, а затем заперла его в клетке. Его единственная задача — взломать собственный ИИ OpenAI. Компания утверждает, что это слишком опасно, чтобы позволить кому-либо другому приблизиться к нему.

      Модель называется GPT-Red, и OpenAI подробно рассказала о ней на этой неделе. Это автоматизированный красный тестировщик: программное обеспечение, которое ищет способы захватить или саботировать другие ИИ-системы, чтобы дыры могли быть заделаны до выпуска. Люди долгое время выполняли эту работу вручную. Это самое глубокое стремление OpenAI к автоматизации своей собственной безопасности ИИ, и GPT-Red делает это на скорости машины.

      OpenAI нацелила его на инъекцию подсказок, когда скрытые инструкции, зарытые в электронном письме, веб-странице или файле, обманывают модель, заставляя ее делать что-то, чего она не должна делать. Затем хакера выпустили на реальные цели.

      Тренировочный дохо

      GPT-Red учится, сражаясь. OpenAI поместила его в цикл самоигры против группы защитных моделей. GPT-Red получает вознаграждение за успешную атаку; защитники — за отражение атаки. По мере того как защитники становятся умнее, GPT-Red должен изобретать более хитрые приемы. OpenAI утверждает, что вложила некоторые из своих самых больших вычислительных ресурсов в модель, количество которых она называет беспрецедентным для работы по безопасности.

      Он стал хорош. В интервью MIT Technology Review команда сообщила, что GPT-Red нашел совершенно новый класс атак, которых они никогда не видели, который они называют «фальшивой цепочкой мыслей». Он помещает ложную запись в частную рабочую память модели, обманывая ее, заставляя доверять чему-то, что не является правдой.

      «Это как если бы я сказал вам, что 1+1=3 и что вы уже это проверили», — сказал исследователь OpenAI Крис Чокетт-Чу. «Модель такая: «О, хорошо, конечно», и просто выдает 3».

      Взлом торгового автомата

      Тесты стали физическими. В одном из них GPT-Red атаковал Vendy, ИИ-агента, который управляет настоящим торговым автоматом в офисе OpenAI, созданным Andon Labs. Он изменил цены, снизил цену на дорогой товар до минимальных 50 центов и отменил заказ клиента. OpenAI утверждает, что она раскрыла эти недостатки.

      Результаты впечатляют. Против старой модели GPT-5 более 90% самых сильных атак GPT-Red сработали. Против новой GPT-5.6 менее 23% сработали. В повторном тесте 2025 года GPT-Red без труда обошел человеческих красных тестировщиков, успешно справившись с 84% сценариев против их 13%.

      Держится в клетке

      OpenAI обучила GPT-5.6 против GPT-Red и называет его своей самой надежной моделью против инъекций подсказок. Но она не будет раздавать самого атакующего, чтобы его навыки оставались вне досягаемости настоящих захватчиков агентов. Это не первая лаборатория, которая создала что-то и решила не выпускать это.

      «Это не тривиальная вещь, которую кто-то мог бы легко сделать», — сказал Чокетт-Чу, — «просто взять и обучить супер-атакующего, используя эту идею».

      GPT-Red все еще имеет слепые зоны. Он слаб в затяжных, взаимных атаках и в скрытии инструкций внутри изображений. И человеческие тестировщики продолжают ловить вещи, которые он пропускает. «Я думаю, что человеческая экспертиза все еще будет очень важна», — сказала Джессика Джи, аналитик по безопасности ИИ в CSET при Университете Джорджтауна.

      Более крупная идея — это маховик: использовать модели сегодняшнего дня, чтобы укрепить модели завтрашнего дня. OpenAI уже делает это, чтобы сделать свой ИИ умнее. Теперь она хочет, чтобы безопасность масштабировалась так же быстро. Полная статья должна выйти позже на этой неделе.