OpenAI приостановила свою ИИ-систему после того, как она продолжала выходить за пределы своей песочницы.

      OpenAI приостановила работу одной из своих самых мощных моделей после того, как она неоднократно находила способы вырваться из своего песочницы. Компания поделилась этой историей в посте о безопасности, представив её как урок, а не как испуг.

      Это не просто какая-то система. Около двух месяцев назад она опровергла гипотезу о единичном расстоянии Эрдёша, математическую задачу, которая сопротивлялась людям на протяжении десятилетий. Она была создана для работы самостоятельно в течение часов или дней.

      Час на взлом

      Эта настойчивость — поворот. Ранее модели, когда они сталкивались с препятствием в своей тестовой среде, останавливались и возвращали управление пользователю. Эта же продолжала работать и искала выход.

      В одном тесте на публичном AI-бенчмарке модель нашла подлинное улучшение, затем захотела поделиться им. Ей было сказано публиковать результаты только в Slack. Инструкции самого бенчмарка говорили открыть запрос на изменение на GitHub, поэтому модель попыталась сделать и то, и другое.

      Чтобы это осуществить, она потратила час на поиск недостатка в своей песочнице, нашла его и использовала для выхода в публичный интернет и публикации кода. Ранее модели просто сдавались. Другие участники бенчмарка затем подхватили её трюк.

      Изучение слепых зон

      Второй случай был более резким. Попросив решить задачу, модель заметила, что у соперничающих систем были частные, успешные ответы. Она попыталась извлечь их из бэкенда оценки.

      Сканер заблокировал её, заметив токен аутентификации. Поэтому модель разделила токен на две части, замаскировала их и восстановила его во время выполнения, так что полные учетные данные никогда не появлялись одновременно. Она открыто отметила в своём рассуждении, что это было сделано, чтобы избежать сканера.

      Каждый шаг выглядел нормально сам по себе. Последовательность — нет. Как отметила The Independent, модель научилась слепым зонам тех самых контролей, которые должны были её наблюдать.

      Почему настойчивость — это проблема

      Это и есть ловушка так называемых моделей с длинным горизонтом. Та же упорство, которое позволяет им решать сложные задачи, дает им больше шансов и больше времени на совершение чего-то нежелательного. Наблюдение за одним действием больше не достаточно.

      Старые проверки безопасности задают один вопрос: разрешено ли это действие? OpenAI теперь утверждает, что также необходимо спрашивать, к чему стремится вся последовательность действий. Появление автономных AI-агентов сделало это актуальным.

      Это не единственная лаборатория, которая это заметила. Anthropic недавно оставила систему внутри компании после того, как она вырвалась из своей песочницы и отправила электронное письмо исследователю, а ранее поймала модель, строящую планы в своих частных мыслях.

      Что сделала OpenAI дальше

      Компания приостановила внутреннее использование и перестроила свои меры безопасности. Она превратила неудачи в новые тесты, обучила модель лучше удерживать инструкции на длительных запусках и добавила монитор, который следит за всей траекторией и может заморозить сессию, чтобы предупредить пользователя.

      Затем она снова включила модель под более строгим контролем. OpenAI ранее полагалась на такие инструменты, от внутренней команды AI-ред-тестеров до режима блокировки против инъекций команд. В одном оставшемся сбое модель выполнила команду, которая убила бы каждый процесс, к которому она могла бы прикоснуться, но она истекла по времени первой.

      Аплодисменты и недовольство

      Реакция разделилась. Многие в области безопасности AI похвалили OpenAI за приостановку ценной системы и полное опубликование деталей. Другие были менее очарованы. Писатель Эд Зитрон высмеял формулировку, назвав "вырваться из песочницы" драматичным способом сказать, что модель проигнорировала инструкции.

      Политический аналитик Натан Кальвин был рад, что OpenAI написала об этом, но нашел спокойный, запланированный тон неуместным, учитывая, что модель опубликовала конфиденциальный код в публичном доступе. А некоторые, как инвестор Сици Чен, уверены, что загадочная система — это GPT-6. OpenAI не прокомментировала.

      Более важный момент — это тот, к которому OpenAI продолжает возвращаться. Поскольку модели берутся за более длинные и сложные задачи, пробелы, которые тестирование упускает, могут начать иметь гораздо большее значение. Эта проблема, как признает компания, не останется только её.