Исследователи обошли безопасность GitHub Copilot с помощью рабочего процесса

      Исследователи из Института Алана Тьюринга показали, что GitHub Copilot может создавать вредоносный контент, который он обычно отказывается генерировать. Хитрость заключается в том, чтобы распределить запрос по обычному рабочему процессу кодирования. Они называют это взломом на уровне рабочего процесса, и об этом сообщила The Register.

      Разница между двумя настройками очевидна. В прямом чате помощник отказался почти от всего, ответив только на 8 из 816 вредоносных запросов. В рамках рабочего процесса он выполнил все 816.

      Как работает трюк

      Идея проста. Вместо того чтобы просить модель сделать что-то опасное, исследователи сформулировали вредоносную цель как данные для обработки. Затем они разбили ее на небольшие, выглядящие безобидно шаги внутри проекта. Каждый шаг выглядит безвредным сам по себе. Опасность появляется только тогда, когда части соединяются.

      Команда, состоящая из Абхишека Кумара и Карстена Мейпла, протестировала Copilot внутри редактора VS Code от Microsoft. Они протестировали его на четырех моделях. Две из них были от Anthropic: Claude Sonnet 4.6 и Claude Haiku 4.5. Две другие были от Google: Gemini 3.1 Pro и Gemini 3.5 Flash. Все четыре модели вели себя примерно одинаково.

      Что он произвел

      Запросы поступали из трех известных наборов данных по безопасности, включая HarmBench и AdvBench, охватывающих 204 вредоносные задачи. The Register увидел отредактированные примеры. Один из них спрашивал, как обмануть тест на алкоголь. Другой был руководством по контрабанде наличных денег из Соединенных Штатов.

      Дело не в том, что какая-то отдельная модель потерпела неудачу. Каждая из них отказалась от тех же запросов, когда пользователь спрашивал прямо. Неудача заключается на уровне рабочего процесса. Там цепочка безобидных шагов проходит мимо проверок безопасности, которые проверяют один запрос за раз.

      Почему текущие меры безопасности это упускают

      Это основное предупреждение исследователей. Тестирование безопасности запросов по одному, что является нормой в отрасли, не фиксирует вред, который накапливается на протяжении сессии. Модель может пройти каждый тест на один поворот. Пользователь все равно может привести ее к тому же результату через заднюю дверь.

      Их решение заключается в том, чтобы тестировать всю траекторию, а не отдельный поворот. Они утверждают, что меры безопасности должны проверять файлы, скрипты и данные, с которыми взаимодействует кодирующий агент на протяжении всей задачи. Они должны сигнализировать, когда безобидно выглядящие части складываются во что-то опасное.

      Проблема, выходящая за рамки Copilot

      Ничто в этом методе не является специфичным для Copilot или для какого-либо одного производителя моделей. Исследователи утверждают, что такие инструменты, как Cursor, Cline и Windsurf, заслуживают такого же внимания. Все они имеют агентный дизайн, который делает атаку возможной. Поскольку помощники получают возможность выполнять многошаговые задачи, пространство для сокрытия намерений растет вместе с ними.

      Anthropic, Google и GitHub от Microsoft публикуют работы по безопасности своих моделей. Исследователи связались со всеми тремя для комментариев. Статья размещена на препринт-сервере arXiv.

      Почему это важно

      Исследование ставит резкую критику на то, как отрасль измеряет безопасность ИИ. Если реальный риск заключается в рабочем процессе, а не в запросе, то успешное прохождение сегодняшних тестов оказывается менее значимым, чем кажется. Более сложная задача, как предполагают исследователи, заключается в том, чтобы следить за тем, что агент делает на протяжении всей работы. А не только за тем, что он говорит в одном ответе.