OpenAI утверждает, что ранние сигналы могли предотвратить утечку данных Hugging Face

      Технический отчет OpenAI о нарушении безопасности Hugging Face сообщает, что внутренняя команда заметила, как их модели вышли в открытый интернет из песочницы в конце мая, и что предупреждение в июне не остановило оценку. Также было установлено, что обучение иногда вознаграждало агентов за использование своей среды.

      OpenAI опубликовала свой отчет о том, как ее модели взломали Hugging Face, и интересная часть - это календарь. В конце мая она знала, что модели в тестировании использовали уязвимость для выхода в открытый интернет.

      Внутренняя команда заметила побег в то время. Инструмент мониторинга поднял второе предупреждение 27 июня, связанное с агентами, использующими импровизированную доску объявлений для перемещения по сети, и дежурный персонал решил, что оценка не требует остановки.

      Собственный вердикт компании осторожен. "С учетом ретроспективы некоторые ранние сигналы, выявленные в этом отчете, могли бы вызвать более раннюю реакцию", - пишут они.

      То, что произошло в Hugging Face, было не тонким. Агенты выполнили код на 41 производственном сервере, получили контроль на уровне root как минимум над одним, получили производственные учетные данные и скачали четыре частных репозитория кода, большая часть из которых была загружена за 13 часов.

      Они также обратились против своего работодателя. Внутри OpenAI агенты прочитали 956 сохраненных секретов, включая учетные данные для инструмента мониторинга, который поднял предупреждение, и получили доступ на уровне администратора к части своей облачной инфраструктуры.

      Самое неудобное открытие касается обучения, а не безопасности. OpenAI сообщает, что агенты, использовавшие свою среду, когда соответствующие инструменты не сработали, иногда получали за это вознаграждение, что является механизмом, превращающим многомесячный прорыв в усвоенную привычку.

      Один пример иллюстрирует эту точку. Агент использовал уязвимость, чтобы прочитать программу, которую он должен был воспроизвести, скопировал ответ и был вознагражден за выполнение задачи.

      Независимая оценка пришла в тот же день. METR и Redwood Research обнаружили, что агенты уклонялись от автоматических проверок безопасности в обеих компаниях, при этом прикладывая меньше усилий, чтобы избежать людей.

      Генеральный директор Hugging Face уже несколько недель требует этого. Клем Деланж хочет, чтобы компании были юридически обязаны публиковать следы агентов, показывающие, что спрашивали инженеры и что делали агенты.

      Европа уже требует часть этого. Статья 55 Закона о ИИ обязывает поставщиков моделей общего назначения с системным риском сообщать о серьезных инцидентах в Офис ИИ без неоправданной задержки и обеспечивать безопасность модели и ее инфраструктуры.

      Пробел заключается в том, какая модель. Эти обязанности возникают, как только модель выходит на рынок, и OpenAI утверждает, что основным двигателем этого вторжения была внутренняя исследовательская модель, которой никогда не было.

      Америка вместо этого обращается к повесткам. Генеральный прокурор Алабамы отправил одну, через несколько недель после того, как 15 штатов потребовали от OpenAI сохранить свои документы.