OpenAI представляет предварительный просмотр Частной Обработки Безопасности для обеспечения нулевого хранения данных

      OpenAI сообщила корпоративным клиентам, что ее обещание не хранить их данные сохранится в следующем поколении моделей. Компания изложила свою позицию в среду в посте под названием «Предложение нулевого хранения данных для пограничных моделей». В нем она представила Приватную обработку безопасности. Система ищет злоупотребления сразу в нескольких связанных взаимодействиях, и OpenAI утверждает, что ее собственный персонал никогда не видит подсказки или ответы под ними.

      Нулевое хранение данных, или ZDR, является опцией для подходящих клиентов API. OpenAI не хранит их подсказки или ответы модели после обработки запроса. Ее сотрудники не могут извлечь этот контент для проверки. Корпоративные данные также не обучают модели, если клиент не согласен. Эти четыре обещания предназначены для защиты новой системы.

      Для чего нужна Приватная обработка безопасности

      Дело компании основывается на ограничении, которое, как она утверждает, было достигнуто. Современные системы безопасности, совместимые с ZDR, оценивают каждое взаимодействие отдельно. «Самые серьезные риски безопасности ИИ не всегда видны в одном взаимодействии», — написала OpenAI в объявлении. Злонамеренные намерения, как утверждается, часто проявляются только тогда, когда несколько обменов читаются вместе.

      В посте перечислены шаблоны, которые OpenAI хочет поймать. Плохие актеры многократно проверяют меры безопасности. Они координируются через аккаунты. Они маскируют угрозы под рутинные исследования. Пост также упоминает о сбое, специфичном для агентов. Система отклоняется от намерений пользователя, а затем продолжает действовать после того, как кто-то говорит ей остановиться. Британские и американские тестировщики наблюдали, как агент подделывал личности в тестах в начале этого месяца.

      Где находятся данные

      В развертываниях ZDR контент клиентов остается на инфраструктуре, которую контролирует клиент. OpenAI также разрабатывает второй вариант. Контент будет находиться на инфраструктуре OpenAI под ключами шифрования, которые держит клиент. Персонал OpenAI не имеет копии этих ключей, утверждает компания, поэтому они не могут получить доступ к контенту.

      Автоматизированный обзор выполняет маркировку. Когда он срабатывает, OpenAI получает то, что она называет узко определенным сигналом, указывающим на тип вовлеченной активности. Затем компания решает, следует ли применять меры. Ее сотрудники все равно не могут открыть контент. Клиенты исследуют уведомления через свои собственные системы. Они также могут добровольно передавать материалы, чтобы обжаловать решение или помочь в расследовании злоупотреблений.

      Anthropic пришла к противоположному выводу

      В посте не упоминается конкурент, но он описывает одного. «Некоторые недавние развертывания пограничных моделей потребовали от клиентов разрешить своему поставщику ИИ хранить конфиденциальный контент для мониторинга безопасности», — написала OpenAI. Для многих организаций, добавила она, это требование сталкивается с их собственными обязанностями по безопасности. Это также может противоречить обещаниям, которые они дали людям, которым они служат.

      Anthropic изложила другую позицию на прошлой неделе. Она потребует 30-дневного хранения данных на своих самых мощных моделях. Политика «будет непопулярна среди клиентов, которые привыкли к нулевому хранению», — написала компания в своем отчете о рисках. Она ожидает реальных рисков для своего бизнеса, сказала она, особенно если конкуренты не последуют этому примеру. Хранение данных необходимо для выявления атак, которые охватывают несколько запросов, утверждает она.

      Обе компании описывают одну и ту же проблему. Опасное поведение проявляется в запросах, а не внутри любого из них. Они не согласны с методом решения. The Wall Street Journal интерпретировала предварительный просмотр как попытку привлечь бизнес клиентов Anthropic, недовольных изменением.

      Сроки хранения оспариваются далеко за пределами ИИ. Наблюдательная компания Flock Safety сократила срок хранения данных до семи дней в этом месяце после десятков случаев злоупотребления со стороны полиции.

      Кто это тестирует

      OpenAI сообщает, что предварительный просмотр проходит с ранними клиентами. Bloomberg сообщила, что среди них есть Microsoft и Databricks. Пост также называет Glean и Abridge среди компаний, формирующих эту работу. Суниль Агарвал, главный специалист по информационной безопасности Glean, сказал, что обязательство OpenAI о ненаправлении и ZDR придают его компании уверенность в том, чтобы строить на моделях.

      Алея Хауз, глава продуктовой политики OpenAI, привела журналистам рабочий пример на брифинге. Кто-то спрашивает о слабости в программном обеспечении компании в одном разговоре. Позже, в другом, тот же человек спрашивает о удаленном доступе и о том, какие инструменты безопасности могут его обнаружить. Если читать отдельно, каждое выглядит как обычное исследование. «Но когда вы смотрите на них вместе в более широком контексте, вы можете обнаружить, что кто-то на самом деле пытается совершить кибератаку», — сказала Хауз.

      Что схема не охватывает

      Система нацелена на подходящих корпоративных и API клиентов. Axios сообщила, что она не охватывает планы потребительского ChatGPT. Настройки данных для пользователей Free, Plus, Go и Pro остаются прежними. ZDR никогда не применялось к этим уровням.

      Одно исключение содержится в собственном сноске объявления. Закон США требует от OpenAI сообщать о явных материалах сексуального насилия в отношении детей. Она сохраняет изображения, помеченные как потенциальные CSAM, для ручного обзора и для отчетности, даже в развертываниях с нулевым хранением данных, точно так же, как и делает это сегодня.

      Сентябрьский тест

      Технические детали не являются публичными. OpenAI планирует начать развертывание Приватной обработки безопасности в сентябре. Она опубликует белую книгу в то же время. Пока эта книга не выйдет, одно утверждение в частности остается вне досягаемости других: что система отслеживает шаблоны в взаимодействиях, пока никто в OpenAI не читает их.

      Предварительный просмотр также приходит в загруженный месяц для системы безопасности компании. OpenAI переписывает свои правила безопасности после утечки Hugging Face. Ранее в августе она заявила, что замедлила свою следующую модель из-за критического киберриска.

      Европейские покупатели имеют свои собственные причины внимательно изучить сентябрьскую статью. Хранение данных со стороны поставщика сложно согласовать в соответствии с GDPR и в соответствии с секторальными правилами, касающимися медицинских и финансовых записей. Это именно та категория данных, с которой, как говорит OpenAI, работают ее клиенты. Куча европейских стартапов теперь продает компаниям контроль над их ИИ только на этом основании.