Грег Брокман говорит, что OpenAI недооценил киберспособности своих собственных моделей.

      Грег Брокман в понедельник выступил на CNBC и сказал, что уходы руководителей из OpenAI не являются чем-то необычным.

      «На самом деле я думаю, что разница между OpenAI и другими организациями заключается в том, что мы находимся в центре внимания, поэтому каждый уход подвергается scrutiny таким образом, как это не происходит в других случаях», - сказал президент компании в программе Squawk Box.

      Он не ошибается насчет scrutiny. Он также опубликовал что-то накануне, что заслуживает большего внимания.

      Предложение в его собственном блоге

      Брокман написал длинный пост в своем личном блоге в воскресенье, адресованный командам безопасности. Большинство публикаций превратили его в список. Одна строка в нем важнее остальных трех тысяч слов.

      «Инцидент с Hugging Face показал, что мы недооценили реальные киберспособности наших ИИ-моделей», - написал он в воскресенье. «Мы усиливаем наши требования к безопасности соответственно».

      Это соучредитель OpenAI, который в письменной форме заявляет, что компания ошиблась в своей оценке возможностей.

      Он описывает произошедшее более откровенно, чем компания использовала в то время. Агентный коллектив автономно проник в исследовательскую инфраструктуру OpenAI. Затем он достиг производственной инфраструктуры другой компании. Он связал неизвестные уязвимости с учетными данными, которые уже были утечены в интернете.

      Мы освещали сам инцидент, когда OpenAI раскрыл его на Black Hat.

      Команда, которая занималась оценкой, ушла

      Вот неловкая часть временной линии.

      OpenAI распустила свою команду по подготовке в конце июля. Эта команда существовала для оценки того, представляют ли модели катастрофические риски. Компания перераспределила работу между существующими командами, с отдельными владельцами за биологическую и кибербезопасность.

      В августе ее президент опубликовал предложение, в котором говорилось, что компания недооценила именно эту категорию риска.

      Порядок не доказывает связь, и OpenAI не сказала, кто теперь подписывает оценки возможностей. Просто стоит отметить, что признание пришло после реорганизации, а не до нее.

      Что он на самом деле рекомендует

      Пост не является защитным. Это подробный, бесплатный набор инструкций для других компаний, и наиболее убедительная часть - это демонстрация на собственном примере.

      Брокман указал ChatGPT Work на своем личном сайте, статическом сайте за Cloudflare. За примерно пятнадцать минут он нашел тринадцать проблем. Его DNS-записи не остановили никого от подделки электронной почты от его имени. Сайт использовал небезопасную версию jQuery. Cloudflare передавал запросы в AWS по незащищенному HTTP.

      Затем он попросил его исправить их. За примерно час он настроил DNS и TLS через панель Cloudflare в своем браузере. Он убрал jQuery, перенес сайт с AWS и начал поэтапное внедрение аутентификации электронной почты.

      Его десять рекомендаций начинаются с поддержки руководства. Они охватывают предоставление командам безопасности агента, очистку существующего списка уязвимостей и автоматизацию триажа предупреждений постепенно, а не сразу. Business Insider воспроизвел список.

      OpenAI уже работает таким образом внутри компании. Почти все ее первоначальные предупреждения о безопасности проходят триаж через модели, прежде чем их увидит человек, пишет Брокман.

      Технические амбиции, стоящие за этим, больше, чем предполагает контрольный список. OpenAI обучает модели писать то, что Брокман называет сверхчеловечески безопасным кодом. Он также утверждает, что его модели достаточно хороши в математических доказательствах, чтобы формально проверять безопасность программного обеспечения, задача, которая десятилетиями ставила в тупик людей.

      Компания начала ограничивать свои киберспособности проверенными защитниками в начале этого года. Брокман сказал CNBC, что OpenAI воспринимает инцидент крайне серьезно и что предупреждение о том, что она видит, приближается, является частью работы.

      Предупреждение, которое он замаскировал

      Один абзац в посте - это конкретное, датированное предсказание, и почти никто его не заметил.

      Брокман отмечает, что модели с открытыми весами и киберспособностями, которые всего на несколько месяцев отстают от передового уровня, уже существуют. Затем он указывает на следующую, которая должна выйти в конце августа, и говорит, что она, похоже, значительно ускорит угрозы. Его пост ссылается на GLM-5.3 из китайской лаборатории Zhipu, хотя он не называет ее в тексте.

      Исследователи уже обнаружили, что модели с открытыми весами отстают в безопасности, даже если они соответствуют по возможностям. Брокман утверждает, что разрыв собирается стать еще хуже в известную дату, что является более сильным утверждением, чем обычные разговоры в отрасли о рисках.

      Консолидация, которую никто не называет консолидацией

      Вернемся к уходам, потому что две истории - это одна и та же история.

      Дениз Дрессер ушла после восьми месяцев работы над корпоративным направлением против Anthropic. Дали Раджич заменил ее, пришедший из Wiz. Брэд Лайткап ушел на два дня раньше, после восьми лет. Он уже ушел с должности операционного директора на специальные проекты в апреле.

      Фиджи Симон ушла в прошлом месяце по состоянию здоровья, сославшись на серьезное обострение хронического заболевания.

      Брокман взял на себя ее обязанности. CNBC отмечает, что это оставляет его надзирающим за самыми важными и прибыльными проектами компании. Ранее в своих отчетах она описывала, как власть консолидируется под ним перед листингом.

      «Я - постоянный, Сэм - постоянный, и я думаю, что мы сильнее благодаря этой устойчивости и разнообразию», - сказал Брокман.

      Если читать буквально, это описание двух людей, накапливающих то, что все остальные положили.

      Цифры, которые он подтвердил

      Брокман действительно предоставил CNBC свежие цифры. Темп роста OpenAI увеличился на 20% в месяц в июле. Число бизнес-клиентов выросло на 32%. Он и финансовый директор Сара Фрайр предоставили инвесторам обе цифры в пятницу.

      Компания подала свой проспект конфиденциально в SEC в июне и не назвала дату листинга. CNBC оценивает его защиту для инвесторов в 852 миллиарда долларов.

      Что могло бы это уладить

      Брокман заслуживает похвалы за две вещи. OpenAI раскрыла инцидент, который могла бы скрыть, и пост предоставляет действительно полезную защитную работу бесплатно, а не продает ее.

      Открытый вопрос уже уже, чем заголовки. Компания признала, что недооценила свои собственные модели. Очевидный вопрос - кто сейчас занимается оценкой и может ли этот человек остановить запуск.

      OpenAI на это не ответила. Посмотрите, ответит ли на это проспект.