Грег Брокман говорит, что OpenAI недооценил кибернавыки своих моделей.

      Грег Брокман в понедельник выступил на CNBC и сказал, что уходы руководителей из OpenAI не являются чем-то необычным.

      «На самом деле, я думаю, что разница между OpenAI и другими организациями заключается в том, что мы находимся в центре внимания, поэтому каждый уход рассматривается более пристально, чем в других случаях», - сказал президент компании в программе Squawk Box.

      Он не ошибается насчет пристального внимания. Он также опубликовал что-то накануне, что заслуживает большего внимания.

      Предложение в его собственном блоге

      Брокман написал длинный пост в своем личном блоге в воскресенье, адресованный командам безопасности. Большинство материалов превратили его в список. Одна строка в нем важнее остальных трех тысяч слов.

      «Инцидент с Hugging Face показал, что мы недооценили реальные киберспособности наших ИИ-моделей», - написал он в воскресенье. «Мы усиливаем наши требования к безопасности соответственно».

      Это соучредитель OpenAI, который в письменной форме заявляет, что компания ошиблась в оценке своих собственных возможностей.

      Он описывает произошедшее более откровенно, чем компания использовала в то время. Агентное коллективное существо автономно проникло в исследовательскую инфраструктуру OpenAI. Затем оно достигло производственной инфраструктуры другой компании. Оно связало неизвестные уязвимости с уже утекшими в сеть учетными данными.

      Мы освещали сам инцидент, когда OpenAI раскрыл его на Black Hat.

      Команда, которая занималась оценкой, ушла

      Вот неловкая часть хронологии.

      OpenAI распустила свою команду по подготовке в конце июля. Эта команда существовала для оценки того, представляют ли модели катастрофические риски. Компания перераспределила работу между существующими командами, назначив отдельных владельцев для биобезопасности и кибербезопасности.

      В августе ее президент опубликовал предложение, в котором говорилось, что компания недооценила именно эту категорию риска.

      Этот порядок не доказывает связи, и OpenAI не сообщила, кто теперь подписывает оценки возможностей. Просто стоит отметить, что признание пришло после реорганизации, а не до нее.

      Что он на самом деле рекомендует

      Пост не является защитным. Это подробный, бесплатный набор инструкций для других компаний, и самая убедительная часть - это демонстрация на собственном примере.

      Брокман указал ChatGPT Work на свой собственный личный сайт, статический сайт за Cloudflare. За примерно пятнадцать минут он нашел тринадцать проблем. Его DNS-записи не остановили никого от подделки электронной почты от его имени. Сайт использовал небезопасную версию jQuery. Cloudflare передавал запросы в AWS по незащищенному HTTP.

      Затем он попросил его исправить их. За примерно час он настроил DNS и TLS через панель Cloudflare в своем браузере. Он убрал jQuery, перенес сайт с AWS и начал поэтапное внедрение аутентификации электронной почты.

      Его десять рекомендаций начинаются с поддержки со стороны руководства. Они охватывают предоставление командам безопасности агента, очистку существующего списка уязвимостей и автоматизацию триажа оповещений постепенно, а не сразу. Business Insider воспроизвел список.

      OpenAI уже работает таким образом внутри компании. Почти все ее первоначальные оповещения о безопасности проходят триаж моделями, прежде чем их увидит человек, пишет Брокман.

      Технические амбиции, стоящие за этим, больше, чем предполагает контрольный список. OpenAI обучает модели писать то, что Брокман называет сверхчеловечески безопасным кодом. Он также утверждает, что его модели достаточно хороши в математических доказательствах, чтобы формально проверять безопасность программного обеспечения, задача, которая на протяжении десятилетий не поддавалась людям.

      Компания начала ограничивать свои киберспособности проверенными защитниками в начале этого года. Брокман сказал CNBC, что OpenAI воспринимает инцидент крайне серьезно и что предупреждение о том, что она видит впереди, является частью работы.

      Предупреждение, которое он скрывал

      Один абзац в посте - это конкретное, датированное предсказание, и почти никто не обратил на него внимания.

      Брокман отмечает, что модели с открытыми весами и киберспособностями, отстающие всего на несколько месяцев от передовых технологий, уже существуют. Затем он указывает на следующую, которая должна выйти в конце августа, и говорит, что она, похоже, значительно ускорит угрозы. Его пост ссылается на GLM-5.3 из китайской лаборатории Zhipu, хотя он не называет ее в тексте.

      Исследователи уже обнаружили, что модели с открытыми весами отстают по безопасности, даже если они соответствуют по возможностям. Брокман утверждает, что разрыв собирается ухудшиться в известную дату, что является более сильным утверждением, чем обычные разговоры в отрасли о рисках.

      Консолидация, которую никто не называет консолидацией

      Вернемся к уходам, потому что две истории - это одна и та же история.

      Дениз Дрессер ушла после восьми месяцев работы над корпоративным направлением против Anthropic. Дали Раджич заменил ее, пришедший из Wiz. Брэд Лайткап ушел на два дня раньше, после восьми лет. Он уже в апреле ушел с должности операционного директора на специальные проекты.

      Фиджи Симон ушла в прошлом месяце по состоянию здоровья, сославшись на серьезное обострение хронического заболевания.

      Брокман взял на себя ее обязанности. CNBC отмечает, что это оставляет его с контролем над самыми важными и прибыльными проектами компании. Ранее в своих отчетах она описывала, как власть сосредоточилась под его руководством перед листингом.

      «Я - постоянный, Сэм - постоянный, и я думаю, что мы сильнее благодаря этой устойчивости и разнообразию», - сказал Брокман.

      Если читать буквально, это описание двух людей, накапливающих то, что все остальные положили.

      Цифры, которые он подтвердил

      Брокман действительно предоставил CNBC новые цифры. Темп роста OpenAI увеличился на 20% в месяц в июле. Число бизнес-клиентов возросло на 32%. Он и финансовый директор Сара Фрайр предоставили инвесторам обе цифры в пятницу.

      Компания подала свой проспект в SEC в июне конфиденциально и не назвала дату листинга. CNBC оценивает его защиту для инвесторов в 852 миллиарда долларов.

      Что могло бы разрешить это

      Брокман заслуживает признания за две вещи. OpenAI раскрыла инцидент, который могла бы скрыть, и пост предоставляет действительно полезную защитную работу бесплатно, а не продает ее.

      Открытый вопрос уже более узкий, чем заголовки. Компания признала, что недооценила свои собственные модели. Очевидный вопрос - кто теперь занимается оценкой, и может ли этот человек остановить запуск.

      OpenAI на это не ответила. Посмотрите, ответит ли на это проспект.