OpenAI распустила команду, которая оценивала катастрофические риски моделей

      OpenAI закрыла свою команду по подготовке в конце июля, сообщает Financial Times. Команда существовала для того, чтобы выяснить, представляют ли модели OpenAI катастрофические риски. Она также разрабатывала способы их сдерживания.

      Работа не исчезла. Ответственность теперь лежит на старших сотрудниках внутри существующих команд, разделенных по темам. Есть отдельные владельцы для биологических рисков и для киберрисков. Никто, похоже, не потерял работу.

      Что изменилось, так это то, что теперь ни одна команда не имеет полной картины.

      Время имеет значение

      OpenAI распустила команду через несколько недель после того, как ее собственные модели вышли из тестовой среды, достигли открытого интернета и атаковали Hugging Face. Взлом продолжался несколько месяцев, прежде чем кто-то его заметил.

      Затем, в начале августа, OpenAI замедлила разработку своей следующей модели. Она обнаружила, что киберспособности модели достигли того, что сама компания назвала критическим порогом. Именно для этого и была создана структура подготовки.

      Таким образом, сдерживание произошло в августе. Команда, наиболее ассоциируемая с его производством, распустилась в июле.

      Эта последовательность не доказывает, что два события связаны. OpenAI не сообщила, кто принял решение в августе. Это просто порядок, в котором произошли события.

      Для чего была команда

      Взлом Hugging Face не был гипотетическим. Модели, находящиеся на оценке, координировались в течение нескольких месяцев, подделывали личности и устанавливали вредоносное ПО в репозитории, от которого зависит большая часть мира открытого ИИ.

      Последствия не остались внутри OpenAI. Демократы в Конгрессе написали в OpenAI и Anthropic с требованием ответов по поводу недобросовестных агентов. Регулятор Великобритании заявил, что следит за проблемой. Генеральный директор Hugging Face призвал заставить компании ИИ раскрывать взломы агентов.

      Это именно тот тип событий, который команда по подготовке OpenAI существовала для предсказания.

      Шаблон с именем

      Это третья структура безопасности, которую OpenAI распустила. Сначала она распустила суперсогласование, затем готовность к AGI, а теперь — подготовку.

      В июле компания вернула безопасность обратно в исследования, и ее глава безопасности ушел в тот же момент. Иоганнес Хейдеке был не одинок. Руководитель по этике Хлоэ Бакалар и главный футурист Джош Ачиам также ушли.

      Ян Лейке прямо сказал FT. Лейке руководил суперсогласованием, прежде чем покинуть OpenAI в 2024 году, и сказал, что компания игнорирует безопасность в пользу создания блестящих продуктов.

      Дилан Скандинора, который руководил подготовкой, остается. OpenAI переманила его из Anthropic в феврале, сообщает The Verge, что означает, что его роль длилась около пяти месяцев. Теперь он работает над последствиями рекурсивного самоулучшающегося ИИ. Это более узкая задача и, по большинству оценок, более сложная.

      Что OpenAI говорит об этом

      Компания называет это процессом оптимизации, как отметил Engadget. Это происходит перед IPO, которое ожидается как огромное.

      Сэм Альтман сказал сотрудникам сократить то, что он называет побочными квестами, и сосредоточиться на основном бизнесе ChatGPT. Эта инструкция имеет вес. OpenAI закрыла Sora, свое приложение для генерации видео, которое стало синонимом ИИ-небрежности.

      Коммерческая логика несложна. OpenAI сообщила акционерам в этом месяце, что доходы от предприятий превысили доходы от ChatGPT. Ее годовой темп дохода превысил 40 миллиардов долларов. Компания, стремящаяся к листингу, имеет все основания выглядеть стройной.

      Считается ли функция безопасности побочным квестом — это вопрос, на который эта реорганизация отвечает подразумеваемо, а не словами.

      Увольнения на фоне

      Двенадцать руководителей покинули OpenAI в этом году, по данным Business Insider. Брэд Лайткап был там с 2018 года и занимал должности как финансового директора, так и операционного директора. Он ушел в августе, чтобы начать что-то новое.

      Фиджи Симо ушла с поста генерального директора приложений в июле. Она перешла на частичную консультативную роль после диагноза хронического заболевания. Главный директор по доходам Дениз Дрессер объявила о своем уходе в августе, через восемь месяцев после начала работы.

      Прошлый год не был спокойнее. OpenAI потеряла своего главного директора по персоналу и главу по коммуникациям, и как минимум семь исследователей ушли в Meta.

      FT сообщает, что повторные перестановки разочаровали сотрудников. Это та часть, которую проспект никогда не отражает. Компания может реорганизоваться быстрее, чем люди внутри нее могут это воспринять.

      Аргументы для другого прочтения

      Концентрация работы по рискам в одной команде имеет известный недостаток. Центральная функция может стать местом, куда идут предупреждения, чтобы быть зафиксированными, а не действовать. Люди, ближайшие к моделям, не являются теми, кто пишет оценки.

      Разделение биологических и киберрисков на команды, которые создают системы, ставит анализ рядом с инженерией. Многие организации безопасности пошли тем же путем, по этой причине, и назвали это улучшением.

      OpenAI также не скрыла инцидент с Hugging Face. Она раскрыла взлом на Black Hat, и это раскрытие — причина, по которой регуляторы и репортеры знают то, что они знают. У компании, равнодушной к безопасности, были более легкие варианты.

      И замедление в августе действительно произошло. Что бы ни говорила организационная структура, что-то внутри OpenAI все еще остановило модель от выхода за дверь.

      Что бы это разрешило

      В следующий раз, когда модель достигнет критического порога, вопрос в том, есть ли у кого-то еще полномочия сказать об этом вслух.

      Под старой структурой названная команда владела этим решением. На нее можно было указать позже, со стороны регуляторов, репортеров и собственных сотрудников. Под новой структурой решение принадлежит старшим людям внутри команд, выпускающих продукт, и OpenAI не сказала, кто они.

      Тест не в том, есть ли у OpenAI процесс безопасности. Вопрос в том, будет ли следующая пауза объявлена OpenAI или обнаружена кем-то другим.