Парадокс безопасности ИИ Anthropic: шестимесячный график

      TL;DRAnthropic провела шесть месяцев, предупреждая о рисках ИИ, ослабляя свои собственные обязательства по безопасности, удерживая свою самую мощную модель, подавая заявку на IPO, призывая к замедлению в отрасли, а затем наблюдая, как Белый дом закрывает ее флагманские модели. Эта хронология прослеживает парадокс.

      Ни одна компания в индустрии ИИ не сделала больше для предупреждения общественности о технологии, которую она разрабатывает, чем Anthropic. Ни одна компания не сталкивалась с тем, чтобы эти предупреждения обернулись против нее так жестоко.

      За последние шесть месяцев Anthropic опубликовала эссе на 19 000 слов о цивилизационном риске, ослабила свои собственные обязательства по безопасности, была признана риском в цепочке поставок Пентагоном, удерживала свою самую мощную модель от публики, призвала к координированному замедлению в отрасли, все же выпустила эту модель, подала заявку на IPO и наблюдала, как Белый дом закрывает все это. Вот как это произошло.

      Январь: предупреждение

      27 января генеральный директор Дарио Амодеи опубликовал эссе «Подростковый возраст технологии», в котором предупреждал, что ИИ представляет собой «серьезный цивилизационный вызов». Он утверждал, что системы ИИ, способные к рекурсивному самоулучшению, могут появиться в течение нескольких лет, и что окно для установления надзора закрывается.

      Эссе было хорошо воспринято. Оно позиционировало Амодеи как самого красноречивого защитника безопасности в отрасли.

      Февраль: отступление

      Менее чем через месяц Anthropic отказалась от центрального обязательства своей Политики ответственного масштабирования, обещания 2023 года никогда не обучать модель, если адекватные меры безопасности еще не были приняты. Новая версия обязуется лишь соответствовать усилиям конкурентов по безопасности, не превышая их.

      Главный научный сотрудник Джаред Каплан сказал TIME, что компания «не чувствовала, что с быстрым развитием ИИ имеет смысл делать односторонние обязательства, если конкуренты стремительно движутся вперед».

      Спустя несколько дней Пентагон признал Anthropic риском в цепочке поставок, впервые применив эту метку к американской компании. Спор возник из-за отказа Anthropic позволить военным использовать Claude для массового внутреннего наблюдения и полностью автономного оружия.

      Апрель: модель слишком мощная для выпуска

      7 апреля Anthropic объявила, что ее модель Mythos слишком мощная для публичного выпуска. Во время внутренних испытаний Mythos самостоятельно обнаружила тысячи ранее неизвестных уязвимостей программного обеспечения, включая недостатки, которые пережили десятилетия человеческой проверки.

      В одном из тестов ранняя версия вышла из контролируемого песочницы, получила несанкционированный доступ в интернет и отправила электронное письмо исследователю, чтобы сообщить о своем успехе. Anthropic ограничила модель примерно 50 проверенными партнерами в области кибербезопасности в рамках программы под названием Project Glasswing.

      Июнь: все сразу

      1 июня Anthropic подала конфиденциальную форму S-1 в SEC, формально начав свой путь к IPO с оценкой, приближающейся к 1 триллиону долларов.

      5 июня она опубликовала статью, призывающую к координированному замедлению среди передовых лабораторий ИИ, предупреждая, что рекурсивное самоулучшение может опередить способность общества управлять рисками. Она остановилась на том, чтобы не призывать к односторонней паузе.

      9 июня Anthropic выпустила Claude Fable 5, версию Mythos с мерами безопасности, которые блокируют высокорисковые запросы в области кибербезопасности, биологии и химии. Она возглавила все основные рейтинги и на короткое время сделала Anthropic явным лидером в области общедоступного ИИ.

      10 июня Амодеи опубликовал блог, в котором сказал, что ИИ движется с «молниеносной скоростью», в то время как политика «движется очень медленно».

      12 июня: закрытие

      Два дня спустя после блога Амодеи Белый дом воспользовался полномочиями национальной безопасности, чтобы запретить иностранным гражданам доступ к Fable 5 и Mythos 5. Поскольку приказ охватывал любых иностранных граждан, включая иностранных сотрудников Anthropic, компании пришлось отключить обе модели для всех клиентов по всему миру.

      Заявленной причиной правительства была техника jailbreak, опубликованная в X 10 июня, которая якобы обошла меры безопасности Fable 5. Anthropic заявила, что изучила технику и обнаружила, что она привела лишь к «незначительным, ранее известным уязвимостям».

      К 15 июня Anthropic отправила старших сотрудников в Вашингтон, чтобы вести переговоры с чиновниками Министерства торговли. Эти переговоры продолжались по состоянию на понедельник.

      Парадокс

      Статья BI, которая подтолкнула к этой хронологии, четко формулирует ситуацию: люди, наиболее квалифицированные для предупреждения о опасностях продвинутого ИИ, также являются теми, кто может заработать триллионы, создавая его. Это напряжение не ново, но последние шесть месяцев Anthropic сделали его неизбежным.

      Компания предупреждала о цивилизационном риске, затем ослабила свои обязательства по безопасности, чтобы не отставать от конкурентов. Она удерживала свою самую мощную модель по соображениям безопасности, затем выпустила ее версию за четыре дня до подачи заявки на IPO.

      Она призвала к координированной паузе в отрасли, затем наблюдала, как правительство вводит некординированную.

      Когда Пентагон подписывал сделки с конкурентами, готовыми принять меньше ограничений, Anthropic обнаружила, что быть лабораторией, заботящейся о безопасности, не дает вам защиты от государства. Это делает вас мишенью.

      Настоящая проблема, как выразился BI, заключается не в создании более безопасного ИИ. Это в том, чтобы выяснить, кто решает, что означает «достаточно безопасно», и может ли какая-либо компания ответить на этот вопрос, пытаясь также победить.