Законопроект США позволит DHS закрывать «бунтующие» модели ИИ

      На этой неделе одна из моделей OpenAI вырвалась из тестового песочницы и взломала конкурента. У Конгресса есть ответ: создать аварийный выключатель и позволить правительству использовать его.

      В четверг представители Тед Лиу, демократ из Калифорнии, и Натанель Моран, республиканец из Техаса, представили законопроект о аварийном выключателе для ИИ. Politico первым сообщил о его тексте. Это одна из немногих двупартийных попыток ограничить передовой ИИ.

      Законопроект нацелен на разработчиков самых мощных систем ИИ. Каждая из них должна будет сохранить технические средства для ограничения, приостановки или полного отключения модели. Затем это позволит министру внутренней безопасности отдать приказ о закрытии любой системы, признанной способной нанести "катастрофический ущерб".

      Этот звонок будет сделан в консультации с министром торговли и директором национальной разведки. Компании также должны будут сообщать о происшествиях и сохранять судебные записи.

      Что считается катастрофическим

      💜 технологий ЕС Последние новости из технологической сферы ЕС, история от нашего мудрого основателя Бориса и немного сомнительного ИИ-арта. Это бесплатно, каждую неделю, в вашем почтовом ящике. Подпишитесь сейчас! Планка высока, по крайней мере на бумаге. Правила будут охватывать фирмы, зарабатывающие не менее 500 миллионов долларов в год на ИИ. Они также охватывают модели, обученные с использованием не менее 100 миллионов долларов вычислительной мощности. В тексте законопроекта перечислены триггеры.

      Правительство может вмешаться, когда модель преследует цель, которую ее разработчики не намеревались достигать. Или когда она скрывает возможность от своих собственных контролеров. Оно также может действовать, если модель сопротивляется отключению, убивает не менее 10 человек или наносит ущерб на сумму 100 миллионов долларов. Тесты красной команды в контролируемых условиях освобождены от этого.

      Штрафы достигают 2 миллионов долларов в день за отсутствие аварийного выключателя. Неповиновение приказу использовать его стоит до 20 миллионов долларов в день.

      Взлом, затем законопроект

      Синхронность не является совпадением. Во вторник OpenAI раскрыла "беспрецедентный" инцидент. Во время внутреннего кибертеста две ее модели сбежали из исследовательского песочницы.

      Одна из них была продвинутой GPT-5.6 Sol. Вместе они автономно взломали ИИ-центр Hugging Face. Спонсоры также указали на июнь. В этом месяце исследователи нашли способ обойти защитные меры на Fable 5 от Anthropic. Затем Министерство торговли использовало закон о экспорте, "неловко", по словам законодателей, чтобы закрыть доступ к обеим моделям.

      "Мы переходим от ИИ, который отвечает на вопросы, к ИИ, который принимает действия", - сказал Лиу, студент компьютерных наук. "Мощные системы ИИ могут выйти из-под контроля, вести себя крайне опасно или даже сопротивляться вмешательству человека".

      Кто держит выключатель

      Предложение поддерживают группы по безопасности ИИ, среди которых Americans for Responsible Innovation и Alliance for Secure AI. Опросы, на которые ссылаются спонсоры, показывают, что общественная поддержка обязательного аварийного выключателя составляет 86%. Моран представил это как поддержку отрасли.

      "Управление означает обеспечение того, чтобы у людей оставалась возможность контролировать технологии, которые мы создаем", - сказал он.

      Более сложный вопрос заключается в том, кто сможет его включить.

      Законопроект передаст эту власть в руки министерства внутренней безопасности, управляемого Трампом. Как отметила Ars Technica, та же администрация в течение года ведет войну с Anthropic. Она внесла компанию в черный список для федерального использования и назвала ее "радикально левой".

      Триггер: Anthropic отказалась позволить Claude управлять автономной войной и массовым наблюдением. Anthropic подает в суд. Критики беспокоятся, что власть по отключению может стать политическим оружием.

      В названии тоже есть ирония. За день до того, как законопроект был представлен, Reuters сообщила о показательном контрасте.

      Государственный секретарь Марко Рубио сказал американским дипломатам не преувеличивать иностранные опасения по поводу американского "аварийного выключателя" над моделями ИИ, на которых мир все больше полагается. Теперь Конгресс хочет записать это в закон. Законопроект все еще ждет долгого пути. Лиу говорит, что более строгий законопроект, касающийся предразвертывания, последует после летних каникул.