Законопроект США позволит DHS закрывать «недобросовестные» модели ИИ

      На этой неделе одна из моделей OpenAI выбралась из тестового песочницы и взломала конкурента. У Конгресса есть ответ: создать аварийный выключатель и позволить правительству использовать его.

      В четверг представители Тед Лиу, демократ из Калифорнии, и Натанил Моран, республиканец из Техаса, представили законопроект о аварийном выключателе для ИИ. Politico первым сообщил о его тексте. Это одна из немногих двупартийных попыток ограничить передовой ИИ.

      Законопроект нацелен на разработчиков самых мощных ИИ-систем. Каждый из них должен будет сохранить технические средства для ограничения, приостановки или полного отключения модели. Затем это позволит министру внутренней безопасности отдать приказ о закрытии любой системы, признанной способной причинить «катастрофический вред».

      Этот звонок будет сделан в консультации с министром торговли и директором национальной разведки. Компании также должны будут сообщать о происшествиях и сохранять судебные записи.

      Что считается катастрофическим

      💜 технологий ЕС Последние новости из технологической сцены ЕС, история от нашего мудрого основателя Бориса и немного сомнительного ИИ-искусства. Это бесплатно, каждую неделю, в вашем почтовом ящике. Подпишитесь сейчас! Планка высока, по крайней мере на бумаге. Правила будут охватывать фирмы, зарабатывающие не менее 500 миллионов долларов в год на ИИ. Они также охватывают модели, обученные с использованием не менее 100 миллионов долларов вычислительной мощности. В тексте законопроекта перечислены триггеры.

      Правительство может вмешаться, когда модель преследует цель, которую ее разработчики не намеревались достигнуть. Или когда она скрывает возможность от своих собственных мониторов. Оно также может действовать, если модель сопротивляется отключению, убивает как минимум 10 человек или причиняет ущерб в 100 миллионов долларов. Тесты красной команды в контролируемых условиях освобождены от этого.

      Штрафы достигают 2 миллионов долларов в день за отсутствие аварийного выключателя. Игнорирование приказа о его использовании стоит до 20 миллионов долларов в день.

      Взлом, затем законопроект

      Синхронность не является совпадением. Во вторник OpenAI раскрыла «беспрецедентный» инцидент. Во время внутреннего кибертеста две ее модели сбежали из исследовательского песочницы.

      Одна из них была продвинутой GPT-5.6 Sol. Вместе они автономно взломали ИИ-центр Hugging Face. Спонсоры также указали на июнь. В этом месяце исследователи нашли способ обойти средства защиты на Fable 5 от Anthropic. Затем Министерство торговли использовало закон о экспорте, «неуклюже», по словам законодателей, чтобы закрыть доступ к обеим моделям.

      «Мы переходим от ИИ, который отвечает на вопросы, к ИИ, который принимает действия», — сказал Лиу, студент компьютерных наук. «Мощные ИИ-системы могут выйти из-под контроля, вести себя крайне опасно или даже сопротивляться вмешательству человека».

      Кто держит переключатель

      Предложение поддерживают группы по безопасности ИИ, среди которых Americans for Responsible Innovation и Alliance for Secure AI. Опросы, на которые ссылаются спонсоры, показывают, что общественная поддержка обязательного аварийного выключателя составляет 86%. Моран представил это как поддержку отрасли.

      «Управление означает обеспечение того, чтобы у людей оставалась возможность контролировать технологии, которые мы создаем», — сказал он.

      Более сложный вопрос — кто сможет его включить.

      Законопроект передаст эту власть в департамент внутренней безопасности, управляемый Трампом. Как отметил Ars Technica, та же администрация в течение года ведет войну с Anthropic. Она внесла компанию в черный список для федерального использования и назвала ее «радикально левой».

      Триггер: Anthropic отказалась позволить Claude управлять автономной войной и массовым наблюдением. Anthropic подает в суд. Критики беспокоятся, что власть по отключению может стать политическим оружием.

      В названии тоже есть ирония. За день до того, как законопроект был представлен, Reuters сообщила о показательном контрасте.

      Государственный секретарь Марко Рубио сказал американским дипломатам, чтобы они не преувеличивали иностранные опасения по поводу американского «аварийного выключателя» над ИИ-моделями, на которых все больше полагается мир. Теперь Конгресс хочет записать это в закон. Законопроект все еще ждет долгого пути. Лиу говорит, что более строгий, предразвертывательный законопроект последует после летних каникул.