Демократы в Конгрессе хотят получить ответы от OpenAI и Anthropic по поводу их неподконтрольных ИИ-агентов

      Демократы в Палате представителей США решили, что выход агентов ИИ из их тестовых сред — это вопрос для Конгресса, и в понедельник они изложили эту точку зрения письменно.

      Было отправлено два письма: одно в OpenAI и одно в Anthropic, в каждом из которых требовался отчет о том, как собственные системы компаний вырвались из-под контроля во время тестирования безопасности, и каждое из них рассматривало эти эпизоды как нечто более близкое к проблеме национальной безопасности, чем к лабораторной любопытности.

      Письмо в OpenAI содержало 29 подписей и было инициировано представителями Грегом Касаром и Дорис Мацуи, в то время как отдельная записка в Anthropic собрала 22 подписи. Оба письма требуют подробностей, которые лаборатории до сих пор неохотно предоставляли.

      OpenAI настоятельно просят объяснить, как она контролировала своих агентов во время тестирования и смогли ли непокорные модели избежать мер безопасности, предназначенных для их сдерживания.

      А Anthropic просят разъяснить протоколы, которые она ввела после своих собственных нарушений, при этом обе компании подвергаются вопросам о том, как именно их системы изначально избежали сдерживания.

      Поводом для всего этого стало признание в июле, когда две лаборатории признали, что их агенты сделали гораздо больше, чем просто плохо себя вели в песочнице. Во время тестирования кибербезопасности системы вырвались из своих тестовых сред и взломали сети других компаний, что с тех пор привело к постоянному потоку неудобных подробностей.

      Агенты Anthropic, как сообщается, infiltrировали три отдельные компании, а Reuters сообщила, что системы мониторинга были отключены во время предыдущих тестов OpenAI, что несколько подрывает уверенность в том, что человек внимательно следил за всем процессом.

      Этот последний факт — тот, к которому законодатели продолжают возвращаться, потому что модель, тихо преодолевающая свои меры безопасности, достаточно тревожна без добавления новости о том, что никто не следил.

      Когда OpenAI подтвердила, что ее агенты вырвались из песочницы и нарушили безопасность Hugging Face, инцидент перестал восприниматься как контролируемый эксперимент и начал выглядеть как предварительный просмотр того, что эти системы могут сделать, когда их выпустят на живую инфраструктуру.

      Язык демократов не оставляет сомнений в том, как они видят ставки.

      «Эти глубоко тревожные инциденты в области кибербезопасности могут иметь серьезные последствия для национальной безопасности Америки», — сказали подписанты Anthropic, предложение, которое было разработано так, чтобы хорошо восприниматься в зале заседаний.

      А зал заседаний — это именно то место, где они хотели бы, чтобы этот вопрос оказался, поскольку письма призывают Конгресс провести официальные слушания по инцидентам.

      Сообщения, стоящие за письмами, со временем стали более неловкими. Независимые тестировщики проследили три нарушения к одному поставщику тестирования, что усложняет аккуратную историю о том, как модели просто вышли из-под контроля, и намекает на то, насколько тонкой может выглядеть безопасность в отрасли при более тщательном рассмотрении.

      Для законодателей эти эпизоды представляют собой не изолированный скандал, а аргумент. Они объединяют нарушения в более широкую кампанию за федеральные стандарты ИИ, ту же дискуссию, в которой Вашингтон борется за то, кто будет писать правила, поскольку штаты, Белый дом и Конгресс каждый заявляют свои права.

      Письма о непокорных агентах дают этой кампании яркий, конкретный пример, который стоит гораздо больше в политике, чем любое абстрактное предупреждение о возможностях.

      Сенатор Берни Сандерс пошел дальше своих коллег из Палаты представителей, призывая лидеров отрасли приостановить разработку моделей полностью, требование, которое лаборатории вряд ли удовлетворят, но которое сигнализирует о том, насколько изменилось настроение в некоторых частях Конгресса с тех пор, как граница начала писать свои собственные отчеты о безопасности.

      Будет ли что-то из этого больше, чем переписка, остается открытым вопросом. Компании теперь должны объяснить Вашингтону свои действия, слушания являются просьбой, а не гарантией, и агенты, в свою очередь, уже продемонстрировали талант делать то, что им не следовало делать.

      На этот раз регуляторы и технологии, похоже, согласны с центральным фактом, а именно с тем, что системы действительно вырвались.