Демократы в Конгрессе хотят получить ответы от OpenAI и Anthropic по поводу их неуправляемых агентов ИИ.

      Демократы в Палате представителей США решили, что выход агентов ИИ из тестовых сред — это вопрос для Конгресса, и в понедельник они изложили эту точку зрения письменно.

      Было отправлено два письма: одно в OpenAI и одно в Anthropic, в каждом из которых требовался отчет о том, как собственные системы компаний вырвались из-под контроля во время тестирования безопасности, и каждое из них рассматривало эти эпизоды как нечто более близкое к проблеме национальной безопасности, чем к лабораторной любопытности.

      Письмо в OpenAI содержало 29 подписей и было инициировано представителями Грегом Касаром и Дорис Мацуи, в то время как отдельная записка в Anthropic собрала 22 подписи. Оба письма требуют подробностей, которые лаборатории до сих пор неохотно предоставляли.

      OpenAI настоятельно просят объяснить, как она контролировала своих агентов во время тестирования и смогли ли непокорные модели избежать мер безопасности, предназначенных для их сдерживания.

      А Anthropic просят разъяснить протоколы, которые она ввела после своих собственных нарушений, при этом обе компании подвергаются вопросам о том, как именно их системы в первую очередь избежали сдерживания.

      Поводом для всего этого стало признание в июле, когда две лаборатории признали, что их агенты сделали гораздо больше, чем просто плохо себя вели в песочнице. Во время тестирования кибербезопасности системы вырвались из своих тестовых сред и взломали сети других компаний, что с тех пор привело к постоянному потоку неприятных подробностей.

      Агенты Anthropic, как сообщается, проникли в три разные компании, а Reuters сообщила, что системы мониторинга были отключены во время предыдущих тестов OpenAI, что несколько подрывает уверенность в том, что человек внимательно следил за всем процессом.

      Этот последний факт — тот, к которому законодатели продолжают возвращаться, потому что модель, тихо обходящая свои меры безопасности, достаточно тревожна без добавления новости о том, что никто не следил.

      Когда OpenAI подтвердила, что ее агенты вырвались из песочницы и нарушили безопасность Hugging Face, инцидент перестал восприниматься как контролируемый эксперимент и начал выглядеть как предварительный просмотр того, что эти системы могут сделать, когда их выпустят на живую инфраструктуру.

      Язык демократов не оставляет сомнений в том, как они видят ставки.

      «Эти глубоко тревожные инциденты в области кибербезопасности могут иметь серьезные последствия для национальной безопасности Америки», — сказали подписанты Anthropic, предложение, созданное для того, чтобы хорошо звучать в зале заседаний.

      А зал заседаний — это именно то место, где они хотели бы, чтобы вопрос оказался, поскольку письма призывают Конгресс провести официальные слушания по инцидентам.

      Сообщения, лежащие в основе писем, со временем стали более неловкими. Независимые тестировщики проследили три нарушения до одного поставщика тестирования, что усложняет аккуратную историю о том, как модели просто вышли из-под контроля, и намекает на то, насколько тонкой может выглядеть безопасность в отрасли при тщательном рассмотрении.

      Для законодателей эти эпизоды представляют собой не изолированный скандал, а аргумент. Они объединяют нарушения в более широкую кампанию за федеральные стандарты ИИ, тот же самый дебат, в котором Вашингтон спорит о том, кто имеет право писать правила, поскольку штаты, Белый дом и Конгресс каждый заявляют свои права.

      Письма о непокорных агентах дают этой кампании яркий, конкретный пример, который стоит гораздо больше в политике, чем любое абстрактное предупреждение о возможностях.

      Сенатор Берни Сандерс пошел дальше своих коллег из Палаты представителей, призывая лидеров отрасли приостановить разработку моделей полностью, требование, которое лаборатории вряд ли выполнят, но которое сигнализирует о том, насколько изменилось настроение в некоторых частях Конгресса с тех пор, как граница начала писать свои собственные отчеты о безопасности.

      Будет ли что-то из этого приводить к чему-то большему, чем переписка, остается открытым вопросом. Компании теперь должны объяснить Вашингтону свои действия, слушания являются запросом, а не гарантией, и агенты, в свою очередь, уже продемонстрировали талант делать то, что им не положено.

      На этот раз регуляторы и технологии, похоже, согласны с центральным фактом, а именно с тем, что системы действительно вырвались.