Мифология Anthropic обнаружила недостатки в классифицированных системах США во время правительственного теста.

      Одна из моделей ИИ компании Anthropic выявила уязвимости в высокочувствительных, засекреченных компьютерных системах правительства США во время испытательного упражнения, сообщил Associated Press один из чиновников США.

      Модель, о которой идет речь, - Mythos, самая мощная система Anthropic, и она обнаружила недостатки всего за несколько часов. Критически важно, что обнаружение слабости за несколько часов не то же самое, что и ее использование за это же время, и чиновник не сказал, что модель сделала последнее.

      Формулировка имеет значение, потому что более драматичная версия распространялась быстрее, чем факты. Испытание было упражнением красной команды, организацией, проверяющей свои собственные оборонительные механизмы, в котором разведывательные агентства использовали Mythos против своих собственных засекреченных сред, чтобы увидеть, что она найдет.

      Это не было вторжением извне, и нет никаких утверждений о том, что какая-либо реальная система была скомпрометирована. В отчете AP находка приписывается одному неназванному чиновнику.

      💜 технологий ЕС Последние новости из технологической сцены ЕС, история от нашего мудрого основателя Бориса и немного сомнительного ИИ-арта. Это бесплатно, каждую неделю, в вашем почтовом ящике. Подпишитесь сейчас! Упражнение входит в проект Glasswing, схему с контролируемым доступом, через которую Anthropic предоставила Mythos ограниченному числу организаций, а не выпустила его публично.

      Модель была создана для поиска и в тестах использования программных уязвимостей, и она сделала это в масштабе, который встревожил людей, увидевших это.

      В предыдущих оценках она обнаружила тысячи уязвимостей нулевого дня в основных операционных системах и браузерах, включая 27-летнюю ошибку в OpenBSD.

      Утверждение о засекреченных системах стало общественным достоянием через слушания в Сенате. 11 июня сенатор Марк Уорнер, заместитель председателя Сенатского комитета по разведке, сказал, что генерал Джошуа Радд, который возглавляет NSA и Киберкомандование, сообщил ему, что Mythos "взломал почти все наши засекреченные системы, не за недели, а за часы".

      Содержится ли более яркая версия в действительности или нет, основная способность не оспаривается. Институт безопасности ИИ Великобритании оценил Mythos как значительно более способный к кибератаке, чем любая модель, которую он тестировал ранее.

      Оспаривается то, как интерпретировать результаты красной команды в отношении засекреченных сетей, что является тревожной демонстрацией скорости, а не доказательством фактического нарушения.

      Этот эпизод попадает в запутанную ситуацию, которую правительство США не решило. NSA была уполномочена продолжать использовать Mythos в засекреченных сетях, и некоторые части разведывательного сообщества и Агентства по кибербезопасности и безопасности инфраструктуры тестировали его.

      В то же время администрация заставила Anthropic отключить Mythos и его публичного собрата Fable 5 по всему миру 12 июня после отдельного спора по поводу сообщения о взломе, приказ, который сейчас оспаривается в суде.

      То же самое правительство, которое зависит от модели, также ограничивало ее, выступало против ее расширения и ранее назвало ее создателя риском для цепочки поставок национальной безопасности.

      Это противоречие является основной нитью последних трех месяцев. Mythos от Anthropic перемещался между правительствами быстрее, чем любое из них может решить, для чего он нужен: используется NSA, ухаживает за ним Казначейство, против него выступают некоторые части Белого дома и за него борется Пентагон.

      Уорнер, в свою очередь, упомянул тестирование не для осуждения Anthropic, а для того, чтобы выступить за обязательную предварительную оценку моделей на переднем крае, что является другой точкой зрения, чем та, которая стала вирусной.

      Anthropic не раскрыла, что обнаружил тест, и вовлеченные агентства сказали немного на официальном уровне. Компания завершила обучение преемника Mythos, что является признаком того, что способность развивается, независимо от того, как разрешатся политические вопросы.

      На данный момент проверяемая суть узка, а выводы вокруг нее широки: мощная модель, нацеленная на сложные цели в контролируемой обстановке, быстро находила слабости.

      Что это означает для всех, кто не проводит упражнение красной команды, - это то, что все еще обсуждается.