Meta AI детектор пропускает половину своих собственных обрезанных подделок

      Детектор Meta AI обещает ловить собственные фейки Meta. Обрежьте изображение, и более половины из них проскользнут мимо него.

      Этот инструмент должен был стать решением проблемы дипфейков, а не примером этого. На этой неделе Meta представила детектор изображений вместе с Muse Image, своим самым продвинутым генератором изображений на сегодняшний день, и пообещала, что он сможет распознать все, что модель создаст позже, даже после редактирования.

      Затем Reuters провела тест. Он сгенерировал 40 изображений с помощью Muse Image, обрезал их и снова подал на вход. Детектор пропустил более половины.

      Как простое обрезание его сломало

      Цифры рассказывают историю. Reuters обнаружила, что инструмент подтвердил каждое из 40 оригинальных AI изображений. Обрежьте те же картинки примерно до трети или половины их размера, и он не смог отметить 55% из них. Обрезка, которую делает любой перед публикацией, была достаточна, чтобы убрать сигнал, на который полагается детектор.

      💜 технологий ЕС Последние новости из технологической сцены ЕС, история от нашего мудрого основателя Бориса и немного сомнительного AI-искусства. Это бесплатно, каждую неделю, в вашем почтовом ящике. Подпишитесь сейчас!Этот сигнал — водяной знак. Meta называет его Content Seal, невидимый маркер, встроенный в каждое изображение, которое производит Muse Image. На своем собственном сайте Meta утверждает, что детектор Meta AI может идентифицировать свои изображения даже после обрезки. Анализ Reuters предполагает, что обещание срабатывает только до определенного момента.

      Ответ Meta и уловка

      На вопрос о результатах Meta указала, что детектор все еще находится на стадии предварительного просмотра. Водяной знак создан так, чтобы выдерживать обычные редактирования, заявила компания, но сигнал «может быть потерян, если изображение сильно обрезано». Это напряжение в одном предложении.

      Знак должен быть надежным, но самое обыденное редактирование в интернете может стереть его.

      Meta не одна в этой ситуации. Google и OpenAI также предупреждали, что их собственные инструменты обнаружения не являются надежными против людей, которые изменяют изображения. Водяное знаки — это предпочтительный ответ отрасли на синтетические медиа, и каждая большая лаборатория опирается на его версию.

      Конкурирующий маркер, SynthID от Google, недавно разоблачил высокопрофильный дипфейк, что является доказательством технологии. Ошибка Meta — это аргумент против доверия только ей.

      Почему водяной знак не является стеной

      Исследователи уже некоторое время указывают на эту слабость. Сивей Лю, профессор компьютерных наук в Университете Буффало, изучающий судебную экспертизу изображений, сказал, что методы водяных знаков хорошо работают, пока знак остается нетронутым.

      Проблема в том, что происходит дальше. «Любое изменение, которое удаляет или ослабляет встроенный сигнал, такое как обрезка, изменение размера, сильная компрессия или редактирование, может снизить их эффективность», — сказал он Reuters.

      Другие утверждают, что планка не должна быть совершенством. Сара Баррингтон, исследователь AI в UC Berkeley, сравнила водяные знаки с мерами безопасности, которые ловят большинство угроз, не останавливая все из них. «Даже если мы поймаем только 90%, это все равно большой скачок от 0», — сказала она. Оба утверждения могут быть верными одновременно.

      Детектор, который пропускает 55% слегка отредактированных изображений, находится далеко от 90%, и он подпитывает растущий рынок AI-обнаружения, который все еще не может обещать уверенность.

      Проблема в тайминге

      Разрыв имеет значение из-за того, когда он происходит. Соединенные Штаты вступают в год промежуточных выборов, и платформы готовятся к волне AI-фейков, нацеленных на избирателей. Государства тоже движутся, Южная Корея среди тех, кто разрабатывает наказательные законы против обманчивого контента.

      В марте собственный Наблюдательный совет Meta призвал компанию сделать больше в отношении обманчивого AI и инвестировать в более сильное обнаружение. Четыре месяца спустя флагманский детектор не может надежно поймать собственные выходные данные Meta, как только кто-то его обрезает.

      Ничто из этого не делает Content Seal бесполезным. Инструмент, который помечает свежие, неотредактированные изображения, все еще повышает стоимость выдачи фейка, и Meta заявляет, что планирует расширить систему на видео. Это подрывает идею о том, что водяной знак является решением, а не препятствием.

      Люди, которые с наибольшей вероятностью удалят сигнал, — это те, кого детектор существует, чтобы остановить. В синтетических медиа, как и в классе, обнаружение продолжает приходить на шаг позади. Судя по сегодняшним данным, наверстать упущенное можно всего лишь с помощью обрезки.