Meta AI детектор пропускает половину своих собственных обрезанных фальшивок

      Детектор Meta AI обещает поймать собственные фейки Meta. Обрежьте изображение, и более половины проскользнут мимо него.

      Инструмент должен был стать решением проблемы дипфейков, а не примером этого. На этой неделе Meta представила детектор изображений вместе с Muse Image, своим самым продвинутым генератором изображений на сегодняшний день, и пообещала, что он сможет распознать все, что модель создаст позже, даже после редактирования.

      Затем Reuters провела тест. Он сгенерировал 40 изображений с помощью Muse Image, обрезал их и вернул обратно. Детектор пропустил более половины.

      Как простое обрезание сломало его

      Цифры рассказывают историю. Reuters обнаружила, что инструмент подтвердил каждое из 40 оригинальных изображений ИИ. Обрежьте те же картинки примерно до трети или половины их размера, и он не смог отметить 55% из них. Обрезка, которую делает любой перед публикацией, была достаточна, чтобы убрать сигнал, на который полагается детектор.

      💜 технологий ЕС Последние новости из технологической сцены ЕС, история от нашего мудрого основателя Бориса и немного сомнительного ИИ-арта. Это бесплатно, каждую неделю, в вашем почтовом ящике. Подпишитесь сейчас! Этот сигнал — водяной знак. Meta называет его Content Seal, невидимый маркер, встроенный в каждое изображение, создаваемое Muse Image. На своем собственном сайте Meta утверждает, что детектор Meta AI может идентифицировать свои изображения даже после обрезки. Анализ Reuters предполагает, что обещание выполняется только до определенной степени.

      Ответ Meta и уловка

      На вопрос о результатах Meta указала, что детектор все еще находится в режиме предварительного просмотра. Водяной знак создан так, чтобы пережить обычные редактирования, сказала компания, но сигнал «может быть потерян, если изображение сильно обрезано». Это напряжение в одном предложении.

      Знак должен быть надежным, но самое обыденное редактирование в интернете может стереть его.

      Meta не одна в этой ситуации. Google и OpenAI оба предупреждали, что их собственные инструменты обнаружения не являются надежными против людей, которые изменяют изображения. Водяное знаки — это предпочтительный ответ отрасли на синтетические медиа, и каждая большая лаборатория полагается на его версию.

      Конкурирующий маркер, SynthID от Google, недавно опроверг высокопрофильный дипфейк, что является аргументом в пользу технологии. Ошибка Meta — это аргумент против доверия только ей.

      Почему водяной знак не является стеной

      Исследователи уже некоторое время указывают на эту слабость. Сивей Лю, профессор компьютерных наук в Университете Буффало, который изучает судебную экспертизу изображений, сказал, что методы водяных знаков хорошо работают, пока знак остается целым.

      Проблема в том, что происходит дальше. «Любое изменение, которое удаляет или ослабляет встроенный сигнал, такое как обрезка, изменение размера, сильная компрессия или редактирование, может снизить их эффективность», — сказал он Reuters.

      Другие утверждают, что планка не должна быть совершенством. Сара Баррингтон, исследователь ИИ в UC Berkeley, сравнила водяное знаки с мерами безопасности, которые ловят большинство угроз, не останавливая все из них. «Даже если мы поймаем только 90%, это все равно большой скачок от 0», — сказала она. Оба утверждения могут быть верными одновременно.

      Детектор, который пропускает 55% слегка отредактированных изображений, находится далеко от 90%, и он подпитывает растущий рынок обнаружения ИИ, который все еще не может обещать уверенность.

      Проблема в тайминге

      Разрыв имеет значение из-за того, когда он происходит. Соединенные Штаты вступают в год выборов, и платформы готовятся к волне ИИ-фейков, нацеленных на избирателей. Государства тоже движутся, Южная Корея среди тех, кто пишет карательные законы против обманчивого контента.

      В марте собственный Наблюдательный совет Meta призвал компанию сделать больше по поводу обманчивого ИИ и инвестировать в более сильное обнаружение. Четыре месяца спустя флагманский детектор не может надежно поймать собственные результаты Meta, как только кто-то обрезает их.

      Ничто из этого не делает Content Seal бесполезным. Инструмент, который помечает свежие, неотредактированные изображения, все еще повышает стоимость выдачи фейка, и Meta говорит, что планирует расширить систему на видео. Это действительно подрывает идею о том, что водяной знак является решением, а не препятствием.

      Люди, которые с наибольшей вероятностью удалят сигнал, — это те, кого детектор существует, чтобы остановить. В синтетических медиа, как и в классе, обнаружение продолжает приходить с опозданием. Судя по сегодняшним данным, чтобы догнать, достаточно лишь обрезки.