Детектор Meta AI пропускает половину своих собственных обрезанных фальшивок

      Детектор Meta AI обещает ловить фальшивки самой Meta. Обрежьте изображение, и более половины из них пройдут мимо.

      Этот инструмент должен был стать решением проблемы дипфейков, а не примером этого. На этой неделе Meta представила детектор изображений вместе с Muse Image, своим самым продвинутым генератором изображений на сегодняшний день, и пообещала, что он сможет распознать все, что модель создаст позже, даже после редактирования.

      Затем Reuters провела тест. Она сгенерировала 40 изображений с помощью Muse Image, обрезала их и снова подала на вход. Детектор пропустил более половины.

      Как простое обрезание сломало его

      Цифры рассказывают историю. Reuters обнаружила, что инструмент подтвердил каждое из 40 оригинальных AI-изображений. Обрежьте те же картинки примерно до трети или половины их размера, и он не смог отметить 55% из них. Обрезка, которую делает любой перед публикацией, была достаточной, чтобы убрать сигнал, на который полагается детектор.

      💜 технологий ЕС Последние слухи из технологической сцены ЕС, история от нашего мудрого основателя Бориса и немного сомнительного AI-арта. Это бесплатно, каждую неделю, в вашем почтовом ящике. Подпишитесь сейчас!Этот сигнал — водяной знак. Meta называет его Content Seal, невидимый маркер, встроенный в каждое изображение, которое производит Muse Image. На своем собственном сайте Meta утверждает, что детектор Meta AI может идентифицировать свои изображения даже после обрезки. Анализ Reuters предполагает, что обещание срабатывает только до определенного момента.

      Ответ Meta и подводный камень

      На вопрос о результатах Meta указала, что детектор все еще находится в режиме предварительного просмотра. Водяной знак создан так, чтобы пережить обычные редактирования, заявила компания, но сигнал «может быть потерян, если изображение сильно обрезано». Это напряжение в одном предложении.

      Знак должен быть надежным, но самое обычное редактирование в интернете может стереть его.

      Meta не одна в этой ситуации. Google и OpenAI оба предупреждали, что их собственные инструменты обнаружения не являются надежными против людей, которые изменяют изображения. Водяное знаки — это предпочтительный ответ отрасли на синтетические медиа, и каждая большая лаборатория полагается на его версию.

      Соперничающий маркер, SynthID от Google, недавно опроверг высокопрофильный дипфейк, что является аргументом в пользу технологии. Ошибка Meta — это аргумент против доверия только ей.

      Почему водяной знак не является стеной

      Исследователи уже некоторое время указывают на эту слабость. Сивей Лю, профессор компьютерных наук в Университете Буффало, изучающий судебную экспертизу изображений, сказал, что методы водяных знаков хорошо работают, пока знак остается нетронутым.

      Проблема возникает в том, что происходит дальше. «Любое изменение, которое удаляет или ослабляет встроенный сигнал, такое как обрезка, изменение размера, сильная компрессия или редактирование, может снизить их эффективность», — сказал он Reuters.

      Другие утверждают, что планка не должна быть совершенством. Сара Баррингтон, исследователь AI в UC Berkeley, сравнила водяные знаки с мерами безопасности, которые ловят большинство угроз, не останавливая все из них. «Даже если мы поймаем только 90%, это все равно большой скачок от 0», — сказала она. Оба утверждения могут быть верными одновременно.

      Детектор, который пропускает 55% слегка отредактированных изображений, находится далеко от 90%, и он подпитывает растущий рынок AI-обнаружения, который все еще не может обещать уверенности.

      Проблема в тайминге

      Разрыв имеет значение из-за того, когда он происходит. Соединенные Штаты вступают в год промежуточных выборов, и платформы готовятся к волне AI-фальшивок, нацеленных на избирателей. Государства тоже движутся, Южная Корея среди тех, кто пишет наказующие законы против обманчивого контента.

      В марте собственный Наблюдательный совет Meta призвал компанию сделать больше в отношении обманчивого AI и инвестировать в более сильное обнаружение. Четыре месяца спустя флагманский детектор не может надежно поймать продукцию Meta, как только кто-то ее обрезает.

      Ничто из этого не делает Content Seal бесполезным. Инструмент, который помечает свежие, неотредактированные изображения, все еще повышает стоимость выдачи фальшивки, и Meta заявляет, что планирует расширить систему на видео. Это подрывает идею о том, что водяной знак является решением, а не препятствием.

      Люди, которые с наибольшей вероятностью удалят сигнал, — это те, кого детектор существует, чтобы остановить. В синтетических медиа, как и в классе, обнаружение продолжает опережать на шаг. Судя по сегодняшним данным, чтобы догнать, достаточно лишь обрезки.