Политическая видеосеть наняла настоящих актеров для чтения своих сценариев, созданных ИИ. Этого было достаточно, чтобы обойти детекторы YouTube.

      TL;DRYouTube закрыл 20 каналов в сети, которая платила работникам экономики на заказ по 26 долларов за видео, чтобы читать сценарии, сгенерированные ИИ, атакующие демократов. Сеть достигла 45 миллионов просмотров, потому что наличие реального лица перед ИИ-каналом обходит все детекторы синтетических медиа, которые создали платформы. Принудительные меры были предприняты только после публикации Semafor и Riddance AI, а указанное нарушение касалось спама, а не лжи.[/tldr

      YouTube закрыл сеть каналов, которые достигли 45 миллионов просмотров, платя работникам экономики на заказ за чтение сценариев, которые, по всей видимости, были сгенерированы крупными языковыми моделями. Принудительные меры последовали за расследованием, опубликованным в среду Semafor, редактором медиа которого Макс Тани сообщил о деле вместе с Графом Масарой.

      Компания заявила в своем заявлении для Semafor, что у нее «строгие правила против спама и обманных практик» и что она закрыла 20 каналов, включая 13, упомянутых в статье, и семь связанных с ними. TNW не проверяла эту цифру независимо, она появляется только в заявлении YouTube и ни в одном публичном уведомлении о принудительных мерах.

      Обход был с человеческим лицом

      Все в операции выглядит автоматизированным, кроме одного компонента, который мог бы ее поймать. Сценарии, миниатюры, фотографии и веб-сайты содержали обычные генерируемые отпечатки, но человек на камеру был реальным.

      По словам медиаинтеллектуальной компании Riddance AI, которая параллельно с Semafor расследовала сеть, это и было целью. Убедительная прямая подача на камеру все еще сложна для видео-моделей, написали Мейсон Броксэм и Джереми Карраско в своем отчете, что создает рынок для найма кого-то дешево вместо этого.

      Принудительные меры платформы были построены вокруг обнаружения синтетических медиа. YouTube автоматически помечает видео, сгенерированные ИИ, независимо от того, раскрывают ли создатели это или нет, и реальный человек, читающий сценарий ИИ, не вызывает никаких из них.

      Двадцать шесть долларов за видео

      Ставка задокументирована. Объявление о кастинге, размещенное производственной компанией Virelox, искало профессионального спикера на камеру для новостного канала YouTube, и Riddance нашел сопутствующее объявление, предлагающее 26 долларов за сценарий, с 24-часовым сроком выполнения и актером, предоставляющим свою собственную камеру и освещение.

      Актеров искали через Fiverr и Backstage, те же места, где бренды нанимают спикеров для термометров для мяса и устройств для чистки ушей. Один из них, Фрэнк Джордж, сообщил Semafor через службу сообщений Fiverr, что ему платили через брокера и он не знал, кто финансирует работу.

      Он описал видео для Semafor как платные рекламы и себя как спикера. Когда его спросили назвать брокера, он ответил: «Casgains».

      Кто стоял за этим

      Semafor проследил сеть до Кейла Чана, выпускника Чикагского университета, который создал финансовый канал на YouTube под названием Casgains Academy, а затем превратил саму вирусность в продукт. Он стал соучредителем Virelox, который продает быстрое создание аккаунтов создателей от имени клиентов.

      Чан опубликовал в X в апреле, что у него работает 106 аккаунтов YouTube и он хочет 300 к маю, а в более позднем посте заявил о сети из более чем 500 призрачных создателей, генерирующих миллиарды просмотров в месяц. Это его собственные рекламные заявления и не были проверены.

      Он также опубликовал то, что, по его мнению, он узнал о системе ранжирования, написав, что когда много аккаунтов публикуют один и тот же хэштег в течение нескольких минут, алгоритм воспринимает это как срочные новости. Он сказал, что протестировал это девять раз и подписался: «создание новостей > сообщение о новостях».

      Что публиковали каналы

      Riddance проанализировала 622 транскрипта видео по персонажам, подсчитав упоминания отдельных политиков и классифицируя утверждения, связанные с каждым. Налоговое бремя, бюджетные проблемы и бегство бизнеса из управляемых демократами штатов доминировали, при этом мэр Нью-Йорка Зохран Мамдани был наиболее часто атакуемой фигурой.

      Названия упоминали демократического политика, а затем прикрепляли глагол с заглавными буквами к экономической истории или скандалу. Большинство основных утверждений отслеживалось реальным репортажем, обнаружила Riddance, но оформление часто не выдерживало контакта с самим видео.

      Semafor рассмотрел одно видео William Reports News с заголовком о панике Мамдани из-за закрытия отелей Hilton и обнаружил, что оно не содержало такого утверждения и утверждало почти противоположное. В другом говорилось, что губернатор Кэти Хохул отказалась одобрить налоговое предложение Мамдани, которое она поддерживала.

      Швы были видны, и ничего не произошло

      Координация не была тонкой. Каждый персонаж использовал одну и ту же зловещую пианистическую подложку, а парное сравнение корпуса транскриптов показало, что каналы Omar и Julian делили 304 сегмента сценариев.

      Персонажи появлялись на каналах друг друга без объяснения, профили Linktree указывали на неправильного хоста, и один актер переключился с анти-Трампа на про-Трампа всего за несколько недель. Riddance зафиксировала, что связанные веб-сайты все вышли из строя 25 августа после того, как Semafor связался с компанией.

      Аудитория была реальной

      Это должно больше беспокоить платформы, чем метод производства. Riddance обнаружила, что более 90 000 комментаторов существенно пересекаются с аудиторией других правых каналов YouTube, что означает, что реальные люди смотрели.

      Внутренняя аналитика для одного персонажа, найденная Semafor на панели управления, доступной через простой поиск в Google, показала, что аудитория на 85% американская, на 80% мужская и на 80% старше 55 лет. Сеть превзошла каналы YouTube Washington Post, New Yorker и Boston Globe, сообщила Semafor.

      Закрыто за спам, а не за ошибку

      Прочитайте заявление YouTube еще раз. Указанное нарушение — это спам и обманные практики, что является правилом объема и подлинности, а не точности.

      Это оформление имеет значение, потому что это рычаг принуждения, который на самом деле есть у платформы. Тот же рычаг ловит безликих создателей, которые вообще не использовали ИИ, что происходит, когда прокси-сигнал заменяет то, что вам важно.

      Это также второй случай, когда это принуждение последовало за публикацией, а не за обнаружением. YouTube удалил несколько каналов после первой истории Semafor о видео о коллапсе синих штатов, сгенерированных ИИ, в начале августа, и Riddance отслеживала эту сеть с июня.

      Слой распространения все еще работает

      Закрытие исходных каналов не очищает клипы. Riddance задокументировала десятки аккаунтов TikTok, которые повторно распространяли моменты из длинных видео, некоторые из них исключительно.

      Эти аккаунты находятся внутри гораздо большей экосистемы. Почти 60% видео TikTok, показываемых новым пользователям, являются ИИ-контентом, по данным одного исследования, поэтому удаленный материал не исчезает, а просто понижается на более низкую полку.

      Почему лазейка сохраняется

      Регулирование движется в том же направлении, что и политика платформы, к синтетическим медиа. Бразилия в настоящее время определяет, что считается дипфейком перед своим голосованием, и определения, основанные на сгенерированных образах, не поймают реального человека за кухонным столом.

      Ничто из этого не требовало передовой модели. Это требовало LLM, аккаунта Fiverr и кого-то, готового читать за 26 долларов.

      Чан заявил в заявлении для Semafor, что Virelox является независимым цифровым медиапубликатором, который не принимает политических клиентов и не использует синтетических ведущих, и что у него нет никакой связи с одним из рассматриваемых каналов