Apple наконец удаляет AI-приложения, которые могут цифровым образом раздевать кого угодно

      Apple убрала несколько приложений с функцией «нюдизация», работающих на основе ИИ, из App Store после оказания юридического давления со стороны прокурора Сан-Франциско, но этот эпизод поднимает гораздо более важный вопрос, чем то, нарушили ли несколько приложений правила App Store.

      Настоящая проблема заключается в том, почему эти приложения вообще попали на один из самых строго контролируемых рынков приложений в мире.

      Последний скандал начался после того, как прокурор города Сан-Франциско Дэвид Чиу отправил письма с требованием прекратить действия как Apple, так и Google, обвиняя компании в содействии распространению приложений, способных генерировать неприемлемые изображения обнаженных людей, созданные с помощью ИИ. Согласно юридическим уведомлениям, компании также извлекали прибыль из этих приложений через покупки внутри приложений, при этом власти Калифорнии утверждают, что платформы должны разорвать связи с разработчиками, предлагающими такие услуги.

      Apple теперь ответила, подтвердив, что несколько из указанных приложений уже были удалены, в то время как дополнительные разработчики рискуют быть навсегда удаленными, если не будут соблюдать правила App Store.

      Apple утверждает, что приложения нарушают ее правила. Критики говорят, что они вообще не должны были появляться.

      После публикации расследования WIRED Apple сообщила 9to5Mac, что приложения, предназначенные для генерации или распространения порнографического или «нюдизационного» контента, всегда нарушали ее Руководящие принципы по проверке приложений. Согласно компании, три из приложений, на которые указал офис прокурора Сан-Франциско, уже были удалены из App Store, в то время как аккаунты разработчиков, стоящих за ними, находятся в процессе закрытия. Apple также сообщила, что связалась с четырьмя дополнительными разработчиками, предупредив их о необходимости устранить нарушения политики или столкнуться с удалением с платформы.

      «App Store был создан как безопасное и надежное место для пользователей», — говорится в заявлении Apple, добавляя, что она проактивно отклоняет приложения для нюдизации и удаляет другие после получения сообщений через свои инструменты отчетности. Apple также повторила, что разработчики остаются ответственными за контент, генерируемый внутри их приложений. Приложения, позволяющие генерировать контент пользователями, должны включать механизмы для фильтрации неприемлемого материала или рисковать полным удалением из App Store.

      Apple App Store Unsplash

      Google предприняла аналогичные действия. Компания сообщает, что уже приостановила работу сотен приложений для Android, предлагающих функции нюдизации, и ограничила поиски в Play Store по таким терминам, как «нюдизация». Согласно Google, пять приложений для Android, упомянутых прокурором Сан-Франциско, также были удалены за нарушение правил Play Store.

      Вот полное заявление Apple, предоставленное 9to5Mac: «App Store был создан как безопасное и надежное место для пользователей, и мы всегда строго запрещали приложения, предназначенные для генерации, распространения или потребления порнографии. Приложения для «нюдизации» противоречат нашим Руководящим принципам по проверке приложений, и мы проактивно отклонили многие из этих приложений и удалили многие другие, включая те, которые пользователи отметили через наши инструменты отчетности. Мы удалили три из упомянутых приложений и находимся в процессе закрытия их аккаунтов разработчиков в нашей программе. Мы находимся в контакте с четырьмя другими, которым необходимо устранить нарушения политики или рисковать также быть удаленными».

      Более серьезной проблемой является модерация в эпоху ИИ

      Юридические действия происходят на фоне растущей обеспокоенности по поводу того, как генеративный ИИ значительно снизил барьер для создания откровенных дипфейков. В отличие от традиционной порнографии, многие из современных инструментов смены лиц на основе ИИ требуют лишь одной фотографии. В течение нескольких секунд пользователи могут генерировать поддельные обнаженные изображения или откровенные видео с участием реальных людей без их ведома или согласия.

      Власти утверждают, что последствия выходят далеко за пределы нарушений конфиденциальности. Жертвы все чаще сообщают о преследованиях, вымогательствах, ущербе репутации и серьезных последствиях для психического здоровья. Предыдущие расследования также выявили инциденты в десятках школ, где были созданы сексуальные изображения несовершеннолетних, сгенерированные с помощью коммерчески доступных инструментов. То, что делает принудительное исполнение особенно сложным, заключается в том, что многие из этих приложений не открыто рекламируют себя как инструменты «нюдизации». Вместо этого они представляют себя как безобидные приложения для смены лиц или редактирования фотографий. Возможности генерации откровенных изображений часто остаются скрытыми до установки или за покупками внутри приложений, что значительно усложняет автоматическую модерацию.

      Исследование, опубликованное ранее в этом году, показало, что большое количество, казалось бы, обычных приложений для смены лиц все еще могут генерировать откровенные дипфейки, несмотря на то, что не рекламируют себя таким образом. В многих случаях исследователи обнаружили мало или совсем не обнаружили мер предосторожности, предотвращающих злоупотребления.

      Это различие стало центральным в дебатах, с которыми сейчас сталкиваются Apple и Google.

      Обе компании утверждают, что их политики четко запрещают порнографию и сексуально эксплуатирующий контент. Однако критики утверждают, что одних только политик уже недостаточно, когда приложения ИИ могут маскировать вредоносную функциональность за иначе легитимными функциями. Офис прокурора города также утверждает, что Apple и Google финансово извлекают выгоду из этих приложений через комиссии на покупки внутри приложений, утверждая, что операторы платформ имеют большую ответственность за выявление и удаление их до того, как они достигнут пользователей.

      Apple App Store Unsplash

      Для Apple последние удаления могут помочь решить немедленную критику, но вряд ли они положат конец более широкому разговору. Поскольку генеративный ИИ становится дешевле, быстрее и все более способным производить реалистичные синтетические медиа, проверка приложений больше не сводится лишь к проверке скриншотов или описаний разработчиков. Теперь это требует выявления того, что модель ИИ может быть склонна генерировать после установки, что является значительно более сложной задачей, чем традиционная модерация.

      Эта проблема вряд ли исчезнет в ближайшее время, как и вопросы, которые задаются компаниям, управляющим крупнейшими магазинами приложений в мире.