Apple наконец удаляет приложения ИИ, которые могут цифровым образом раздевать кого угодно

      Apple убрала несколько приложений с функцией "нюдизация", работающих на основе ИИ, из App Store после оказания юридического давления со стороны городского прокурора Сан-Франциско, но этот эпизод поднимает гораздо более важный вопрос, чем то, нарушили ли несколько приложений правила App Store.

      Настоящая проблема заключается в том, почему эти приложения вообще попали на один из самых строго контролируемых рынков приложений в мире.

      Последний скандал начался после того, как городской прокурор Сан-Франциско Дэвид Чиу отправил письма с требованием прекратить действия как Apple, так и Google, обвиняя компании в содействии распространению приложений, способных генерировать неприемлемые изображения обнаженных людей, созданные ИИ без согласия. Согласно юридическим уведомлениям, компании также извлекали прибыль из этих приложений через покупки внутри приложений, при этом власти Калифорнии утверждают, что платформы должны разорвать связи с разработчиками, предлагающими такие услуги.

      Apple теперь ответила, подтвердив, что несколько из указанных приложений уже были удалены, в то время как дополнительные разработчики рискуют быть удаленными навсегда, если не будут соблюдать политику App Store.

      Apple утверждает, что приложения нарушают ее правила. Критики говорят, что они вообще не должны были появляться.

      После публикации расследования WIRED Apple сообщила 9to5Mac, что приложения, предназначенные для генерации или распространения порнографического или "нюдизационного" контента, всегда нарушали ее Руководящие принципы проверки приложений. По словам компании, три приложения, на которые указал офис городского прокурора Сан-Франциско, уже были удалены из App Store, в то время как аккаунты разработчиков, стоящих за ними, находятся в процессе закрытия. Apple также сообщила, что связалась с четырьмя дополнительными разработчиками, предупредив их о необходимости устранить нарушения политики или рисковать удалением с платформы.

      "App Store был создан как безопасное и надежное место для пользователей", - говорится в заявлении Apple, добавляя, что она проактивно отклоняет приложения для нюдизации и удаляет другие после получения сообщений через свои инструменты отчетности. Apple также повторила, что разработчики остаются ответственными за контент, генерируемый внутри их приложений. Приложения, позволяющие генерировать контент пользователями, должны включать механизмы для фильтрации неприемлемого материала или рисковать полным удалением из App Store.

      Google предпринял аналогичные действия. Компания заявляет, что уже приостановила работу сотен приложений для Android, предлагающих функции нюдизации, и ограничила поиски в Play Store по таким терминам, как "нюдизация". По словам Google, пять приложений для Android, упомянутых городским прокурором Сан-Франциско, также были удалены за нарушение политики Play Store.

      Вот полное заявление Apple, предоставленное 9to5Mac: "App Store был создан как безопасное и надежное место для пользователей, и мы всегда строго запрещали приложения, предназначенные для генерации, распространения или потребления порнографии. Приложения для 'нюдизации' противоречат нашим Руководящим принципам проверки приложений, и мы проактивно отклонили многие из этих приложений и удалили многие другие, включая те, которые пользователи отметили через наши инструменты отчетности. Мы удалили три из упомянутых приложений и находимся в процессе закрытия их аккаунтов разработчиков в нашей программе. Мы находимся в контакте с четырьмя другими, которым необходимо устранить нарушения политики или рисковать также быть удаленными."

      Более серьезная проблема - это модерация в эпоху ИИ

      Юридические действия происходят на фоне растущей обеспокоенности тем, как генеративный ИИ значительно снизил барьер для создания откровенных дипфейков. В отличие от традиционной порнографии, многие из современных инструментов для смены лиц на основе ИИ требуют лишь одной фотографии. В течение нескольких секунд пользователи могут генерировать поддельные обнаженные изображения или откровенные видео с участием реальных людей без их ведома или согласия.

      Власти утверждают, что последствия выходят далеко за пределы нарушения конфиденциальности. Жертвы все чаще сообщают о домогательствах, вымогательстве, ущербе репутации и серьезных психических проблемах. Предыдущие расследования также выявили инциденты в десятках школ, где были созданы сексуальные изображения несовершеннолетних, сгенерированные с использованием коммерчески доступных инструментов. Что делает принудительное исполнение особенно сложным, так это то, что многие из этих приложений не открыто рекламируют себя как инструменты "нюдизации". Вместо этого они представляют себя как безобидные приложения для смены лиц или редактирования фотографий. Возможности генерации откровенных изображений часто остаются скрытыми до установки или за покупками внутри приложений, что значительно усложняет автоматическую модерацию.

      Исследование, опубликованное ранее в этом году, показало, что большое количество, казалось бы, обычных приложений для смены лиц все еще могут генерировать откровенные дипфейки, несмотря на то, что не позиционируют себя таким образом. В многих случаях исследователи обнаружили мало или совсем не обнаружили мер предосторожности, предотвращающих злоупотребления.

      Это различие стало центральным в дебатах, с которыми сталкиваются Apple и Google.

      Обе компании утверждают, что их политика четко запрещает порнографию и сексуально эксплуатируемый контент. Однако критики утверждают, что одной политики уже недостаточно, когда приложения ИИ могут маскировать вредную функциональность под иначе законными функциями. Офис городского прокурора также утверждает, что Apple и Google финансово выигрывают от этих приложений через комиссии на покупки внутри приложений, утверждая, что операторы платформ имеют большую ответственность за выявление и удаление их до того, как они достигнут пользователей.

      Для Apple последние удаления могут помочь справиться с немедленной критикой, но вряд ли они положат конец более широкому разговору. Поскольку генеративный ИИ становится дешевле, быстрее и все более способен производить реалистичные синтетические медиа, проверка приложений больше не сводится только к проверке скриншотов или описаний разработчиков. Теперь это требует выявления того, что модель ИИ может быть склонна генерировать после установки, что является значительно более сложной задачей, чем традиционная модерация.

      Эта проблема вряд ли исчезнет в ближайшее время, как и вопросы, которые задаются компаниям, управляющим крупнейшими магазинами приложений в мире.