Apple finalmente está eliminando aplicaciones de IA que pueden desvestir digitalmente a cualquier persona.

      Apple ha eliminado varias aplicaciones de "nudificación" impulsadas por IA de la App Store después de haber sido presionada legalmente por el fiscal de la ciudad de San Francisco, pero el episodio plantea una pregunta mucho más grande que si un puñado de aplicaciones violó las reglas de la App Store.

      El verdadero problema es por qué estas aplicaciones llegaron a uno de los mercados de aplicaciones más controlados del mundo en primer lugar.

      La última controversia comenzó después de que el fiscal de la ciudad de San Francisco, David Chiu, enviara cartas de cese y desistimiento tanto a Apple como a Google, acusando a las empresas de facilitar la distribución de aplicaciones capaces de generar imágenes desnudas generadas por IA sin consentimiento. Según los avisos legales, las empresas también han obtenido beneficios de estas aplicaciones a través de compras dentro de la aplicación, con las autoridades de California argumentando que las plataformas deberían cortar lazos con los desarrolladores que ofrecen tales servicios.

      Apple ha respondido ahora, confirmando que varias de las aplicaciones identificadas ya han sido eliminadas, mientras que otros desarrolladores corren el riesgo de ser eliminados permanentemente si no cumplen con las políticas de la App Store.

      Apple dice que las aplicaciones violan sus reglas. Los críticos dicen que no deberían haber aparecido en absoluto.

      Tras la publicación de la investigación de WIRED, Apple dijo a 9to5Mac que las aplicaciones diseñadas para generar o distribuir contenido pornográfico o de "nudificación" siempre han violado sus Directrices de Revisión de Aplicaciones. Según la empresa, tres de las aplicaciones destacadas por la Oficina del Fiscal de la Ciudad de San Francisco ya han sido eliminadas de la App Store, mientras que las cuentas de desarrollador detrás de ellas están en proceso de ser canceladas. Apple también dijo que ha contactado a cuatro desarrolladores adicionales, advirtiéndoles que aborden las violaciones de políticas o enfrenten la eliminación de la plataforma.

      "La App Store fue diseñada para ser un lugar seguro y de confianza para los usuarios", dijo Apple en su declaración, añadiendo que rechaza proactivamente las aplicaciones de nudificación y elimina otras después de recibir informes a través de sus herramientas de reporte. Apple también reiteró que los desarrolladores siguen siendo responsables del contenido generado dentro de sus aplicaciones. Las aplicaciones que permiten contenido generado por el usuario deben incluir mecanismos para filtrar material objetable o arriesgarse a ser eliminadas de la App Store por completo.

      Apple App Store Unsplash

      Google ha tomado acciones similares. La compañía dice que ya ha suspendido cientos de aplicaciones de Android que ofrecen características de nudificación y restringido las búsquedas en Play Store para términos como "nudificar". Según Google, las cinco aplicaciones de Android citadas por el Fiscal de la Ciudad de San Francisco también han sido eliminadas por violar las políticas de Play Store.

      Aquí está la declaración completa de Apple proporcionada a 9to5Mac: "La App Store fue diseñada para ser un lugar seguro y de confianza para los usuarios, y siempre hemos prohibido estrictamente las aplicaciones diseñadas para generar, distribuir o consumir pornografía. Las aplicaciones de 'nudificación' están en contra de nuestras Directrices de Revisión de Aplicaciones, y hemos rechazado proactivamente muchas de estas aplicaciones y eliminado muchas otras, incluso cuando los usuarios las han señalado a través de nuestras herramientas de reporte. Hemos eliminado tres de las aplicaciones en cuestión y estamos en proceso de cancelar sus cuentas de desarrollador de nuestro programa. Estamos en contacto con otras cuatro que necesitan abordar violaciones de políticas o arriesgarse a ser eliminadas también."

      El desafío más grande es la moderación en la era de la IA

      La acción legal se produce en medio de una creciente preocupación sobre cómo la IA generativa ha reducido drásticamente la barrera para crear deepfakes explícitos. A diferencia de la pornografía tradicional, muchas de las herramientas de intercambio de rostros impulsadas por IA de hoy requieren nada más que una sola fotografía. En cuestión de segundos, los usuarios pueden generar imágenes desnudas fabricadas o videos explícitos que representan a personas reales sin su conocimiento o consentimiento.

      Las autoridades dicen que las consecuencias van mucho más allá de las violaciones de privacidad. Las víctimas han informado cada vez más sobre acoso, extorsión, daño reputacional y graves impactos en la salud mental. Investigaciones anteriores también han descubierto incidentes en docenas de escuelas donde se crearon imágenes sexuales generadas por IA de menores utilizando herramientas disponibles comercialmente. Lo que hace que la aplicación de la ley sea especialmente difícil es que muchas de estas aplicaciones no se publicitan abiertamente como herramientas de "nudificación". En cambio, se presentan como aplicaciones inofensivas de intercambio de rostros o edición de fotos. Las capacidades de generación de imágenes explícitas a menudo permanecen ocultas hasta después de la instalación o detrás de compras dentro de la aplicación, lo que hace que la moderación automatizada sea significativamente más difícil.

      Investigaciones publicadas a principios de este año encontraron que un gran número de aplicaciones de intercambio de rostros aparentemente ordinarias aún podrían generar deepfakes explícitos a pesar de no comercializarse de esa manera. En muchos casos, los investigadores encontraron pocas o ninguna salvaguarda que prevenga el uso indebido.

      Esa distinción se ha vuelto central en el debate que enfrentan ahora Apple y Google.

      Ambas empresas mantienen que sus políticas prohíben claramente la pornografía y el contenido sexualmente explotador. Sin embargo, los críticos argumentan que las políticas por sí solas ya no son suficientes cuando las aplicaciones de IA pueden disfrazar funcionalidades dañinas detrás de características de otro modo legítimas. La Oficina del Fiscal de la Ciudad también alega que Apple y Google se benefician financieramente de estas aplicaciones a través de comisiones por compras dentro de la aplicación, argumentando que los operadores de plataformas tienen una mayor responsabilidad de identificarlas y eliminarlas antes de que lleguen a los usuarios.

      Apple App Store Unsplash

      Para Apple, las últimas eliminaciones pueden ayudar a abordar la crítica inmediata, pero es poco probable que pongan fin a la conversación más amplia. A medida que la IA generativa se vuelve más barata, rápida y cada vez más capaz de producir medios sintéticos realistas, la revisión de aplicaciones ya no se trata solo de verificar capturas de pantalla o descripciones de desarrolladores. Ahora requiere identificar qué puede ser persuadido a generar un modelo de IA después de la instalación, una tarea considerablemente más difícil que la moderación tradicional.

      Ese desafío es poco probable que desaparezca pronto, y tampoco lo son las preguntas que se hacen a las empresas que dirigen las tiendas de aplicaciones más grandes del mundo.