Apple sta finalmente rimuovendo le app di intelligenza artificiale che possono spogliare digitalmente chiunque.

      Apple ha rimosso diverse app "nudify" alimentate dall'IA dall'App Store dopo aver subito pressioni legali dall'avvocato della città di San Francisco, ma l'episodio solleva una questione molto più grande rispetto a se un pugno di app abbia violato le regole dell'App Store.

      Il vero problema è perché queste app siano riuscite a entrare in uno dei mercati di app più controllati al mondo in primo luogo.

      L'ultima controversia è iniziata dopo che l'avvocato della città di San Francisco, David Chiu, ha inviato lettere di cessazione e desistenza sia ad Apple che a Google, accusando le aziende di facilitare la distribuzione di app in grado di generare immagini di nudi generate dall'IA senza consenso. Secondo i documenti legali, le aziende hanno anche tratto profitto da queste app attraverso acquisti in-app, con le autorità californiane che sostengono che le piattaforme dovrebbero interrompere i legami con gli sviluppatori che offrono tali servizi.

      Apple ha ora risposto, confermando che diverse delle app identificate sono già state rimosse mentre ulteriori sviluppatori rischiano la rimozione permanente se non si conformano alle politiche dell'App Store.

      Apple afferma che le app violano le sue regole. I critici dicono che non avrebbero dovuto apparire affatto.

      Dopo la pubblicazione dell'indagine di WIRED, Apple ha detto a 9to5Mac che le app progettate per generare o distribuire contenuti pornografici o di "nudificazione" hanno sempre violato le sue Linee Guida per la Revisione delle App. Secondo l'azienda, tre delle app evidenziate dall'ufficio dell'avvocato della città di San Francisco sono già state rimosse dall'App Store, mentre gli account degli sviluppatori dietro di esse sono in fase di cessazione. Apple ha anche dichiarato di aver contattato altri quattro sviluppatori, avvertendoli di affrontare le violazioni delle politiche o rischiare di essere rimossi dalla piattaforma.

      "L'App Store è stato progettato per essere un luogo sicuro e affidabile per gli utenti," ha dichiarato Apple nella sua dichiarazione, aggiungendo che rifiuta proattivamente le app di nudificazione e rimuove altre dopo aver ricevuto segnalazioni tramite i suoi strumenti di segnalazione. Apple ha anche ribadito che gli sviluppatori rimangono responsabili del contenuto generato all'interno delle loro applicazioni. Le app che consentono contenuti generati dagli utenti devono includere meccanismi per filtrare il materiale inappropriato o rischiare di essere rimosse completamente dall'App Store.

      Apple App Store Unsplash

      Google ha preso misure simili. L'azienda afferma di aver già sospeso centinaia di app Android che offrono funzionalità di nudificazione e di aver limitato le ricerche nel Play Store per termini come "nudify". Secondo Google, le cinque app Android citate dall'avvocato della città di San Francisco sono state rimosse per violazione delle politiche del Play Store.

      Ecco la dichiarazione completa di Apple fornita a 9to5Mac: "L'App Store è stato progettato per essere un luogo sicuro e affidabile per gli utenti, e abbiamo sempre rigorosamente vietato app progettate per generare, distribuire o consumare pornografia. Le app di 'nudificazione' sono contro le nostre Linee Guida per la Revisione delle App, e abbiamo proattivamente rifiutato molte di queste app e rimosso molte altre, anche quando gli utenti le hanno segnalate tramite i nostri strumenti di segnalazione. Abbiamo rimosso tre delle app in questione e siamo in fase di cessazione dei loro account sviluppatori dal nostro programma. Siamo in contatto con altri quattro che devono affrontare le violazioni delle politiche o rischiare di essere rimossi anche loro."

      La sfida più grande è la moderazione nell'era dell'IA

      L'azione legale arriva in un contesto di crescente preoccupazione su come l'IA generativa abbia abbassato drasticamente la barriera per la creazione di deepfake espliciti. A differenza della pornografia tradizionale, molti degli attuali strumenti di scambio di volti alimentati dall'IA richiedono nulla più di una singola fotografia. In pochi secondi, gli utenti possono generare immagini di nudi fabricate o video espliciti che ritraggono persone reali senza la loro conoscenza o consenso.

      Le autorità affermano che le conseguenze si estendono ben oltre le violazioni della privacy. Le vittime hanno segnalato sempre più casi di molestie, estorsione, danni reputazionali e gravi impatti sulla salute mentale. Indagini precedenti hanno anche scoperto incidenti in decine di scuole in cui sono state create immagini sessuali generate dall'IA di minori utilizzando strumenti disponibili in commercio. Ciò che rende l'applicazione della legge particolarmente difficile è che molte di queste applicazioni non si pubblicizzano apertamente come strumenti di "nudificazione". Invece, si presentano come innocue app di scambio di volti o di fotoritocco. Le capacità di generazione di immagini esplicite rimangono spesso nascoste fino dopo l'installazione o dietro acquisti in-app, rendendo la moderazione automatizzata significativamente più difficile.

      Ricerche pubblicate all'inizio di quest'anno hanno trovato che un gran numero di app di scambio di volti apparentemente ordinarie potevano comunque generare deepfake espliciti nonostante non si pubblicizzassero in quel modo. In molti casi, i ricercatori hanno trovato poche o nessuna misura di protezione contro l'abuso.

      Quella distinzione è diventata centrale nel dibattito che ora affrontano Apple e Google.

      Entrambe le aziende sostengono che le loro politiche vietano chiaramente la pornografia e i contenuti sessualmente sfruttatori. Tuttavia, i critici sostengono che le politiche da sole non sono più sufficienti quando le applicazioni di IA possono mascherare funzionalità dannose dietro caratteristiche altrimenti legittime. L'ufficio dell'avvocato della città sostiene anche che Apple e Google traggono vantaggio finanziario da queste app attraverso commissioni sugli acquisti in-app, sostenendo che gli operatori delle piattaforme hanno una maggiore responsabilità nell'identificare e rimuovere queste app prima che raggiungano gli utenti.

      Apple App Store Unsplash

      Per Apple, le ultime rimozioni possono aiutare ad affrontare le critiche immediate, ma è improbabile che pongano fine alla conversazione più ampia. Con l'IA generativa che diventa più economica, veloce e sempre più capace di produrre media sintetici realistici, la revisione delle app non riguarda più solo il controllo degli screenshot o delle descrizioni degli sviluppatori. Ora richiede di identificare cosa un modello di IA può essere persuaso a generare dopo l'installazione, un compito considerevolmente più difficile rispetto alla moderazione tradizionale.

      Quella sfida è improbabile che scompaia presto, e nemmeno le domande che vengono poste alle aziende che gestiscono i più grandi app store del mondo.