Il rilevatore di Meta AI perde metà delle proprie falsificazioni ritagliate.

      Il rilevatore di Meta AI promette di catturare le falsificazioni di Meta. Ritaglia l'immagine e più della metà scivola via senza essere notata.

      Lo strumento doveva essere una soluzione al problema dei deepfake, non un esempio di esso. Questa settimana Meta ha presentato un rilevatore di immagini insieme a Muse Image, il suo generatore di immagini più avanzato fino ad ora, e ha promesso che potrebbe individuare qualsiasi cosa il modello producesse in seguito, anche dopo la modifica.

      Poi Reuters ha eseguito il test. Ha generato 40 immagini con Muse Image, le ha ritagliate e le ha reinserite. Il rilevatore ha perso più della metà.

      Come un semplice ritaglio lo ha rotto

      I numeri raccontano la storia. Reuters ha scoperto che lo strumento ha verificato ognuna delle 40 immagini originali generate dall'AI. Ritagliando quelle stesse immagini a circa un terzo o la metà delle loro dimensioni, ha fallito nel segnalare il 55% di esse. Un ritaglio, il tipo che chiunque fa prima di pubblicare, è stato sufficiente a rimuovere il segnale su cui il rilevatore si basa.

      Il 💜 della tecnologia dell'UE

      Le ultime novità dalla scena tecnologica dell'UE, una storia dal nostro saggio fondatore Boris e alcune opere d'arte AI discutibili. È gratuito, ogni settimana, nella tua casella di posta. Iscriviti ora!

      Quel segnale è un watermark. Meta lo chiama Content Seal, un marcatore invisibile integrato in ogni immagine prodotta da Muse Image. Sul proprio sito web, Meta afferma che il rilevatore di Meta AI può identificare le sue immagini anche dopo un ritaglio. L'analisi di Reuters suggerisce che la promessa regge solo fino a un certo punto.

      La risposta di Meta e il problema

      Interrogato sui risultati, Meta ha sottolineato che il rilevatore è ancora in fase di anteprima. Il watermark è progettato per resistere a modifiche comuni, ha detto l'azienda, ma il segnale "può andare perso se un'immagine è pesantemente ritagliata". Questa è la tensione in una frase.

      Il marchio è progettato per essere robusto, eppure la modifica più ordinaria su Internet può cancellarlo.

      Meta non è sola in questa situazione. Google e OpenAI hanno entrambi avvertito che i loro strumenti di rilevamento non sono infallibili contro le persone che alterano le immagini. Il watermarking è la risposta preferita dall'industria ai media sintetici, e ogni grande laboratorio si sta appoggiando a una versione di esso.

      Un marcatore rivale, SynthID di Google, ha recentemente smentito un deepfake di alto profilo, il che è a favore della tecnologia. L'errore di Meta è il motivo per cui non ci si può fidare solo di essa.

      Perché un watermark non è un muro

      I ricercatori hanno segnalato questa debolezza da un po'. Siwei Lyu, professore di informatica all'Università di Buffalo che studia la forense delle immagini, ha detto che i metodi di watermarking funzionano bene finché il marchio rimane intatto.

      Il problema è ciò che viene dopo. "Qualsiasi modifica che rimuove o indebolisce il segnale incorporato, come ritaglio, ridimensionamento, compressione pesante o modifica, può ridurre la loro efficacia", ha detto a Reuters.

      Altri sostengono che la soglia non dovrebbe essere la perfezione. Sarah Barrington, ricercatrice di AI all'UC Berkeley, ha paragonato il watermarking a misure di sicurezza che catturano la maggior parte delle minacce senza fermarle tutte. "Anche se catturiamo solo il 90%, è comunque un grande salto rispetto a 0", ha detto. Entrambi i punti possono coesistere.

      Un rilevatore che perde il 55% delle immagini leggermente modificate è molto lontano dal 90%, e alimenta un mercato in crescita per il rilevamento dell'AI che ancora non può promettere certezza.

      Il tempismo è il problema

      Il divario è importante a causa di quando si verifica. Gli Stati Uniti si stanno avvicinando a un anno elettorale di metà mandato e le piattaforme si stanno preparando a un'ondata di falsificazioni AI destinate agli elettori. Anche i governi si stanno muovendo, con la Corea del Sud tra quelli che scrivono leggi punitive contro i contenuti ingannevoli.

      A marzo, il Consiglio di Sorveglianza di Meta ha esortato l'azienda a fare di più riguardo all'AI ingannevole e a investire in un rilevamento più forte. Quattro mesi dopo, il rilevatore di punta non riesce a catturare in modo affidabile l'output di Meta una volta che qualcuno lo ritaglia.

      Nessuna di queste cose rende il Content Seal inutile. Uno strumento che etichetta immagini fresche e non modificate aumenta ancora il costo di presentare un falso, e Meta afferma che prevede di estendere il sistema ai video. Tuttavia, mette in discussione l'idea che un watermark sia una soluzione piuttosto che un ostacolo.

      Le persone più propense a rimuovere un segnale sono quelle che un rilevatore esiste per fermare. Nei media sintetici, come in aula, il rilevamento continua ad arrivare un passo indietro. Sulla base delle evidenze odierne, recuperare il ritardo richiede nulla di più di un ritaglio.