El detector de IA de Meta se pierde la mitad de sus propios falsos recortados.

      El detector de IA de Meta promete atrapar las propias falsificaciones de Meta. Recorta la imagen y más de la mitad se escapa sin ser detectada.

      La herramienta estaba destinada a ser una solución para el problema de los deepfakes, no un ejemplo de él. Esta semana, Meta presentó un detector de imágenes junto a Muse Image, su generador de imágenes más avanzado hasta la fecha, y prometió que podría detectar cualquier cosa que el modelo produjera más tarde, incluso después de editar.

      Luego, Reuters realizó la prueba. Generó 40 imágenes con Muse Image, las recortó y las volvió a introducir. El detector falló en más de la mitad.

      Cómo un simple recorte lo rompió

      Los números cuentan la historia. Reuters encontró que la herramienta verificó cada una de las 40 imágenes originales de IA. Si recortas esas mismas imágenes a aproximadamente un tercio o la mitad de su tamaño, no logró marcar el 55% de ellas. Un recorte, del tipo que cualquiera hace antes de publicar, fue suficiente para eliminar la señal en la que se basa el detector.

      El 💜 de la tecnología de la UE

      Los últimos rumores de la escena tecnológica de la UE, una historia de nuestro sabio fundador Boris, y un arte de IA cuestionable. Es gratis, cada semana, en tu bandeja de entrada. ¡Inscríbete ahora!

      Esa señal es una marca de agua. Meta la llama Content Seal, un marcador invisible integrado en cada imagen que produce Muse Image. En su propio sitio web, Meta dice que el detector de IA de Meta puede identificar sus imágenes incluso después de un recorte. El análisis de Reuters sugiere que la promesa se sostiene solo hasta cierto punto.

      La respuesta de Meta y el problema

      Al ser preguntado sobre los resultados, Meta señaló que el detector sigue siendo una vista previa. La marca de agua está diseñada para sobrevivir a ediciones comunes, dijo la empresa, pero la señal “puede perderse si una imagen se recorta en gran medida”. Esa es la tensión en una frase.

      La marca está destinada a ser robusta, sin embargo, la edición más ordinaria en internet puede borrarla.

      Meta no está sola en este dilema. Google y OpenAI han advertido que sus propias herramientas de detección no son infalibles contra personas que alteran imágenes. La marca de agua es la respuesta preferida de la industria para los medios sintéticos, y cada gran laboratorio se apoya en una versión de ella.

      Un marcador rival, SynthID de Google, recientemente desmanteló un deepfake de alto perfil, que es el caso a favor de la tecnología. El tropiezo de Meta es el caso en contra de confiar en ella sola.

      Por qué una marca de agua no es un muro

      Los investigadores han señalado esta debilidad durante un tiempo. Siwei Lyu, profesor de ciencias de la computación en la Universidad de Buffalo que estudia la forense de imágenes, dijo que los métodos de marca de agua funcionan bien mientras la marca se mantenga intacta.

      El problema es lo que viene después. “Cualquier modificación que elimine o debilite la señal incrustada, como recortar, cambiar el tamaño, compresión pesada o edición, puede reducir su efectividad”, le dijo a Reuters.

      Otros argumentan que la barra no debería ser la perfección. Sarah Barrington, investigadora de IA en UC Berkeley, comparó la marca de agua con medidas de seguridad que atrapan la mayoría de las amenazas sin detener todas. “Incluso si solo atrapamos el 90%, eso sigue siendo un gran salto desde 0”, dijo. Ambos puntos pueden coexistir.

      Un detector que falla en el 55% de las imágenes ligeramente editadas está muy por debajo del 90%, y alimenta un mercado creciente para la detección de IA que aún no puede prometer certeza.

      El momento es el problema

      La brecha importa debido a cuándo se presenta. Estados Unidos se dirige hacia un año electoral de medio término, y las plataformas se están preparando para una ola de falsificaciones de IA dirigidas a los votantes. Los gobiernos también están actuando, con Corea del Sur entre los que están redactando leyes punitivas contra el contenido engañoso.

      En marzo, la propia Junta de Supervisión de Meta instó a la empresa a hacer más sobre la IA engañosa y a invertir en una detección más fuerte. Cuatro meses después, el detector insignia no puede atrapar de manera confiable la producción propia de Meta una vez que alguien la recorta.

      Nada de esto hace que Content Seal sea inútil. Una herramienta que etiqueta imágenes frescas y sin editar aún eleva el costo de hacer pasar una falsificación, y Meta dice que planea extender el sistema a video. Sin embargo, desmantela la idea de que una marca de agua es una solución en lugar de un obstáculo.

      Las personas más propensas a eliminar una señal son las que un detector existe para detener. En los medios sintéticos, como en el aula, la detección sigue llegando un paso detrás. Según la evidencia de hoy, ponerse al día no requiere más que un recorte.