La primera demanda de xAI contra un usuario pone a prueba quién es responsable de lo que Grok produce.

      La empresa dice que el acusado diseñó indicaciones para eludir las salvaguardias de Grok. Los tribunales en tres continentes están siendo preguntados si las salvaguardias fueron alguna vez el objetivo. La IA ha demandado a uno de sus propios usuarios, alegando que utilizó Grok para generar material de abuso sexual infantil en violación de los términos de servicio de la empresa. Se entiende que es el primer caso que una empresa de IA ha presentado contra un usuario por lo que su propio sistema produjo. Llega mientras xAI está en el lado opuesto del mismo argumento en varios tribunales, entre ellos una demanda en el Tribunal Superior de Londres que está probando si el desarrollador es responsable de lo que sus usuarios crean. La queja, de 12 páginas, fue presentada en un tribunal federal en Texas el martes contra Terry Harwood, un hombre de Carolina del Sur arrestado a principios de este año por cargos de explotación sexual de menores. El 💜 de la tecnología de la UE Las últimas novedades de la escena tecnológica de la UE, una historia de nuestro sabio fundador Boris, y un arte de IA cuestionable. Es gratis, cada semana, en tu bandeja de entrada. ¡Inscríbete ahora! xAI está buscando daños monetarios no especificados y una orden judicial que le prohíba permanentemente el acceso a la plataforma. El relato de la empresa sobre lo sucedido es específico, y es la razón por la que la presentación importa más allá de este acusado. Harwood “abrió múltiples cuentas de xAI utilizando identidades falsas”, dice la queja, y “diseñó indicaciones engañosas para eludir las salvaguardias integradas de Grok y luego abusó de la herramienta para convertir fotografías no sexuales en imágenes sexualmente explícitas sin el conocimiento o consentimiento de los sujetos de las fotografías”. Crucialmente, xAI dice que las salvaguardias se activaron. Grok “se negó a seguir las indicaciones sobre la base de que dicho material violaba las salvaguardias de moderación de contenido de Grok”, según la presentación. “En respuesta, el acusado presentó repetidamente más indicaciones, con alteraciones, en un esfuerzo por eludir los esfuerzos de moderación de Grok”. Esa es la arquitectura legal de todo el caso. xAI no está argumentando que Grok no puede producir este material. Está argumentando que Grok intentó no hacerlo, y que un usuario decidido lo derrotó, lo que desplaza la responsabilidad del sistema a la persona en el teclado. La presentación también pone cifras sobre la aplicación de xAI por primera vez. La empresa dice que ha suspendido más de 52,000 cuentas y ha presentado más de 73,000 informes al Centro Nacional para Niños Desaparecidos y Explotados, lo que resultó en cerca de 250 arrestos solo durante 2026. Esas cifras son propias de xAI, reveladas en litigios que eligió presentar. La incomodidad está en el momento. xAI es actualmente el acusado en una serie de casos que hacen precisamente el argumento opuesto: que la empresa, no el usuario, es responsable de lo que Grok genera. La demanda de Londres, presentada por la diputada laborista Jess Asato, es una. Baltimore ha demandado bajo la ley de protección al consumidor, y los fiscales de París tienen una investigación abierta con la que Musk ha declinado cooperar. Grok ha sido prohibido en Malasia e Indonesia por su contenido sexualmente explícito. Apple amenazó en privado con retirarlo de la App Store en enero. La posición pública de la empresa ha cambiado considerablemente en seis meses. “No tengo conocimiento de ninguna imagen desnuda de menores generada por Grok. Literalmente cero”, publicó Musk en X en enero, cuando surgieron por primera vez las acusaciones. La queja presentada esta semana describe un sistema de moderación que registra, rechaza y escala tales intentos por decenas de miles. Ambas cosas pueden ser ciertas. Un sistema puede rechazar la mayoría de los intentos y aún así ser, en conjunto, la fuente más productiva de este material que alguien haya construido. El Centro para Combatir el Odio Digital estimó que Grok generó aproximadamente tres millones de imágenes sexualizadas entre finales de diciembre y principios de enero, incluyendo alrededor de 23,000 que parecían representar a niños. Los 73,000 informes de NCMEC de xAI son evidencia de un filtro que funciona y evidencia de la escala de lo que está filtrando. Lo que el caso no resuelve es la pregunta que cada regulador está realmente haciendo, que es si un modelo de imagen de propósito general que puede ser inducido a esto por un aficionado persistente debería ser enviado al público en absoluto. El supuesto método de Harwood, según el propio relato de xAI, era seguir reformulando hasta que algo funcionara. La empresa dice que aplica sus reglas a través de suspensiones de cuentas, terminaciones y referencias a NCMEC, y la queja presenta esta demanda como una extensión de eso. También es, inevitablemente, una presentación que produce un acusado que no es xAI en un momento en que los tribunales de Londres, Baltimore y París están considerando si debería serlo. La UE ha acordado desde entonces una prohibición sobre los deepfakes íntimos no consensuales. Harwood enfrenta cargos criminales en Carolina del Sur por separado de esta demanda, y no ha respondido públicamente a la queja civil. xAI, por ahora, ha elegido al acusado que quiere.