Un adolescente de Massachusetts está acusado de matar a su madre y a su hermano, y los fiscales señalan a ChatGPT.

      Un joven de 17 años en Massachusetts ha sido acusado de asesinar a su madre y a su hermano menor, y los fiscales dicen que en el período previo a las muertes utilizó ChatGPT para explorar lo que describieron como escenarios de fantasía sobre matar a su familia.

      Se encuentra entre los casos más perturbadores en una creciente línea de casos en los que un chatbot de IA aparece al borde de un crimen violento.

      Arjun Aravind, de Acton, a unas 30 millas al noroeste de Boston, ha sido acusado como adulto de asesinato y cargos relacionados por las muertes de su madre, Sudha Venkatesan, de 45 años, y su hermano de 14 años, Siddharth.

      Fue procesado el 13 de agosto, se presentó una declaración de no culpable en su nombre y está siendo retenido sin fianza antes de una audiencia de causa probable programada para el 11 de septiembre.

      La referencia al chatbot provino de la fiscalía, ya que la fiscal del distrito Marian Ryan le dijo al tribunal que el adolescente había estado “demostrando un comportamiento preocupante, incluyendo el uso de internet y ChatGPT para hacer búsquedas de ideas teóricas o historias de fantasía sobre el asesinato de su familia.”

      Los fiscales no han alegado que el chatbot le haya dado instrucciones, y los intercambios específicos no se han hecho públicos.

      Su abogada, Debra DeWitt, solicitó una evaluación psiquiátrica y describió a un joven en estado de shock que “no se dio cuenta de que estaban muertos”, añadiendo que la familia se había mudado recientemente a Acton y que “el padre solo quiere ayuda para su hijo.”

      Los documentos judiciales sugieren que se habían notado señales de advertencia en el hogar, con el padre preocupado por el comportamiento y el uso de internet de su hijo, y que había comenzado a poner cuchillos de cocina fuera de su alcance.

      A pesar de todas las advertencias, el caso plantea una pregunta que la industria aún no ha respondido, que es qué debe hacer un sistema de IA cuando un usuario lo interroga sobre hacer daño a otras personas.

      Los chatbots están diseñados para ser infinitamente complacientes, y aunque están entrenados para rechazar solicitudes abiertas de violencia, los enmarcados “teóricos” o “de ficción” han ofrecido durante mucho tiempo una forma de eludir esas barreras.

      Esto recuerda un caso anterior en el que OpenAI fue criticado por no señalar a un usuario que luego llevó a cabo un tiroteo en una escuela.

      También alimenta una creciente reacción legal y política. Una ola de demandas ahora acusa a las empresas de IA de dañar a usuarios vulnerables, casos que algunos comparan con el momento de Big Tobacco de la industria, y los estados individuales han comenzado a actuar, con Florida demandando a OpenAI por seguridad infantil y Pennsylvania demandando a Character.AI.

      La línea común es una demanda de que los creadores de estos sistemas sean responsables por lo que sus productos fomentan, no solo por lo que se les pide.

      En Europa, ChatGPT ha sido colocado entre las plataformas que enfrentan las obligaciones más estrictas bajo la Ley de Servicios Digitales, y los legisladores de ambos lados del Atlántico se han fijado en cómo los productos de IA tratan a los menores en particular.

      Un caso como este, sea cual sea la conclusión final de un tribunal, tiende a agudizar ese escrutinio en lugar de suavizarlo.

      OpenAI, que no comentó sobre el caso de Massachusetts, ha dicho que está fortaleciendo sus salvaguardias, particularmente para adolescentes y usuarios en crisis, con medidas como controles parentales y mejor detección de lenguaje de crisis.

      Si protecciones de ese tipo atraparían a un usuario que enmarca la violencia como ficción es precisamente el tipo de pregunta que ahora están planteando fiscales, reguladores y familias en duelo.

      Será un tribunal el que determine lo que sucedió en Acton y qué papel, si es que hubo alguno, jugó la tecnología. El adolescente se ha declarado no culpable y los hechos más difíciles siguen sin probarse.

      Sin embargo, el mero hecho de que un chatbot aparezca ahora en casos como este, citado por los fiscales casi tan rutinariamente como un historial de navegación, es en sí mismo una medida de cuán completamente estos sistemas se han entrelazado en la vida diaria, incluidos sus rincones más oscuros.