El CEO de Anthropic no sabe si Claude atacó la escuela en Irán.

      El CEO de Anthropic, Dario Amodei, dijo que no sabe qué papel jugó el modelo de IA de su empresa, Claude, en un ataque con misiles que mató a un estimado de 120 niños en una escuela primaria en Minab, Irán, el 28 de febrero. En una entrevista en The Circuit de Bloomberg con Emily Chang, describió el ataque como “una cosa realmente terrible que sucedió”, pero dijo que el caso de uso no violaba las políticas de Anthropic.

      “No tenemos acceso, no sabemos exactamente cómo se utilizaron estos modelos”, dijo Amodei. “El principio que hemos establecido, y creo que el principio que se obedeció aquí, es que un humano toma la decisión final.”

      Cómo encaja Claude en la cadena de muerte

      El Comando Central de EE. UU. está utilizando una plataforma de apuntado asistida por IA llamada Maven Smart System, construida por Palantir bajo un contrato del Pentágono de 1.3 mil millones de dólares. El sistema utiliza a Claude y otras herramientas de IA para generar objetivos, clasificarlos por importancia estratégica y ayudar a emparejar armas con objetivos.

      CENTCOM atacó 1,000 objetivos en las primeras 24 horas de operaciones contra Irán y, según informes, 13,000 para el 6 de abril, poco más de un mes después de que comenzara la campaña. La escala y velocidad de ese apuntado es el punto: Maven está diseñado para comprimir el tiempo entre identificar un objetivo y atacarlo.

      El ataque a la escuela de Minab

      Amnistía Internacional informó que la Escuela Primaria Shajareh Tayyebeh en Minab fue golpeada el primer día de las operaciones de EE. UU. en Irán, matando al menos a 120 niños y a más de 150 personas en total. Las investigaciones de Amnistía, Human Rights Watch y varias organizaciones de noticias concluyeron que probablemente se utilizó un misil Tomahawk fabricado en EE. UU.

      El 💜 de la tecnología de la UE

      Los últimos rumores de la escena tecnológica de la UE, una historia de nuestro sabio fundador Boris, y un arte de IA cuestionable. Es gratis, cada semana, en tu bandeja de entrada. ¡Regístrate ahora!

      El Pentágono no ha reclamado públicamente la responsabilidad por el ataque, pero está investigando el incidente. El Secretario de Defensa, Pete Hegseth, prometió una “investigación exhaustiva” en marzo, en lo que el Washington Post describió como un reconocimiento tácito de la responsabilidad de EE. UU.

      La brecha de conocimiento

      La admisión de Amodei de que no sabe cómo se utilizó a Claude en el ataque refleja un problema más amplio. Las empresas de IA están vendiendo herramientas cada vez más poderosas al ejército, pero tienen visibilidad limitada sobre cómo se despliegan esas herramientas en combate.

      Hamza Chaudhry, del Future of Life Institute, advirtió que los procesos de apuntado de IA podrían acelerarse tanto que la toma de decisiones nominalmente humana se reduzca a poco más que un “sello de goma”. La escala ampliada del combate, dijo, podría resultar en la pérdida de muchas más vidas.

      El hombre que construyó Maven está de acuerdo

      Jack Shanahan, el teniente general retirado de la Fuerza Aérea que creó el Proyecto Maven, expresó preocupaciones similares en un taller de la Universidad de Stanford la semana pasada. Advirtió que integrar a Claude en Maven Smart System podría llevar a “impactos inesperados” y diluir el papel del juicio humano.

      “Si tomas más decisiones en lugar de las decisiones correctas, puedes tener un proceso de toma de decisiones muy defectuoso”, dijo Shanahan. “Puedes tener mil objetivos, pero ¿son los objetivos correctos?”

      El enfrentamiento de Anthropic con el Pentágono

      Amodei provocó un enfrentamiento con la administración Trump a principios de este año al negarse a permitir que Claude se utilizara en armas totalmente autónomas o en vigilancia masiva doméstica. El Pentágono respondió designando a Anthropic como un riesgo en la cadena de suministro, y Anthropic presentó una demanda que sigue en curso.

      Un juez federal en California bloqueó el esfuerzo del Pentágono por cortar lazos con Anthropic, dictaminando que violaba los derechos constitucionales de la empresa. Pero un tribunal de apelaciones separado en Washington negó la solicitud de Anthropic de un bloqueo temporal sobre la lista negra mientras el caso se desarrolla.

      Las banderas

      Amodei dijo que el “principio” de la toma de decisiones humanas fue “obedecido” en el ataque de Minab, pero también dijo que no sabe qué papel jugó Claude. Esas dos declaraciones son difíciles de reconciliar: si no sabes cómo se utilizó el modelo, no puedes saber si se obedeció el principio.

      El argumento de que un humano toma la decisión final no aborda la preocupación de que el apuntado acelerado por IA puede producir tantos objetivos tan rápidamente que la revisión humana se vuelva rutinaria en lugar de significativa. Las propias cifras de CENTCOM, 13,000 objetivos en cinco semanas, respaldan esa preocupación.

      La posición de Anthropic también es estructuralmente contradictoria. Trazó una línea roja en armas autónomas y vigilancia masiva, demandó al gobierno por una lista negra, y sin embargo, su IA está incrustada en la plataforma de apuntado utilizada para atacar 13,000 objetivos en una campaña que mató a niños en una escuela. Si Claude contribuyó a ese ataque específico es desconocido, pero es parte del sistema que lo produjo.