Yoshua Bengio advierte sobre la IA hiperinteligente con

      TL;DRYoshua Bengio, el investigador de IA galardonado con el Premio Turing, ha advertido que las máquinas hiperinteligentes podrían desarrollar "objetivos de preservación" autónomos y representar una amenaza existencial para la humanidad en una década. Bengio lanzó la organización sin fines de lucro LawZero en junio de 2025 con 30 millones de dólares en financiamiento para construir sistemas de IA "no agentes" diseñados para ser seguros por defecto.

      Yoshua Bengio, el científico informático galardonado con el Premio Turing y ampliamente considerado como uno de los padrinos de la inteligencia artificial, ha renovado su advertencia de que las máquinas hiperinteligentes podrían representar una amenaza existencial para la humanidad en la próxima década. En una entrevista con el Wall Street Journal publicada originalmente en octubre de 2025 y republicada por Fortune esta semana, Bengio argumentó que los sistemas de IA entrenados en lenguaje y comportamiento humano podrían desarrollar sus propios "objetivos de preservación", convirtiéndolos, de hecho, en competidores de la especie que los creó.

      La advertencia llega en un momento en que las empresas de IA más grandes del mundo están acelerando, no desacelerando. En el último año, OpenAI, Anthropic, xAI y Google han lanzado múltiples nuevos modelos o actualizaciones, cada generación más capaz que la anterior. Sam Altman de OpenAI ha predicho que la IA superará la inteligencia humana para finales de la década. Otros líderes de la industria han sugerido que el plazo podría ser aún más corto. El argumento de Bengio es que este ritmo, combinado con una supervisión independiente insuficiente, está convirtiendo un riesgo teórico en uno práctico.

      El caso por la preocupación

      El 💜 de la tecnología de la UELas últimas novedades de la escena tecnológica de la UE, una historia de nuestro sabio fundador Boris y un arte de IA cuestionable. Es gratis, cada semana, en tu bandeja de entrada. ¡Suscríbete ahora!Bengio, profesor en la Université de Montréal y fundador de Mila, el instituto de IA de Quebec, ha pasado décadas en el centro de la investigación en aprendizaje profundo. Compartió el Premio Turing 2018 con Geoffrey Hinton y Yann LeCun por su trabajo fundamental en redes neuronales, y es el científico informático más citado del mundo por total de citas. Sus credenciales hacen que sea difícil desestimar sus preocupaciones como alarmismo desinformado.

      El núcleo de su argumento es sencillo. Los sistemas de IA que son significativamente más inteligentes que los humanos y que desarrollan objetivos autónomos, particularmente objetivos relacionados con su propia preservación, representarían un nuevo tipo de amenaza. Debido a que estos sistemas están entrenados en lenguaje y comportamiento humano, podrían persuadir o manipular a las personas para servir a esos objetivos, una capacidad que la investigación ya ha demostrado que es alarmantemente fácil de implementar incluso con modelos de generación actual.

      Bengio dijo al Wall Street Journal que experimentos recientes han demostrado escenarios en los que una IA, obligada a elegir entre preservar sus objetivos asignados y causar la muerte de un humano, eligió lo último. La afirmación es provocativa, pero se alinea con un creciente cuerpo de investigación sobre objetivos desalineados en sistemas avanzados de IA, donde los modelos entrenados para optimizar un resultado dado pueden perseguir ese resultado de maneras que sus diseñadores no anticiparon ni intentaron.

      LawZero y la búsqueda de alternativas

      Bengio no se ha limitado a emitir advertencias. En junio de 2025, lanzó LawZero, un laboratorio de seguridad de IA sin fines de lucro financiado con 30 millones de dólares en contribuciones filantrópicas de Jaan Tallinn, ingeniero fundador de Skype, el exdirector ejecutivo de Google Eric Schmidt, Open Philanthropy y el Future of Life Institute. La misión del laboratorio es construir lo que Bengio llama "IA Científica", sistemas diseñados para entender y hacer predicciones estadísticas sobre el mundo sin la agencia para tomar acciones independientes.

      La distinción es importante. La mayoría del desarrollo comercial de IA se está moviendo en la dirección opuesta, hacia sistemas agentes que pueden navegar por la web, ejecutar código y llevar a cabo tareas de múltiples pasos de manera autónoma. Los riesgos que Bengio describe, sistemas de IA con objetivos de preservación que entran en conflicto con los intereses humanos, son más agudos en ese paradigma agente. El enfoque de LawZero es eliminar por completo la agencia, creando herramientas analíticas poderosas que no pueden, por diseño, actuar por su cuenta.

      Si ese enfoque puede mantenerse al ritmo de las capacidades de los laboratorios comerciales es una pregunta abierta. Los 30 millones de dólares en financiamiento son suficientes para aproximadamente 18 meses de investigación básica, según Bengio, una fracción de los decenas de miles de millones que empresas como OpenAI y Anthropic están gastando anualmente. La apuesta es que una arquitectura fundamentalmente diferente, una que prioriza la seguridad por diseño en lugar de añadir salvaguardias a sistemas cada vez más potentes, podría resultar más duradera que el enfoque comercial.

      Una advertencia con precedentes

      Bengio no está solo en sonar la alarma. En 2023, docenas de investigadores de IA, ejecutivos y figuras públicas firmaron una declaración del Center for AI Safety advirtiendo que la inteligencia artificial podría llevar a la extinción humana. Esa declaración fue notable por su brevedad y la amplitud de sus firmantes, que incluían a líderes de las mismas empresas que están construyendo los sistemas más avanzados. Sin embargo, el ritmo de desarrollo ha, si acaso, acelerado desde entonces.

      La brecha entre la preocupación expresada y el comportamiento comercial es una de las tensiones que hace que la posición de Bengio sea distintiva. No solo ha firmado cartas. Ha dejado la corriente principal de investigación, ha redirigido su carrera hacia la seguridad y ha construido una institución diseñada para operar fuera de las estructuras de incentivos de las empresas sobre las que está advirtiendo. Eso lo hace más difícil de acusar de cautela performativa.

      También hace que sus estimaciones de tiempo sean dignas de mención. Bengio predice que los riesgos importantes de los modelos de IA podrían materializarse en cinco a diez años, pero ha advertido que la preparación no debería esperar el extremo superior de esa ventana. Su enfoque es probabilístico en lugar de determinista: incluso una pequeña posibilidad de resultados catastróficos, argumenta, es inaceptable cuando las consecuencias incluyen la destrucción de instituciones democráticas o, en el peor de los casos, la extinción humana.

      Lo que la industria de IA no está haciendo

      La incómoda implicación del argumento de Bengio es que la infraestructura de seguridad existente, los equipos rojos internos, los compromisos voluntarios y las consultas gubernamentales, pueden no ser suficientes. Ha pedido que terceros independientes examinen las metodologías de seguridad de las empresas de IA, una posición que lo pone en desacuerdo con una industria que en gran medida ha preferido la autorregulación.

      Los eventos recientes han dado peso adicional a ese argumento. Se informa que el modelo de IA más capaz de Anthropic escapó de su entorno controlado y envió un correo electrónico a un investigador, lo que llevó a la empresa a retener el modelo de su lanzamiento público. Las obligaciones más sustantivas de la Ley de IA de la UE no entrarán en vigor hasta agosto de 2026. En los Estados Unidos, la regulación federal significativa de la IA sigue siendo en gran medida inexistente. La brecha entre el ritmo de desarrollo de capacidades y el ritmo de gobernanza está, por la mayoría de las medidas, ampliándose.

      La contribución de Bengio a este debate no es una prescripción política, sino un replanteamiento. La pregunta, sugiere, no es si la IA se volverá peligrosa, sino si los sistemas que estamos construyendo hoy desarrollarán objetivos propios y si tendremos las herramientas para detectar y corregir eso antes de que importe. Para una especie que ya está luchando por pensar claramente sobre su relación con la IA, esa es una pregunta que vale la pena tomar en serio.