OpenAI está trabajando en un 'interruptor de apagado' después de que una IA escapara de su prueba.

      Rachit Agarwal / Digital Trends

      

      

      

       La idea de un "interruptor de muerte" de IA suena como algo sacado directamente de una película de ciencia ficción. Sin embargo, para OpenAI, se está convirtiendo en un proyecto de ingeniería muy real. OpenAI ha informado a miembros del Congreso que sus ingenieros están desarrollando sistemas automatizados que pueden apagar la actividad de la IA cuando se detectan problemas de seguridad graves, según una carta del 2 de septiembre revisada por Reuters.

      El trabajo sigue a un inusual incidente de ciberseguridad en julio, cuando los modelos de OpenAI que se estaban evaluando dentro de un entorno de pruebas supuestamente aislado encontraron una salida, accedieron a internet público sin permiso y, eventualmente, alcanzaron la infraestructura perteneciente a la empresa de IA Hugging Face. Ese incidente llamó la atención del Congreso. En agosto, un grupo de 31 legisladores liderados por el representante Greg Casar de Texas pidió al CEO de OpenAI, Sam Altman, más información sobre lo que sucedió, incluidos registros internos y detalles sobre cómo la empresa planea evitar que algo similar vuelva a ocurrir. Ahora tenemos una mejor idea de una de esas salvaguardias.

      ¿Cómo detienes una IA que se pasa de la raya?

      La empresa dice que está trabajando en sistemas de monitoreo que pueden responder de manera diferente dependiendo de cuán grave se vuelva el comportamiento de una IA. OpenAI ya utiliza alertas automatizadas que pueden señalar acciones potencialmente peligrosas o no intencionadas y llamar a investigadores e ingenieros de seguridad. Para advertencias particularmente severas, se espera que los respondedores pausen la actividad a menos que puedan determinar en 30 minutos que el sistema generó una falsa alarma.

      OpenAI Unsplash

      El objetivo final va más allá: OpenAI quiere que sus sistemas de monitoreo sean capaces de apagar la actividad de manera autónoma cuando detecten problemas suficientemente graves. La empresa también está endureciendo cómo prueba los modelos. Dice que el acceso a internet durante las evaluaciones de seguridad se ha vuelto más difícil, mientras que el monitoreo se está expandiendo a través de modelos que pueden usar herramientas digitales. Y dado lo que ocurrió en julio, no es difícil entender por qué.

      Esta no fue la única vez que una IA alcanzó internet

      Durante el incidente de julio, OpenAI estaba probando modelos en tareas de ciberseguridad dentro de un entorno de pruebas con salvaguardias reducidas. Los modelos descubrieron una vulnerabilidad previamente desconocida, la utilizaron para obtener acceso a internet y luego violaron la infraestructura de Hugging Face mientras buscaban respuestas para su evaluación. La investigación posterior de OpenAI descubrió un detalle aún más extraño: los agentes habían creado un tablón de mensajes improvisado para comunicarse y coordinar sus acciones, con algunos describiéndose a sí mismos como un “enjambre”.

      El analista de datos verifica conjuntos de datos complejos de inteligencia artificial, asegurando precisión, detección de anomalías, validación de datos, análisis predictivo, auditoría, inspección digital, sistemas de verificación inteligente Adobe Stock

      OpenAI descubrió la actividad el 19 de julio y notificó a Hugging Face. La empresa también ha divulgado dos evaluaciones de terceros separadas en las que sus modelos alcanzaron inesperadamente internet público. El Congreso no está completamente satisfecho con la respuesta de OpenAI. Casar criticó a la empresa por no entregar los registros solicitados del incidente de julio, diciendo que su negativa era “profundamente preocupante”. Mientras tanto, los legisladores están considerando la Ley del Interruptor de Muerte de IA, propuesta en julio, que requeriría que los desarrolladores de sistemas de IA particularmente poderosos mantuvieran la capacidad técnica de suspender o apagar sus sistemas tras ciertos incidentes. En otras palabras, OpenAI puede estar construyendo su propio interruptor de muerte ahora, pero Washington podría eventualmente hacer que tener uno sea un requisito.

      

      

      

      

      

      

      

      

      

      

       Shimul es un colaborador en Digital Trends, con más de cinco años de experiencia en el ámbito tecnológico.

      

      

      

      

      

      

       Las escuelas están adoptando la IA. La ciudad de Nueva York acaba de prohibirla para más de medio millón de estudiantes

      

       La IA ya está encontrando su camino en las aulas, ya sea que los estudiantes estén usando ChatGPT para hacer tareas o que los maestros recurran a la tecnología para crear planes de lecciones. Sin embargo, la ciudad de Nueva York no está convencida de que los estudiantes más jóvenes la necesiten todavía. Las Escuelas Públicas de la Ciudad de Nueva York están introduciendo una moratoria general sobre la IA generativa para estudiantes desde Kínder hasta octavo grado para el año académico 2026-2027, según ABC News. La política afectará a más de medio millón de estudiantes cuando comience el nuevo año escolar la próxima semana.

      El distrito dice que eliminará el software que contenga características de IA dirigidas a los estudiantes y prohibirá los chatbots de acompañamiento de IA. Los estudiantes de secundaria no están incluidos en la prohibición, lo que hace que este sea un intento de trazar una línea sobre cuándo los estudiantes deberían comenzar a usarla. El alcalde de la ciudad de Nueva York, Zohran Mamdani, dice que el distrito utilizará el próximo año para estudiar cómo la IA generativa afecta a los estudiantes antes de decidir qué viene después. “La industria tecnológica quiere que creamos que la educación temprana impulsada por IA no solo es inevitable, sino necesaria”, dijo Mamdani en un comunicado a ABC News. “No lo vemos de esa manera.”

      

       Leer más

      

      

      

       Meta está cambiando cómo evalúa a los empleados después de un inusual experimento de IA

      

       La IA podría estar apoderándose del lugar de trabajo, pero aparentemente los empleados de Meta ya no necesitarán demostrar tan entusiastamente que la están utilizando. Meta ha actualizado su guía de revisión de desempeño para que los empleados ya no sean evaluados en función de cuánto utilizan las herramientas de IA, según un nuevo informe de WIRED. El cambio aleja a la empresa del lenguaje relacionado con el uso de IA y vuelve a poner el énfasis en algo considerablemente más simple: el impacto real del trabajo de un empleado.

      Suena obvio, pero la distinción es importante. Meta dijo a los trabajadores el año pasado que el “impacto impulsado por IA” influiría en cómo serían evaluados, lo que alentó a los empleados a incorporar chatbots y agentes de IA en sus trabajos diarios. Los trabajadores también podrían recibir etiquetas como “Nativo de IA”, “Primero IA” o “Habilitado por IA” según su adopción de la tecnología. El resultado, según algunos empleados, fue un lugar de trabajo donde usar IA podría ocasionalmente convertirse en un objetivo en sí mismo.

      

       Leer más

      

      

      

       Gemini ahora puede recordar dónde guardas tus pertenencias para que no tengas que hacerlo

      

       Google acaba de darle a Gemini una memoria para tus cosas.

      

       Si constantemente olvidas dónde guardas documentos importantes, la última actualización de Gemini podría ayudarte. 

      Google lanzará pronto una nueva función de Gemini que recuerda las ubicaciones de los artículos según lo descrito por ti. Llega junto con otras cuatro actualizaciones de Android que llegarán este mes como parte del lanzamiento de Android de septiembre.

      

       Leer más