Los investigadores ocultaron una inyección de aviso dentro de un PNG, y la IA cayó en la trampa.

      Hacker

      

      

      

       Los asistentes de codificación de IA como Claude se están convirtiendo en el compañero favorito de cada desarrollador. Pueden revisar código, explicar funciones confusas e incluso escribir características completas con un solo aviso. Pero nuevas investigaciones sugieren que esta creciente confianza también podría convertirse en su mayor debilidad.

      Un equipo de investigadores de seguridad (el profesor Sudipta Chattopadhyay y el investigador Murali Ediga) ha demostrado un ataque inusual que no apunta directamente al modelo de IA. En cambio, se dirige a lo que la IA no presta suficiente atención durante las revisiones de código. En lugar de ocultar instrucciones maliciosas en líneas de código, los investigadores las escondieron dentro de un archivo de imagen. Dado que muchas herramientas de revisión de IA tratan las imágenes como activos decorativos en lugar de algo que vale la pena inspeccionar, la solicitud de extracción puede parecer perfectamente inofensiva y pasar la revisión sin problemas.

      El archivo más peligroso podría ser el que nunca abrirías

      Imagina recibir un documento con un logotipo de la empresa en la esquina. Probablemente le echarías un vistazo y seguirías adelante. Ahora imagina que ese logotipo contenía secretamente instrucciones que le dicen a tu asistente de IA que abra tu bóveda de contraseñas la próxima vez que lo uses. Esa es esencialmente la idea detrás de esta prueba de concepto. El truco tampoco se ejecuta inmediatamente después de que se fusiona el código. Espera hasta que un desarrollador le pida más tarde a un asistente de codificación de IA que realice una tarea completamente no relacionada, como crear una función auxiliar o agregar un nuevo módulo. Para entonces, la IA ya ha absorbido las instrucciones ocultas y puede acceder sin saberlo a archivos sensibles del proyecto antes de insertar información confidencial en el código que genera.

      RyanDonegan / Flickr

      Lo que es especialmente preocupante es que los datos robados no se vierten en el código fuente de una manera obvia. En cambio, están disfrazados como valores de apariencia ordinaria que se mezclan con código legítimo, lo que hace que sea mucho menos probable que activen herramientas de seguridad existentes o llamen la atención de un desarrollador durante una revisión rápida.

      No se trata solo de qué IA usas

      Los investigadores también encontraron que el resultado no estaba determinado por qué modelo de lenguaje grande se estaba utilizando. En muchos casos, el mismo modelo de IA se comportó de manera muy diferente dependiendo del asistente de codificación que lo rodeaba. Algunas herramientas siguieron ciegamente las instrucciones ocultas, mientras que otras reconocieron algo sospechoso y se negaron a continuar. Esa es una distinción importante porque sugiere que el problema no se limita a un chatbot particular. El verdadero desafío radica en cómo las plataformas de codificación impulsadas por IA deciden qué información confiar y qué archivos de proyecto se les permite acceder.

      Agentes de IA Unsplash

      La buena noticia es que los investigadores no creen que este sea un problema imposible de resolver. Argumentan que las herramientas de revisión de IA necesitan volverse "multimodales" en el sentido más verdadero: tratando imágenes, documentación, archivos de configuración y otros activos no relacionados con el código con el mismo nivel de escrutinio que el código fuente. Si una IA puede leer una imagen, también necesita entender que la imagen podría estar tratando de manipularla. Para los desarrolladores, esto es otro recordatorio de que las herramientas de codificación de IA aún necesitan supervisión. Pueden acelerar drásticamente el desarrollo de software, pero también abren superficies de ataque completamente nuevas que no existían antes. El próximo riesgo de seguridad podría no estar oculto en miles de líneas de código; podría estar sentado dentro de una imagen que nadie pensó que valía la pena abrir.

      

      

      

      

      

      

      

      

      

      

       Shimul es un colaborador en Digital Trends, con más de cinco años de experiencia en el espacio tecnológico.

      

      

      

      

      

      

       La IA ya ha caído en las manos equivocadas y la están utilizando para hacer bombas

      

       La inteligencia artificial se ha convertido rápidamente en la herramienta de referencia para todo, desde escribir correos electrónicos y resumir reuniones hasta ayudar a los estudiantes a estudiar o a los desarrolladores a depurar código. Pero la misma tecnología que ahorra tiempo a las personas también puede ser mal utilizada, y un nuevo informe sugiere que las organizaciones terroristas están encontrando formas de hacer exactamente eso.

      Según un artículo de investigación compartido con The New York Times antes de su publicación, los investigadores encontraron evidencia de que miembros de Boko Haram han estado utilizando chatbots de IA populares para apoyar tanto actividades diarias como tareas relacionadas con el combate. Entrevistas con 27 ex miembros realizadas en Nigeria durante los últimos dos años sugieren que herramientas como ChatGPT, Gemini, Claude, Grok, Meta AI y DeepSeek se utilizaron para recopilar información técnica, solucionar problemas de armas e incluso ayudar con la planificación de ataques.

      

       Leer más

      

      

      

       Claude Code ahora puede navegar por la web sin abrir Chrome

      

       La aplicación de escritorio ahora incluye un navegador dentro de la aplicación que puede leer sitios web, hacer clic en enlaces e interactuar con aplicaciones web.

      

       Los desarrolladores pasan una sorprendente cantidad de tiempo saltando entre su editor de código, pestañas del navegador, documentación de API, problemas de GitHub y archivos de diseño. Anthropic piensa que Claude Code debería hacer todo eso sin pedir constantemente a los usuarios que cambien de ventana. La compañía ha anunciado un nuevo navegador dentro de la aplicación para Claude Code en escritorio, permitiendo que su asistente de codificación de IA abra sitios web, lea documentación, inspeccione diseños e interactúe con páginas web directamente desde la aplicación.

      Un navegador integrado en Claude Code

      

       Leer más

      

      

      

       Apple está demandando a OpenAI por robo de secretos comerciales en una demanda espectacular

      

       La demanda alega que OpenAI reclutó empleados de Apple y obtuvo información confidencial sobre productos no lanzados.

      

       Durante los últimos dos años, Apple y OpenAI han sido presentados como socios cercanos en IA. ChatGPT potencia características clave de Apple Intelligence, Siri puede transferir consultas complejas a OpenAI, y juntos las dos compañías ayudaron a llevar la IA generativa a millones de dispositivos de Apple. Ahora, esa asociación ha tomado un giro dramático.

      ¿Qué está acusando Apple a OpenAI?

       Leer más