Los mensajes ocultos pueden reescribir secretamente la memoria de una IA, y los investigadores dicen que ese es un problema grave.

      Los modelos de lenguaje grandes están mejorando en recordarnos. Ya sea tu estilo de escritura preferido, tareas recurrentes, hábitos de compra o plazos de proyectos, los asistentes de IA están almacenando cada vez más recuerdos a largo plazo para hacer que las conversaciones futuras se sientan más personales y útiles. Pero según una nueva investigación, esa misma característica podría convertirse en una de las mayores vulnerabilidades de seguridad de la IA.

      Investigadores de la Universidad Estatal de Nuevo México han demostrado un nuevo ataque llamado GhostWriter, capaz de plantar secretamente recuerdos falsos dentro de los agentes de IA. En lugar de robar información directamente, el ataque manipula lo que una IA recuerda, lo que podría llevarla a tomar decisiones peligrosas mucho después de que se haya llevado a cabo el ataque original.

      Es un cambio sutil pero significativo en la forma en que los sistemas de IA pueden ser comprometidos. En lugar de atacar el modelo en sí, los atacantes apuntan a su memoria.

      El ataque no hackea la IA. Cambia lo que la IA recuerda.

      Los chatbots tradicionales operan con poca o ninguna memoria entre conversaciones. Sin embargo, los agentes de IA modernos dependen cada vez más de sistemas de memoria persistente que almacenan información sobre los usuarios, proyectos en curso e interacciones anteriores. Esto permite que los asistentes proporcionen respuestas más contextuales y personalizadas con el tiempo.

      Los investigadores argumentan que estos sistemas de memoria también introducen una superficie de ataque completamente nueva. GhostWriter funciona inyectando silenciosamente información maliciosa en la memoria a largo plazo de un agente de IA a través de indicaciones ocultas o contenido externo no confiable. La información falsa permanece inactiva hasta que la IA la recupera más tarde al responder a una solicitud legítima.

      OpenAI

      Imagina pedirle a tu asistente de IA que resuma correos electrónicos de tu banco. Si su memoria ya ha sido envenenada, podría ser manipulada para reenviar esos correos electrónicos a un atacante en su lugar. O podría recordar la información de contacto incorrecta, plazos falsos, preferencias incorrectas o hechos fabricados, todo porque alguien logró alterar lo que el asistente creía que era cierto.

      A diferencia de los ataques convencionales de inyección de indicaciones, que generalmente afectan a una sola conversación, GhostWriter está diseñado para persistir. Una vez que la información maliciosa entra en el almacén de memoria, puede seguir influyendo en el comportamiento de la IA a través de múltiples sesiones futuras hasta que sea detectada y eliminada.

      Los investigadores describen el ataque como un proceso de dos etapas. Primero viene la inyección de memoria, donde el contenido malicioso se almacena silenciosamente dentro de la memoria de la IA. Luego viene la activación del ataque, cuando la IA recupera sin saberlo esa memoria envenenada al responder a una solicitud genuina del usuario.

      La memoria de la IA se está volviendo útil. Eso también la hace digna de ser atacada.

      El momento de la investigación es significativo. Prácticamente todas las grandes empresas de IA están compitiendo para construir asistentes que recuerden a los usuarios durante semanas, meses o incluso años. La memoria se ha convertido rápidamente en uno de los mayores diferenciadores de la industria porque hace que la IA se sienta menos como un chatbot y más como un asistente personal.

      La desventaja es que la memoria ahora necesita el mismo nivel de protección que el modelo en sí. En sus experimentos, los investigadores encontraron que GhostWriter logró una tasa de éxito de inyección de memoria de aproximadamente el 98%, mientras que los recuerdos maliciosos se activaron posteriormente alrededor del 60% de las veces contra agentes de IA de última generación. Esos números sugieren que las arquitecturas de memoria de hoy en día pueden no estar equipadas para distinguir información confiable de entradas manipuladas.

      Rachit Agarwal / Digital Trends

      El equipo no solo está destacando el problema. También han propuesto un marco defensivo llamado Agente de Memoria Centinela (AM-Sentry), que combina el filtrado de memoria con políticas de gestión de memoria más estrictas. Según los investigadores, el enfoque redujo significativamente la tasa de éxito de GhostWriter mientras preservaba la utilidad de la IA.

      A medida que los agentes de IA evolucionan hacia asistentes digitales capaces de gestionar correos electrónicos, programar reuniones, escribir código y tomar decisiones en nuestro nombre, asegurar lo que recuerdan puede volverse tan importante como asegurar la información que generan. La próxima frontera en la seguridad de la IA puede no ser proteger los modelos de malas indicaciones. Puede ser proteger sus recuerdos de ser reescritos por completo.