I prompt nascosti possono riscrivere segretamente la memoria di un'IA, e i ricercatori affermano che questo è un problema serio.

      I modelli di linguaggio di grandi dimensioni stanno migliorando nella capacità di ricordarci. Che si tratti del tuo stile di scrittura preferito, di compiti ricorrenti, abitudini di acquisto o scadenze di progetto, gli assistenti AI stanno sempre più memorizzando ricordi a lungo termine per rendere le conversazioni future più personali e utili. Ma secondo una nuova ricerca, quella stessa caratteristica potrebbe diventare una delle più grandi vulnerabilità di sicurezza dell'AI.

      I ricercatori della New Mexico State University hanno dimostrato un nuovo attacco chiamato GhostWriter, capace di piantare segretamente falsi ricordi all'interno degli agenti AI. Invece di rubare informazioni in modo diretto, l'attacco manipola ciò che un'AI ricorda, potenzialmente portandola a prendere decisioni pericolose molto tempo dopo che l'attacco originale si è verificato.

      Si tratta di un cambiamento sottile ma significativo nel modo in cui i sistemi AI possono essere compromessi. Invece di attaccare il modello stesso, gli attaccanti prendono di mira la sua memoria.

      L'attacco non hackera l'AI. Cambia ciò che l'AI ricorda.

      I chatbot tradizionali operano con poca o nessuna memoria tra le conversazioni. Tuttavia, gli agenti AI moderni si basano sempre più su sistemi di memoria persistente che memorizzano informazioni sugli utenti, progetti in corso e interazioni precedenti. Questo consente agli assistenti di fornire risposte più contestuali e personalizzate nel tempo.

      I ricercatori sostengono che questi sistemi di memoria introducono anche una superficie di attacco completamente nuova. GhostWriter funziona iniettando silenziosamente informazioni dannose nella memoria a lungo termine di un agente AI attraverso comandi nascosti o contenuti esterni non affidabili. Le informazioni false rimangono dormienti fino a quando l'AI non le recupera successivamente mentre risponde a una richiesta altrimenti legittima.

      OpenAI

      Immagina di chiedere al tuo assistente AI di riassumere le email della tua banca. Se la sua memoria è già stata avvelenata, potrebbe essere manipolata per inoltrare segretamente quelle email a un attaccante. Oppure potrebbe ricordare informazioni di contatto errate, scadenze false, preferenze sbagliate o fatti inventati, tutto perché qualcuno è riuscito a alterare ciò che l'assistente credeva fosse vero.

      A differenza degli attacchi di iniezione di comandi convenzionali, che di solito influenzano una singola conversazione, GhostWriter è progettato per persistere. Una volta che informazioni dannose entrano nel deposito di memoria, possono continuare a influenzare il comportamento dell'AI attraverso più sessioni future fino a quando non vengono rilevate e rimosse.

      I ricercatori descrivono l'attacco come un processo in due fasi. Prima c'è l'iniezione di memoria, dove contenuti dannosi vengono silenziosamente memorizzati all'interno della memoria dell'AI. Successivamente c'è l'attivazione dell'attacco, quando l'AI recupera inconsapevolmente quel ricordo avvelenato mentre risponde a una richiesta genuina dell'utente.

      La memoria AI sta diventando utile. Questo la rende anche un obiettivo da attaccare.

      Il tempismo della ricerca è significativo. Praticamente ogni grande azienda di AI sta correndo per costruire assistenti che ricordano gli utenti per settimane, mesi o addirittura anni. La memoria è rapidamente diventata uno dei maggiori differenziali del settore perché fa sentire l'AI meno come un chatbot e più come un assistente personale.

      Il rovescio della medaglia è che la memoria ora ha bisogno dello stesso livello di protezione del modello stesso. Nei loro esperimenti, i ricercatori hanno scoperto che GhostWriter ha raggiunto un tasso di successo dell'iniezione di memoria di circa il 98%, mentre i ricordi dannosi sono stati attivati successivamente circa il 60% delle volte contro agenti AI all'avanguardia. Quei numeri suggeriscono che le architetture di memoria di oggi potrebbero non essere ancora attrezzate per distinguere informazioni affidabili da input manipolati.

      Rachit Agarwal / Digital Trends

      Il team non sta solo evidenziando il problema. Hanno anche proposto un framework difensivo chiamato Agentic Memory Sentry (AM-Sentry), che combina screening della memoria con politiche di gestione della memoria più rigorose. Secondo i ricercatori, l'approccio ha ridotto significativamente il tasso di successo di GhostWriter preservando l'utilità dell'AI.

      Man mano che gli agenti AI si evolvono in assistenti digitali capaci di gestire email, programmare riunioni, scrivere codice e prendere decisioni per nostro conto, garantire la sicurezza di ciò che ricordano potrebbe diventare altrettanto importante quanto proteggere le informazioni che generano. La prossima frontiera nella sicurezza dell'AI potrebbe non essere proteggere i modelli da cattivi comandi. Potrebbe essere proteggere i loro ricordi dall'essere riscritti del tutto.