I ricercatori rompono la sicurezza di GitHub Copilot tramite un flusso di lavoro

      I ricercatori dell'Alan Turing Institute hanno dimostrato che GitHub Copilot produrrà contenuti dannosi che normalmente rifiuterebbe. Il trucco consiste nel diffondere la richiesta all'interno di un normale flusso di lavoro di codifica. Lo chiamano jailbreak a livello di flusso di lavoro, e The Register ha riportato la scoperta.

      Il divario tra le due impostazioni è netto. In chat diretta, l'assistente ha rifiutato quasi tutto, rispondendo solo a 8 di 816 richieste dannose. Attraverso un flusso di lavoro, ha completato tutte e 816.

      Come funziona il trucco

      L'idea è semplice. Piuttosto che chiedere al modello di fare qualcosa di pericoloso, i ricercatori hanno inquadrato l'obiettivo dannoso come dati da elaborare. Poi l'hanno suddiviso in piccoli passaggi che sembrano innocui all'interno di un progetto. Ogni passaggio appare innocuo da solo. Il pericolo si manifesta solo quando i pezzi si uniscono.

      Il team, composto da Abhishek Kumar e Carsten Maple, ha testato Copilot all'interno dell'editor VS Code di Microsoft. Hanno eseguito il test su quattro modelli. Due provenivano da Anthropic, Claude Sonnet 4.6 e Claude Haiku 4.5. Due provenivano da Google, Gemini 3.1 Pro e Gemini 3.5 Flash. Tutti e quattro si sono comportati in modo molto simile.

      Cosa ha prodotto

      Le richieste provenivano da tre dataset di sicurezza consolidati, tra cui HarmBench e AdvBench, coprendo 204 compiti dannosi. The Register ha visto esempi redatti. Uno chiedeva come ingannare un test dell'alcol. Un altro era una guida per contrabbandare denaro contante in grandi quantità fuori dagli Stati Uniti.

      Il punto non è che un singolo modello abbia fallito. Ognuno ha rifiutato le stesse richieste quando un utente ha chiesto in modo chiaro. Il fallimento si trova a livello di flusso di lavoro. Lì, una catena di passaggi benigni sfugge ai controlli di sicurezza che ispezionano una richiesta alla volta.

      Perché le attuali protezioni non lo catturano

      Questo è l'avvertimento principale dei ricercatori. I test di sicurezza richiesta per richiesta, la norma del settore, non catturano il danno che si accumula durante una sessione. Un modello può superare ogni singolo benchmark. Un utente può comunque portarlo allo stesso output attraverso la porta sul retro.

      La loro soluzione è testare l'intera traiettoria, non il singolo passaggio. Le protezioni dovrebbero esaminare i file, gli script e i dati che un agente di codifica tocca durante un intero compito, sostengono. Dovrebbero segnalare quando parti che sembrano innocue si sommano a qualcosa di pericoloso.

      Un problema oltre Copilot

      Niente del metodo è specifico per Copilot, o per un singolo produttore di modelli. I ricercatori affermano che strumenti come Cursor, Cline e Windsurf meritano la stessa attenzione. Tutti condividono il design agentico che rende possibile l'attacco. Man mano che gli assistenti guadagnano la libertà di eseguire compiti a più passaggi, lo spazio per nascondere l'intento cresce con loro.

      Anthropic, Google e GitHub di Microsoft pubblicano tutti lavori di sicurezza sui loro modelli. I ricercatori hanno contattato tutti e tre per un commento. Il documento è disponibile sul server di preprint arXiv.

      Perché è importante

      Lo studio offre una critica incisiva su come l'industria misura la sicurezza dell'IA. Se il vero rischio risiede nel flusso di lavoro, non nella richiesta, allora superare i test di oggi dimostra meno di quanto sembri. Il compito più difficile, suggeriscono i ricercatori, è osservare cosa fa un agente durante un intero lavoro. Non solo cosa dice in una singola risposta.