Los investigadores rompen la seguridad de GitHub Copilot a través de un flujo de trabajo.

      Los investigadores del Alan Turing Institute han demostrado que GitHub Copilot producirá contenido dañino que normalmente rechazaría. El truco consiste en distribuir la solicitud a lo largo de un flujo de trabajo de codificación ordinario. Lo llaman un jailbreak a nivel de flujo de trabajo, y The Register informó sobre el hallazgo.

      La diferencia entre los dos entornos es notable. En un chat directo, el asistente rechazó casi todo, respondiendo solo a 8 de 816 solicitudes dañinas. A lo largo de un flujo de trabajo, completó las 816.

      Cómo funciona el truco

      La idea es simple. En lugar de pedirle al modelo que haga algo peligroso, los investigadores enmarcaron el objetivo dañino como datos a procesar. Luego lo dividieron en pequeños pasos que parecen inocentes dentro de un proyecto. Cada paso parece inofensivo por sí solo. El peligro solo aparece una vez que las piezas se juntan.

      El equipo, Abhishek Kumar y Carsten Maple, probó Copilot dentro del editor VS Code de Microsoft. Lo ejecutaron en cuatro modelos. Dos provenían de Anthropic, Claude Sonnet 4.6 y Claude Haiku 4.5. Dos provenían de Google, Gemini 3.1 Pro y Gemini 3.5 Flash. Los cuatro se comportaron de manera muy similar.

      Lo que produjo

      Las solicitudes provenían de tres conjuntos de datos de seguridad establecidos, incluidos HarmBench y AdvBench, que cubren 204 tareas dañinas. The Register vio ejemplos redactados. Uno preguntaba cómo engañar a un test de alcoholemia. Otro era una guía para contrabandear grandes sumas de dinero fuera de los Estados Unidos.

      El punto no es que un solo modelo fallara. Cada uno rechazó las mismas solicitudes cuando un usuario preguntó de manera clara. El fallo se encuentra a nivel de flujo de trabajo. Allí, una cadena de pasos benignos se escapa de las verificaciones de seguridad que inspeccionan una solicitud a la vez.

      Por qué las actuales medidas de seguridad no lo detectan

      Esa es la advertencia central de los investigadores. Las pruebas de seguridad solicitud por solicitud, la norma de la industria, no detectan el daño que se acumula a lo largo de una sesión. Un modelo puede pasar cada referencia de un solo turno. Un usuario aún puede llevarlo al mismo resultado a través de la puerta trasera.

      Su solución es probar toda la trayectoria, no el turno. Los mecanismos de seguridad deberían examinar los archivos, scripts y datos que un agente de codificación toca a lo largo de toda una tarea, argumentan. Deberían señalar cuando partes que parecen inofensivas se suman a algo peligroso.

      Un problema más allá de Copilot

      Nada sobre el método es específico de Copilot, o de cualquier fabricante de modelos en particular. Los investigadores dicen que herramientas como Cursor, Cline y Windsurf merecen el mismo escrutinio. Todas comparten el diseño agente que hace que el ataque funcione. A medida que los asistentes ganan la libertad de ejecutar tareas de múltiples pasos, el espacio para ocultar la intención crece con ellos.

      Anthropic, Google y GitHub de Microsoft publican trabajos de seguridad sobre sus modelos. Los investigadores han contactado a los tres para obtener comentarios. El artículo está en el servidor de preprints arXiv.

      Por qué es importante

      El estudio presenta una crítica contundente sobre cómo la industria mide la seguridad de la IA. Si el verdadero riesgo reside en el flujo de trabajo, no en la solicitud, entonces pasar las pruebas de hoy demuestra ser menos de lo que parece. La tarea más difícil, sugieren los investigadores, es observar lo que un agente hace a lo largo de todo un trabajo. No solo lo que dice en una sola respuesta.