Por qué las empresas necesitan límites más claros antes de que se autorice a los agentes de IA a actuar

      TL;DRUna encuesta de IBM a 2,000 ejecutivos de nivel C encontró que solo el 11% se siente completamente preparado para el despliegue de agentes de IA. Madhuri Chandoor, fundadora de PromptHalo, argumenta que el problema central es distinguir la capacidad de la autoridad. Su ejemplo de división de reembolsos muestra cómo los agentes pueden eludir los límites por acción a través de solicitudes secuenciales. Ella aboga por el perfilado de comportamiento para agentes de IA (modelado en la supervisión de fraudes financieros) y documentar a qué pueden acceder los agentes, bajo qué condiciones y qué efectos posteriores son posibles.

      Un estudio de IBM de 2026 señala preguntas sobre la preparación para la IA, la visibilidad y el control. La encuesta a 2,000 ejecutivos tecnológicos de nivel C encontró que el 11% se sentía completamente preparado para el despliegue de agentes de IA esperado durante el año siguiente. Dos tercios de los CIO y CTO dijeron que eran responsables de sistemas de IA que no controlaban completamente, mientras que el 70% dijo que los equipos estaban desplegando tecnología más rápido de lo que TI podía rastrear. IBM presentó los hallazgos como una indicación de una creciente brecha de control a medida que el uso de IA se expande en las empresas.

      La distinción entre capacidad y autoridad es central en cómo Madhuri Chandoor, fundadora de PromptHalo, aborda esa brecha de control. Ella describe a PromptHalo como una empresa de infraestructura de seguridad y confianza en IA que inspecciona por qué se está realizando una cierta acción, en lugar de solo inspeccionar qué se está realizando. Según Chandoor, el enfoque está destinado a proporcionar a las organizaciones más información contextual sobre si una acción refleja la intención del usuario, los permisos asignados y las circunstancias circundantes antes de que un sistema proceda.

      Una tarea hipotética de base de datos empresarial ilustra la preocupación que Chandoor plantea sobre el contexto. Ella dice que un agente de IA que gestiona la infraestructura, al que se le pide mejorar el rendimiento de la aplicación, podría agregar o eliminar un índice o cambiar las estructuras de la tabla de manera autónoma en un entorno de producción. En su ejemplo, esa acción podría afectar transacciones en vivo, datos de clientes o procesos dependientes que estaban fuera del análisis inmediato del agente. “Una conclusión técnica puede parecer razonable dentro de un enfoque estrecho”, dice Chandoor. “El contexto, la situación y el impacto posterior aún deben ser considerados antes de que una acción proceda.”

      Los chatbots anteriores, según el relato de Chandoor, generalmente operaban dentro de preguntas y respuestas predeterminadas. Ella dice que con los modelos de lenguaje grandes ahora estamos utilizando información y herramientas de la empresa más amplias que aumentan la superficie de riesgo expuesta, lo que lleva a las empresas a considerar cómo las solicitudes entrantes podrían influir en un sistema. Ella recomienda que los equipos de seguridad examinen cómo se interpreta una solicitud y qué nivel de autoridad proporcionan los sistemas conectados antes de que un agente proceda.

      Chandoor utiliza un escenario de reembolso para explicar por qué el contexto puede abarcar varias acciones. En su ejemplo, un agente puede emitir reembolsos de hasta $50 sin revisión humana. Un usuario luego solicita diez reembolsos de $50 en lugar de un reembolso de $500 que requiere revisión. Chandoor dice que cada transacción podría parecer permisible cuando se examina individualmente, mientras que la secuencia puede sugerir un esfuerzo por evitar el umbral. Desde su perspectiva, revisar el contexto y el comportamiento de la sesión más amplios podría ayudar a identificar cuándo puede ser apropiado escalar para revisión humana.

      Basándose en dos décadas en servicios financieros, Chandoor compara su enfoque con la supervisión de fraudes a través de transacciones y cuentas. Ella sugiere que las organizaciones desarrollen perfiles de comportamiento para agentes autónomos junto con la identidad y los permisos de acceso. Bajo su modelo propuesto, los equipos revisarían los recursos a los que accede un agente, su uso de herramientas, cambios en su actividad a lo largo del tiempo y acciones que parecen inconsistentes con su rol asignado o las circunstancias de una sesión.

      Las preguntas sobre autorización deben considerarse tanto durante el diseño como en la operación, dice Chandoor. En su opinión, los equipos se benefician de documentar los recursos a los que un agente puede acceder, las condiciones que se aplican a ese acceso y los posibles efectos posteriores de acciones particulares. También recomienda puertas de observabilidad para revisar la actividad, particularmente para inspeccionar y abordar cuándo las solicitudes se vuelven repetidas, inusualmente amplias o inconsistentes con el propósito originalmente asignado al agente. Esos puntos de control, explica Chandoor, pueden ayudar a contener el impacto y determinar qué controles adicionales son necesarios para asegurar los sistemas subyacentes.

      Chandoor enfatiza su posición como apoyo para la adopción responsable de IA. Ella favorece el uso de automatización agente para análisis y flujos de trabajo, pero aplicando verificación adicional cuando el impacto involucra decisiones y acciones críticas. “Confía, pero verifica”, dice.

      “Las empresas deben adoptar la IA de manera responsable y verificar su comportamiento a lo largo del proceso”, dice. “Establecer una clara propiedad de responsabilidad en las organizaciones para la seguridad de las aplicaciones de IA es esencial para operacionalizar estas salvaguardias.” En su opinión, ese enfoque puede ayudar a las empresas a perseguir la innovación en IA mientras se les da la atención necesaria a la seguridad y la responsabilidad.