Perché le aziende hanno bisogno di limiti più chiari prima che gli agenti AI siano autorizzati ad agire

      TL;DRUn'indagine IBM su 2.000 dirigenti di livello C ha rilevato che solo l'11% si sente completamente pronto per il dispiegamento degli agenti AI. Madhuri Chandoor, fondatrice di PromptHalo, sostiene che la questione centrale sia distinguere la capacità dall'autorità. Il suo esempio di suddivisione dei rimborsi mostra come gli agenti possano eludere i limiti per azione attraverso richieste sequenziali. Propone il profilo comportamentale per gli agenti AI (modellato sul monitoraggio delle frodi finanziarie) e la documentazione di ciò a cui gli agenti possono accedere, a quali condizioni e quali effetti a valle sono possibili.

      Uno studio IBM del 2026 solleva interrogativi sulla prontezza all'AI, sulla visibilità e sul controllo. L'indagine su 2.000 dirigenti tecnologici di livello C ha rivelato che l'11% si sentiva completamente pronto per il dispiegamento degli agenti AI previsto per l'anno successivo. Due terzi dei CIO e CTO hanno dichiarato di essere responsabili dei sistemi AI che non controllavano completamente, mentre il 70% ha affermato che i team stavano implementando la tecnologia più velocemente di quanto l'IT potesse monitorare. IBM ha presentato i risultati come un'indicazione di un crescente divario di controllo man mano che l'uso dell'AI si espande nelle aziende.

      La distinzione tra capacità e autorità è centrale nel modo in cui Madhuri Chandoor, fondatrice di PromptHalo, affronta questo divario di controllo. Descrive PromptHalo come un'azienda di infrastruttura di sicurezza e fiducia per l'AI che ispeziona perché viene eseguita una certa azione, piuttosto che semplicemente ispezionare cosa viene eseguito. Secondo Chandoor, l'approccio è inteso a fornire alle organizzazioni maggiori informazioni contestuali su se un'azione rifletta l'intento dell'utente, i permessi assegnati e le circostanze circostanti prima che un sistema proceda.

      Un compito ipotetico di database aziendale illustra la preoccupazione che Chandoor solleva riguardo al contesto. Dice che un agente AI che gestisce l'infrastruttura, incaricato di migliorare le prestazioni dell'applicazione, potrebbe aggiungere o rimuovere un indice o cambiare autonomamente le strutture delle tabelle in un ambiente di produzione. Nel suo esempio, quell'azione potrebbe influenzare transazioni in tempo reale, dati dei clienti o processi dipendenti che erano al di fuori dell'analisi immediata dell'agente. “Una conclusione tecnica può sembrare ragionevole all'interno di un focus ristretto,” afferma Chandoor. “Il contesto, la situazione e l'impatto a valle devono ancora essere considerati prima che un'azione proceda.”

      I chatbot precedenti, secondo il racconto di Chandoor, operavano generalmente all'interno di domande e risposte predeterminate. Dice che con i modelli di linguaggio di grandi dimensioni stiamo ora utilizzando informazioni aziendali più ampie e strumenti che aumentano la superficie di rischio esposta, portando le aziende a considerare come le richieste in arrivo potrebbero influenzare un sistema. Raccomanda che i team di sicurezza esaminino come una richiesta viene interpretata e quale livello di autorità forniscono i sistemi connessi prima che un agente proceda.

      Chandoor utilizza uno scenario di rimborso per spiegare perché il contesto possa estendersi su più azioni. Nel suo esempio, un agente può emettere rimborsi fino a $50 senza revisione umana. Un utente quindi richiede dieci rimborsi da $50 piuttosto che un rimborso da $500 che richiede revisione. Chandoor afferma che ogni transazione potrebbe apparire ammissibile se esaminata singolarmente, mentre la sequenza potrebbe suggerire uno sforzo per evitare la soglia. Dal suo punto di vista, esaminare il contesto e il comportamento della sessione più ampi potrebbe aiutare a identificare quando l'escalation per una revisione umana potrebbe essere appropriata.

      Attraendo da due decenni nel settore dei servizi finanziari, Chandoor confronta il suo approccio con il monitoraggio delle frodi attraverso transazioni e conti. Suggerisce alle organizzazioni di sviluppare profili comportamentali per agenti autonomi insieme all'identità e ai permessi di accesso. Sotto il suo modello proposto, i team esaminerebbero le risorse a cui un agente accede, il suo uso degli strumenti, i cambiamenti nella sua attività nel tempo e le azioni che appaiono incoerenti con il suo ruolo assegnato o le circostanze di una sessione.

      Le domande sull'autorizzazione dovrebbero essere considerate sia durante la progettazione che durante l'operazione, afferma Chandoor. A suo avviso, i team traggono vantaggio dalla documentazione delle risorse a cui un agente può accedere, delle condizioni che si applicano a tale accesso e dei possibili effetti a valle di azioni particolari. Raccomanda anche porte di osservabilità per esaminare l'attività, in particolare per ispezionare e affrontare quando le richieste diventano ripetute, insolitamente ampie o incoerenti con lo scopo originariamente assegnato all'agente. Quei punti di controllo, spiega Chandoor, possono aiutare a contenere l'impatto e determinare quali controlli aggiuntivi sono necessari per garantire la sicurezza dei sistemi sottostanti.

      Chandoor sottolinea la sua posizione a sostegno di un'adozione responsabile dell'AI. Favorisce l'uso dell'automazione agentica per analisi e flussi di lavoro, ma applicando ulteriori verifiche quando l'impatto coinvolge decisioni e azioni critiche. “Fidati, ma verifica,” dice.

      “Le aziende dovrebbero adottare l'AI in modo responsabile e verificare il suo comportamento durante tutto il processo,” afferma. “Stabilire una chiara responsabilità di proprietà attraverso le organizzazioni per la sicurezza delle applicazioni AI è essenziale per operazionalizzare queste protezioni.” A suo avviso, questo approccio potrebbe aiutare le aziende a perseguire l'innovazione nell'AI, dando al contempo la necessaria attenzione alla sicurezza e alla responsabilità.