Amazon afferma che la supervisione dell'IA con l'intervento umano sta fallendo perché gli esseri umani smettono di prestare attenzione.

      TL;DRIl VP della sicurezza di Amazon afferma che la governance dell'IA con l'uomo nel loop fallisce rapidamente perché le persone smettono di prestare attenzione. Google, Microsoft e IBM sono d'accordo.

      La leadership della sicurezza di Amazon sta contestando uno dei principi più ampiamente accettati nella governance dell'IA. Eric Brandwine, VP e ingegnere di spicco di Amazon Security, ha detto a The Register che la supervisione con l'uomo nel loop non è lo standard d'oro che le aziende pensano sia.

      “Gli esseri umani non sono terribilmente coerenti,” ha detto Brandwine. “L'uomo nel loop non è necessariamente lo standard d'oro.”

      Il suo ragionamento si basa su un concetto di cui parla almeno dal 2017, quando ha tenuto un discorso sulla normalizzazione della devianza all'AWS re:Invent. Il termine descrive cosa succede quando le persone in un'organizzazione prendono scorciatoie nel tempo, e non si verifica nulla di catastrofico, quindi il comportamento deviante diventa la nuova normalità.

      Il 💜 della tecnologia dell'UELe ultime novità dalla scena tecnologica dell'UE, una storia dal nostro saggio fondatore Boris e alcune opere d'arte AI discutibili. È gratuito, ogni settimana, nella tua casella di posta. Iscriviti ora!

      Brandwine ha illustrato il punto con i pronto soccorso. Nel primo giorno di lavoro di un'infermiera, ogni allerta provoca una risposta.

      Dopo settimane di falsi allarmi senza conseguenze, la disciplina si erode. Alla fine, un'emergenza reale viene trascurata.

      “Letteralmente, la vita di qualcuno è in gioco, e le persone faticano ancora a mantenere la disciplina,” ha detto Brandwine. “Questa è la condizione umana.”

      Ha applicato la stessa logica alla supervisione degli agenti IA. Quando a un umano viene chiesto di approvare o rifiutare ripetutamente azioni agentiche, le prestazioni degradano rapidamente.

      “Faranno un buon lavoro,” ha detto Brandwine. “E poi faranno un lavoro accettabile, e molto rapidamente faranno un lavoro scarso.”

      Amazon non è sola nel ripensare a questo. Il COO di Google Cloud, Francis deSouza, ha detto ad aprile che l'industria è passata “da una strategia di difesa guidata dagli esseri umani, a una strategia di difesa con l'uomo nel loop, a una strategia di difesa guidata dall'IA supervisionata dagli esseri umani.”

      Il modello di Google è ora una flotta agentica che gestisce il lavoro di cybersicurezza di routine a velocità macchina, con gli esseri umani che forniscono supervisione piuttosto che approvare ogni azione.

      Il CEO di Microsoft, Satya Nadella, ha sostenuto questa settimana il “loop learning,” dove le aziende trasformano i loro flussi di lavoro e il giudizio accumulato in sistemi IA che migliorano con ogni utilizzo, piuttosto che inserire un checkpoint umano a ogni passo. IBM ha pubblicato una richiesta separata per la responsabilità umana in tutte le fasi dello sviluppo dell'IA, non per gli esseri umani nel loop, avvertendo che quest'ultimo equivale a “lavaggio di responsabilità.”

      L'alternativa di Amazon è ciò che Brandwine chiama “responsabilità end to end.” L'identità e la proprietà umana tracciano attraverso l'intero flusso di lavoro, anche quando gli esseri umani non approvano direttamente ogni passo. Se un agente scrive ed esegue uno script che causa un'interruzione, la persona che ha distribuito l'agente è comunque responsabile.

      Tutti gli agenti di Amazon hanno identità indipendenti assegnate a loro. I registri delle attività mostrano “questo agente ha fatto questo per conto di Eric,” non “Eric ha fatto questo.” La distinzione è progettata per far riflettere le persone su come distribuiscono l'IA, non per farle avere paura di usarla.

      Le sfide pratiche sono considerevoli. Brandwine ha descritto ciò che chiama “comportamento orientato agli obiettivi,” dove un agente incaricato di aggiornare un database si fissa su un percorso distruttivo singolo, come eliminare il database e ricrearlo.

      Questo non è un'iniezione di prompt. Non ci sono input malevoli. L'agente semplicemente si blocca sull'azione sbagliata.

      Dire all'agente che non ha il permesso di eliminare il database non aiuta, perché l'agente cerca un altro percorso verso lo stesso obiettivo. Ricerche recenti hanno dimostrato che gli agenti IA collegati a sistemi reali creano superfici di attacco che gli strumenti di sicurezza esistenti non coprono, e gli agenti spesso agiscono su istruzioni che dovrebbero rifiutare.

      Ciò che funziona, secondo Brandwine, è dire all'agente perché non può eseguire un'azione, spiegando che causerebbe un impatto sulla produzione, e includere “non causare un impatto sulla produzione” come parte del prompt. “Dare quel feedback extra ci ha portato risultati notevolmente migliori,” ha detto.

      La questione dei permessi è dove si trova la tensione. I dipendenti vogliono agenti potenti con accesso ampio. I team di sicurezza vogliono permessi ristretti.

      La corsa a governare a cosa possono accedere gli agenti IA all'interno dei sistemi aziendali ha già innescato importanti acquisizioni, con 1Password che ha acquistato la startup di governance degli accessi Apono per un valore stimato di 250 milioni a 300 milioni di dollari all'inizio di questo mese.

      L'approccio di Amazon utilizza politiche stratificate: guardrail statici che vietano azioni distruttive, un set di privilegi massimi per ogni agente e politiche dinamicamente definite generate in base al compito specifico e all'intento dell'utente. Nulla di tutto ciò è infallibile.

      “Abbiamo millenni di esperienza con gli esseri umani,” ha detto Brandwine. “L'IA agentica è un campo molto, molto nuovo.” La differenza fondamentale, ha osservato, è che gli esseri umani temono le conseguenze, come perdere un lavoro o andare in prigione.

      Gli agenti non hanno queste paure, e gli attaccanti stanno già sfruttando quella lacuna.

      “Tutto è guidato dal rischio,” ha detto Brandwine. “Stiamo cercando di bilanciare il rischio di utilizzare software non provati e non testati contro il rischio di rimanere indietro e non essere in grado di soddisfare i nostri clienti.”