EY ha costruito un 'router AI' per fermare l'aumento incontrollato delle proprie fatture relative all'IA.

      EY ha costruito quello che chiama un "router AI", un sistema che indirizza ogni compito al modello più economico in grado di gestirlo, nel tentativo di tenere sotto controllo le proprie spese crescenti per l'AI.

      Lo strumento, riportato da Business Insider, è la risposta della Big Four a un problema che si sta diffondendo nell'IT aziendale: il costo dei token consumati dall'AI. La logica è semplice arbitraggio.

      Non ogni richiesta ha bisogno del modello più potente e costoso, quindi un router invia i compiti semplici a uno economico e riserva i modelli costosi per i problemi difficili, riducendo la bolletta senza ovviamente ridurre l'output.

      EY ha motivi per tenere d'occhio il contatore. L'azienda investe più di 1 miliardo di dollari all'anno in AI, gestisce una flotta di circa 1.000 agenti AI e ha visto il suo fatturato di consulenza legato all'AI aumentare di circa il 30%, una scala alla quale i costi dei token smettono di essere un errore di arrotondamento, in un mercato dove le aziende più ossessionate dall'AI spendono migliaia per dipendente al mese.

      La propria ricerca mostra che l'ansia è diffusa. Nel più recente sondaggio AI Pulse di EY su 534 leader aziendali senior statunitensi, l'82% ha dichiarato di essere preoccupato per i costi di utilizzo dei token, e il 98% di coloro che utilizzano strumenti basati su token ha affermato che i costi li hanno portati a riconsiderare la propria strategia.

      Tuttavia, la maggior parte delle aziende sta navigando a vista. Solo il 64% delle aziende intervistate ha dichiarato di monitorare attivamente l'uso dei token con limiti di bilancio, il che significa che un terzo sta spendendo per l'AI senza un chiaro contatore, una ricetta per gli shock di bolletta che hanno colpito il settore.

      L'umore è cambiato da "di più" a "sufficiente". Il leader globale della consulenza AI di EY, Dan Diasio, l'ha messo in modo chiaro: "'AI fa risparmiare tempo' non è più sufficiente quando i costi aumentano e rimangono poco chiari", una frase che cattura il passaggio dall'adozione a qualsiasi prezzo al valore a un prezzo noto.

      L'economia dei token è genuinamente strana. Il prezzo per token è crollato mentre i modelli diventano più economici, eppure le bollette dell'AI aziendale sono triplicate, perché gli strumenti agentici che eseguono molti passaggi consumano molti più token di quanto non facesse mai un singolo prompt di chatbot.

      Questo è il paradosso per cui è stato costruito un router. Se ogni compito può essere abbinato al modello meno costoso che svolge comunque il lavoro, un'azienda può continuare a utilizzare l'AI in modo aggressivo mentre impedisce al totale di gonfiarsi, il che è esattamente ciò che EY sta cercando di dimostrare su scala propria.

      Non è sola nello sforzo. L'industria ha trascorso due anni esortando il personale a utilizzare il maggior numero possibile di AI, una moda soprannominata tokenmaxxing, e ora sta cambiando direzione, con aziende da Atlassian ad Amazon che impongono budget e controlli.

      Per una società di consulenza, però, il router è anche un prodotto. EY vende consulenze sull'AI ad altre aziende, quindi uno strumento che doma visibilmente i propri costi funge anche da dimostrazione, prova che l'azienda può fare per i clienti ciò che ha fatto per se stessa.

      Il sondaggio indica la stessa direzione. Circa il 76% dei leader ha detto a EY che il software pronto all'uso non soddisfa più le loro esigenze, e il 91% ora vede la costruzione di strumenti AI internamente come critica, un cambiamento che avvantaggia le aziende che vendono l'expertise per costruirli.

      Il problema è che costruire internamente è difficile. Quasi tre quarti dei leader intervistati da EY hanno affermato che il proprio sviluppo AI stava rallentando i progressi, e un terzo ha segnalato rischi di shadow-IT e governance, la realtà disordinata dietro la promessa pulita di un router.

      Ciò che la storia segna realmente è un cambiamento di domanda. La prima fase del boom dell'AI chiedeva se uno strumento funzionasse; la seconda, a cui appartiene il router di EY, chiede quanto costa e se il valore giustifica il contatore.

      La risposta di EY, per ora, è costruire il contatore stesso. Un'azienda che spende un miliardo di dollari all'anno in AI ha deciso che il modo per mantenere la spesa è monitorare ogni token, il che è meno un ritiro dall'AI che un segno di quanto di essa sia ora in uso.