L'errore da 1,8 milioni di dollari di Claude di Amazon mostra i costi fuori controllo dell'IA

      Amazon ha scoperto che l'intelligenza artificiale può trasformare un errore banale in uno da sette cifre. Le metriche interne della società mostrano progetti che superano di gran lunga il budget, incluso uno che ha bruciato 1,8 milioni di dollari prima che qualcuno se ne accorgesse. Gli ingegneri senior hanno definito i risultati "catastroficamente costosi".

      I casi sono stati presentati in un incontro interno e riportati per la prima volta dal Financial Times. Il peggiore ha utilizzato Claude di Anthropic per abbinare i record degli autori con le inserzioni dei prodotti nel negozio di Amazon. Ha superato il budget del 860%, ci sono voluti cinque mesi per accorgersene e il deployment è fallito comunque.

      Due errori più piccoli sono stati segnalati, ha notato Tom's Hardware. Uno strumento di auditing finanziario ha sforato di circa 541.000 dollari. Un sistema destinato ad accelerare le consegne ha aggiunto 134.000 dollari. Ognuno era il tipo di errore che un tempo costava quasi nulla.

      Come un errore economico diventa una bolletta enorme

      La ragione si trova nel listino prezzi. Quando una persona scrive codice difettoso, genera un errore e si blocca. Quando un modello svolge il lavoro, una cattiva configurazione continua semplicemente a funzionare e ti fattura silenziosamente. Un ciclo di ripetizione che reinvia lo stesso prompt, o un lavoro indirizzato all'intero catalogo invece che a un campione, non produce un crash. Produce una fattura.

      Quella fattura arriva con cadenza mensile, non in un registro di costruzione. Il divario è come un lavoro mal configurato funzioni per cinque mesi prima che qualcuno lo colleghi a un numero. Il passaggio alla tariffazione per token rende tutto peggio. Gli agenti AI, che generano molti più token di un chatbot, alimentano il problema.

      Niente di tutto ciò è unico per Amazon. È la stessa trappola che ha prodotto una bolletta di 1,3 milioni di dollari per uno sviluppatore di OpenAI, e il motivo per cui le fatture dell'AI aziendale continuano a salire anche se il prezzo per token scende.

      L'azienda che vende la soluzione

      Ecco la parte scomoda. Amazon ha speso troppo per l'AI mentre il suo stesso cloud vende gli strumenti esatti per fermarlo. Bedrock di AWS offre inferenza batch a metà prezzo, un livello "Flex" scontato, caching dei prompt a un decimo della tariffa di input e instradamento dei prompt che spinge lavori semplici verso modelli più economici.

      Modelli più economici erano un'opzione anche. Haiku di Anthropic costa un terzo del modello Sonnet a cui Amazon ha fatto riferimento. La spesa eccessiva è derivata dalla scelta del modello di frontiera per impostazione predefinita e dall'assenza di guardrail, esattamente l'errore che Amazon e Anthropic dicono ad altre aziende di evitare.

      La risposta di Amazon

      Amazon ha minimizzato la questione. "Come con qualsiasi nuova tecnologia, stiamo sperimentando, imparando e migliorando il modo in cui la utilizziamo", ha dichiarato, aggiungendo che alcuni esempi isolati non riflettono il modo in cui lavorano i suoi team. I casi coinvolgevano un numero ridotto di gruppi all'interno di una forza lavoro aziendale di circa 300.000.

      I numeri supportano il disinteresse. Il fatturato trimestrale di Amazon supera i 180 miliardi di dollari, quindi i budget sforati non ammontano allo 0,1% delle vendite di un singolo mese. L'esperto di costi di AWS Corey Quinn è stato poco comprensivo, postando che "ricevere una bolletta con due virgole che non ti aspettavi deve essere così difficile per te".

      Dietro le quinte, la risposta è più ferma. Amazon ha già annullato una classifica interna che classificava il personale in base all'uso dell'AI, dopo che i dipendenti l'hanno manipolata gonfiando il loro consumo di token. I suoi ingegneri stanno ora costruendo guardrail automatizzati per limitare quanto un progetto può spendere prima che la fattura arrivi.

      Questa è la vera lezione, ed è una lezione di governance, non finanziaria. Per Amazon, 1,8 milioni di dollari sono un errore di arrotondamento. Per le migliaia di aziende che ora si affidano all'AI per ridurre i costi, un lavoro fuori controllo che si nasconde per cinque mesi è la differenza tra un budget e una crisi.