Lo scrittore scommette su agenti AI più economici con Palmyra X6 e un'imbracatura più snella.

      Writer, l'azienda di intelligenza artificiale per le imprese, ha lanciato Palmyra X6, il suo nuovo modello di punta, insieme a un "imbracatura" aggiornata progettata per fare qualcosa che l'industria è stata curiosamente riluttante a promettere: spendere meno token.

      Il modello è una variazione post-addestramento del GLM-5.2 open-source di Z.ai, ed è disponibile per i clienti di Writer da oggi.

      L'offerta arriva in un momento nervoso. Mentre l'IA agentica moltiplica silenziosamente i passaggi, e quindi i token, dietro ogni compito, le fatture aziendali hanno iniziato a far male.

      Writer scommette che sia arrivata una reazione ai costi, e non è affatto sola nel percepire l'opportunità, con Baseten che ha raccolto 1,5 miliardi di dollari sulla teoria che i profitti dell'IA risiedano in inferenze economiche.

      Un'imbracatura, secondo Writer, è il livello di orchestrazione avvolto attorno a un modello, il meccanismo che decide come un agente multi-passaggio esegue effettivamente ogni richiesta.

      Ottimizzare quel livello, riducendo le chiamate ridondanti e il contesto gonfiato che gli agenti tendono ad accumulare, consente di ridurre il consumo di token senza mai toccare il modello stesso.

      I risparmi, afferma Writer, sono sostanziali. L'azienda stima che il nuovo modello e l'imbracatura insieme riducano i costi fino al 50% per compiti di base, mentre un documento di ricerca di Writer ha scoperto che i cambiamenti di efficienza dell'imbracatura da soli hanno ridotto i costi di circa il 40% in media durante i test.

      Ciò che rende interessante l'imbracatura è che è agnostica rispetto al modello. Funziona con i modelli di Writer, ma anche con quelli esterni forniti tramite Microsoft Azure e Amazon Bedrock, quindi i guadagni di efficienza non sono bloccati nella roadmap di un singolo fornitore.

      "L'imbracatura è l'unico componente la cui efficienza si moltiplica in ogni modello che un'organizzazione utilizza, presente e futuro," scrivono i ricercatori di Writer, inquadrando l'orchestrazione piuttosto che la qualità del modello grezzo come la leva che le imprese hanno ignorato.

      È anche un punto incisivo. La rivendicazione sottostante di Writer è che i grandi laboratori hanno poco incentivo ad aiutarti a spendere meno, perché i loro ricavi aumentano con ogni token che bruci. La sfiducia in questo accordo sta facendo molto lavoro nel messaggio dell'azienda.

      Il CEO May Habib l'ha messa in modo diretto. "L'azienda è assolutamente stanca di inseguire il prossimo benchmark," ha detto. "Vogliono costi appiattiti." È un'inversione elegante del solito copione di vendita, in cui ogni nuovo modello è più veloce, più intelligente e, invariabilmente, più affamato.

      Una tendenza più ampia di massimizzazione dell'economia, in cui gli acquirenti si rivolgono a modelli cinesi più economici, ha già iniziato a destabilizzare le valutazioni che sostengono eventuali IPO di OpenAI e Anthropic, un segno che la sensibilità al prezzo non è più una preoccupazione marginale.

      Costruire il modello di punta su GLM-5.2 è significativo di per sé. Piuttosto che addestrare un modello all'avanguardia da zero, Writer ha preso una base open-source capace e l'ha specializzata attraverso il post-addestramento, un percorso che mantiene i costi bassi e si allinea perfettamente alla storia frugale che sta vendendo.

      Per gli acquirenti europei, il quadro dovrebbe sembrare familiare. Lo scetticismo riguardo agli incentivi dei fornitori americani e una preferenza per architetture che non sono in ostaggio a un unico fornitore sono stati un tema ricorrente da questo lato dell'Atlantico, e Writer sta puntando dritto su questo.

      Ci sono avvertenze da tenere a mente. Le cifre di efficienza prodotte da un fornitore riguardo al proprio prodotto meritano il solito pizzico di sale, e "fino al" 50% non è lo stesso di un garantito 50%, ma la direzione del viaggio è difficile da contestare.

      Il cambiamento più profondo è ciò che Writer chiama ingegneria dell'imbracatura: la disciplina di spendere meno token per compito piuttosto che inseguire un altro punto su una classifica. Se prenderà piede, e gli incentivi suggeriscono sempre più che lo farà, l'era del modello sempre più affamato potrebbe finalmente incontrare il suo budget.