Nebius acquisisce Eigen AI, composta da 20 persone, per 643 milioni di dollari mentre l'ottimizzazione dell'inferenza diventa lo strato più prezioso dell'infrastruttura AI.

      TL;DRNebius, il neocloud olandese che si è separato da Yandex nel 2024, ha accettato di acquisire Eigen AI per 643 milioni di dollari, valutando la startup di 20 persone composta da ex alunni del MIT a circa 32 milioni di dollari per dipendente. La tecnologia di ottimizzazione dell'inferenza di Eigen massimizza i token per GPU Nvidia, la capacità più preziosa nell'infrastruttura AI. L'accordo rafforza la piattaforma di inferenza Token Factory di Nebius mentre il mercato neocloud si espande rapidamente con CoreWeave e FluidStack che raccolgono miliardi.

      Nebius Group, l'azienda olandese di cloud computing che si è separata dal fornitore di internet russo Yandex nel 2024, ha accettato di acquisire Eigen AI per circa 643 milioni di dollari in azioni e contante. L'accordo, annunciato il 1 maggio, riguarda una startup di 20 persone fondata da ex alunni del laboratorio HAN del MIT. In un mercato in cui le più grandi aziende AI sono valutate in centinaia di miliardi e le acquisizioni più importanti coinvolgono migliaia di ingegneri, 643 milioni di dollari per 20 persone richiede una spiegazione. La spiegazione è l'inferenza. La tecnologia di Eigen AI massimizza il numero di token, le unità di base dei dati nei modelli di linguaggio di grandi dimensioni, che ogni chip Nvidia può generare durante l'esecuzione dei modelli AI. “Questo è come lo sport olimpico dell'attuale mercato: chi riesce a estrarre più token per lo stesso prezzo?” ha detto Roman Chernin, co-fondatore di Nebius e chief business officer. I membri del team di Eigen, ha detto, sono “come corridori olimpici in questa disciplina.” La disciplina, si scopre, vale 32 milioni di dollari per persona.

      L'economia

      Il problema più costoso dell'industria AI non è addestrare modelli. È eseguirli. Addestrare un modello all'avanguardia è una spesa in conto capitale una tantum, misurata in centinaia di milioni di dollari, che produce un insieme di pesi. L'inferenza, il processo di esecuzione di quei pesi per generare risposte per gli utenti, è un costo operativo ricorrente che cresce con ogni query, ogni chiamata API e ogni token prodotto. Per le aziende che vendono AI come servizio, l'inferenza è la voce di costo dominante. Ogni punto percentuale di efficienza guadagnato nell'inferenza, ogni token aggiuntivo estratto dallo stesso GPU Nvidia, si traduce direttamente in costi più bassi o margini più alti. Eigen AI si specializza esattamente in questo: ottimizzare le prestazioni dei modelli open-source di OpenAI, Alibaba, Meta e Nvidia in modo che ogni chip produca più output per lo stesso input di elettricità e silicio.

      La tecnica che ha reso i fondatori di Eigen AI notabili nel campo è la quantizzazione dei pesi consapevole dell'attivazione, un metodo per comprimere i modelli AI da formati numerici ad alta precisione a formati a bassa precisione senza una perdita significativa nella qualità dell'output. Il co-fondatore Wei-Chen Wang ha ricevuto il premio per il miglior articolo MLSys 2024 per questo lavoro. In pratica, la quantizzazione consente a un modello che normalmente richiederebbe quattro GPU di funzionare su due, o consente a un modello che gira su una GPU di generare token due volte più velocemente. Per un fornitore di cloud come Nebius, che ha raccolto 700 milioni di dollari da Nvidia e Accel per ampliare la sua flotta di GPU, la capacità di estrarre più valore da ciascun chip cambia l'economia unitaria dell'intero business.

      L'acquirente

      Il 💜 della tecnologia UELe ultime voci dalla scena tecnologica dell'UE, una storia dal nostro saggio fondatore Boris e alcune opere d'arte AI discutibili. È gratuito, ogni settimana, nella tua casella di posta. Iscriviti ora!Nebius occupa una posizione specifica nel mercato dell'infrastruttura AI. È uno di un gruppo di aziende chiamate “neocloud”, fornitori di cloud che affittano capacità di calcolo AI alle imprese piuttosto che costruire prodotti per i consumatori. I grandi hyperscalers, AWS, Microsoft Azure e Google Cloud, dominano il mercato del cloud nel complesso, ma i neocloud hanno ritagliato una nicchia offrendo infrastrutture ottimizzate per l'AI con minori costi generali e un'implementazione più rapida. Nebius ha triplicato la sua capacità di GPU Nvidia nel suo data center in Finlandia, distribuendo i chip H200 di Nvidia, e ha lanciato un data center a Parigi come parte di un piano di investimento europeo da 1 miliardo di dollari. A novembre, ha svelato Token Factory, un prodotto di inferenza gestita che compete con startup come Fireworks e Baseten, oltre alle offerte di inferenza degli hyperscalers stessi.

      L'acquisizione di Eigen AI è destinata a rendere Token Factory la piattaforma di inferenza più efficiente sul mercato. Con il layer di ottimizzazione di Eigen integrato in Token Factory, Nebius può offrire ai clienti prezzi per token più bassi o una maggiore capacità di elaborazione dallo stesso hardware, un vantaggio competitivo in un mercato in cui i prezzi sono trasparenti e i costi di switching sono bassi. Il mercato neocloud si sta espandendo rapidamente, con aziende come CoreWeave che firmano contratti infrastrutturali del valore di decine di miliardi. FluidStack, un altro neocloud, è in trattative per raccogliere 1 miliardo di dollari a una valutazione di 18 miliardi di dollari. Le dinamiche competitive sono chiare: chiunque possa offrire il maggior numero di token per dollaro per GPU vince.

      La strategia

      L'accordo con Eigen è la seconda acquisizione di Nebius in tre mesi, dopo l'acquisto di febbraio di Tavily, un'azienda di ricerca di agenti AI, per 275 milioni di dollari. Chernin ha detto che l'azienda sta guardando ad altre opportunità di affari. Il modello suggerisce una strategia di acquisizione di piccoli team tecnicamente eccellenti le cui capacità richiederebbero anni per essere costruite internamente. Eigen AI porta 20 persone e uno stack di ottimizzazione di livello produttivo. Tavily ha portato infrastrutture di ricerca per agenti AI. Entrambe le acquisizioni aggiungono capacità che spostano Nebius verso l'alto nella catena, dall'affitto di capacità GPU grezza verso la fornitura di servizi a valore più elevato che interagiscono direttamente con i clienti.

      “Non vogliamo essere l'infrastruttura e che qualcuno sopra di noi lavori con i veri clienti,” ha detto Chernin. Questo è il dilemma neocloud in una frase. Affittare capacità GPU è redditizio ma commoditizzato. I margini migliorano man mano che ci si avvicina al layer applicativo: dal calcolo grezzo, all'inferenza gestita, al servizio di modelli ottimizzati, al fine-tuning delle pipeline, ai punti finali di livello enterprise. La tecnologia di Eigen AI opera all'intersezione tra calcolo e servizio di modelli, che è precisamente dove il valore nell'infrastruttura AI sta migrando. Il prezzo di 643 milioni di dollari, circa 32 milioni di dollari per dipendente, riflette un mercato in cui la risorsa più scarsa non sono i chip o il capitale, ma le persone che sanno come far produrre ai chip più token per meno soldi. Con la capacità dei data center in scarsa disponibilità, Nebius sta riservando parte della sua potenza di calcolo per Token Factory piuttosto che venderla in contratti all'ingrosso pluriennali, addebitando prezzi premium per contratti di inferenza a breve preavviso. L'economia funziona solo se ogni GPU genera il maggior numero possibile di token. Questo è ciò che Nebius ha appena acquistato.