Nvidia ha pagato a Groq 20 miliardi di dollari e ha portato via i suoi migliori ingegneri. Ora Groq sta raccogliendo 650 milioni di dollari per ciò che resta.

      TL;DR Dopo il non-acqui-hire da 20 miliardi di dollari di Nvidia, Groq sta raccogliendo 650 milioni di dollari da investitori esistenti per il suo cloud di inferenza. Due sostenitori garantiscono il round.

      Groq sta raccogliendo 650 milioni di dollari da investitori esistenti per finanziare la sua attività di cloud di inferenza, ha riportato Axios. La raccolta avviene sei mesi dopo che Nvidia ha concluso un non-acqui-hire da 20 miliardi di dollari che ha pagato in contante gli investitori di Groq, ha portato via diversi ingegneri senior e ha concesso in licenza la tecnologia hardware di Groq.

      Gli stessi investitori che sono stati liquidati a dicembre sono stati ora invitati a reinvestire. Disruptive e Infinitium hanno accettato di coprire il round se altri investitori esistenti rifiutano le loro quote pro-rata. Il finanziamento è, di fatto, garantito.

      L'azienda è attualmente guidata in via temporanea dal CEO Adam Winter e dal CFO Matt Eng. Diversi dipendenti senior di alto livello sono partiti per Nvidia come parte dell'accordo di dicembre. Ciò che rimane è l'attività di cloud di inferenza di Groq, che consente a sviluppatori e imprese di ospitare applicazioni ad alta intensità di inferenza sull'hardware proprietario della Language Processing Unit di Groq.

      L'inferenza, il processo che avviene dopo che un prompt AI è stato inviato, è ora un mercato molto più grande rispetto all'addestramento dei modelli. Ogni query di ChatGPT, ogni risposta di Claude, ogni azione di un agente AI richiede calcolo di inferenza. L'economia favorisce il silicio progettato per scopi specifici che può fornire token a un costo inferiore e a una velocità superiore rispetto alle GPU di uso generale.

      L'architettura LPU di Groq è stata progettata specificamente per questo carico di lavoro. L'azienda ha spedito i suoi chip a diversi fornitori di modelli e clienti cloud. La sua velocità di inferenza, misurata in token al secondo, ha costantemente superato le prestazioni di inferenza basate su GPU di Nvidia a prezzi comparabili.

      L'accordo di dicembre da 20 miliardi di dollari è stato insolito. Non si è trattato di un'acquisizione completa. Nvidia ha pagato gli investitori di Groq in contante a quello che sarebbe stato il prezzo di acquisto più alto mai pagato da Nvidia. Ha concesso in licenza la tecnologia dei chip di Groq. Ha portato via ingegneri senior. Ma non ha assorbito l'azienda. Il risultato è un Groq che è stato finanziariamente ripristinato, tecnicamente depauperato a livello senior e ora sta raccogliendo fondi per ricostruirsi attorno a un modello di inferenza come servizio più ristretto ma potenzialmente redditizio.

      Il mercato dei chip di inferenza sta attirando capitali a un ritmo straordinario. Cerebras è diventata pubblica con una valutazione di 95 miliardi di dollari su una proposta ottimizzata per l'inferenza. Fractile ha raccolto 220 milioni di dollari a Londra per chip di inferenza che mettono il calcolo e la memoria sullo stesso die. Google sta spedendo milioni di TPU Ironwood progettati specificamente per l'inferenza.

      DeepSeek ha ridotto permanentemente il prezzo del suo V4 Pro del 75% questa settimana, comprimendo l'economia del fatturato per token su cui dipendono i fornitori di cloud di inferenza. Il modello di business di Groq richiede che il suo hardware fornisca token a un costo sufficientemente basso per competere sia con l'inferenza basata su GPU che con i prezzi delle API dei fornitori di modelli. La riduzione dei prezzi di DeepSeek rende questa competizione più difficile.

      I 650 milioni di dollari sono una scommessa che l'hardware di inferenza progettato per scopi specifici ha un vantaggio durevole rispetto alle GPU anche mentre Nvidia spinge le proprie capacità di inferenza con ogni nuova architettura. Le piattaforme Blackwell e Vera Rubin di Nvidia sono progettate per colmare il divario di prestazioni di inferenza che ha dato a aziende come Groq la loro opportunità.

      Se Groq può ricostruire la sua leadership ingegneristica, scalare il suo cloud di inferenza e mantenere un vantaggio di costo rispetto ai miglioramenti hardware di Nvidia e ai tagli aggressivi dei prezzi dei fornitori di modelli è la domanda a cui i 650 milioni di dollari dovrebbero rispondere. Gli investitori che sono stati liquidati a 20 miliardi di dollari sono stati invitati a scommettere di nuovo su una versione più piccola e snella della stessa azienda. Due di loro hanno accettato di garantire il round. Questo è o convinzione o obbligo.