Nvidia si unisce al rivale dei chip d-Matrix per l'inferenza

      Nvidia ha trovato un nuovo modo per gestire i suoi rivali nel settore dei chip: collaborare con loro. Il gigante delle GPU sta combinando il suo hardware con i chip di inferenza della startup d-Matrix, ha riportato The Information. I due forniranno un sistema congiunto per eseguire modelli di intelligenza artificiale. L'azienda AI-cloud Parasail sarà il suo primo cliente, con il sistema previsto online entro la fine di quest'anno. Si inserisce in un'abitudine più ampia di Nvidia di collaborare con le stesse aziende che cercano di scalzarla.

      La logica segue la forma del lavoro sull'IA. Rispondere a un prompt si divide in due fasi. Un pesante passo di "prefill" si adatta alle GPU di Nvidia. Un passo "decode" più leggero e ripetitivo funziona in modo più economico su chip specializzati. Abbinare i due consente a ciascuno di fare ciò che sa fare meglio.

      Cosa porta d-Matrix

      d-Matrix ha costruito il suo acceleratore Corsair attorno al "calcolo in-memory", che mantiene i dati accanto alla logica che li elabora. Fondata nel 2019, ha raccolto 275 milioni di dollari a una valutazione di 2 miliardi di dollari a novembre, e sta raccogliendo nuovamente fondi. Il CEO Sid Sheth afferma che il suo vantaggio è mettere il calcolo e la memoria su un unico chip. Salta anche la costosa e scarsa memoria ad alta larghezza di banda su cui si basano i chip di Nvidia. La startup sostiene che abbinare Corsair con le GPU esegue i token circa 10 volte più velocemente, a circa un terzo del costo e fino a cinque volte meno energia su alcuni lavori.

      Questi sono i dati della società, non risultati indipendenti. Ma indicano il vero premio nell'IA in questo momento. L'addestramento ha costruito i modelli. L'inferenza, eseguendoli per milioni di utenti, è dove si trovano sempre più i costi operativi e il denaro.

      Il playbook da frenemy di Nvidia

      Il 💜 della tecnologia UE Gli ultimi rumori dalla scena tecnologica dell'UE, una storia del nostro saggio fondatore Boris e alcune opere d'arte AI discutibili. È gratuito, ogni settimana, nella tua casella di posta. Iscriviti ora! L'accordo si distingue perché Nvidia raramente ha bisogno di aiuto. Domina il mercato dei chip per l'IA, e startup come d-Matrix esistono per intaccare quel vantaggio. Invece di combattere contro ognuno, Nvidia continua a integrare i rivali nel suo ecosistema. Ha fatto la stessa mossa con altre aziende di chip e networking.

      L'approccio copre le sue scommesse. Se i chip di inferenza specializzati decollano, come il silicio personalizzato che ora si sta diffondendo tra le grandi aziende tecnologiche. Allora Nvidia trae profitto dal cambiamento invece di perderci. Se si bloccano, ha perso poco. In ogni caso, i clienti rimangono nell'orbita di Nvidia.

      Perché è importante

      L'unione segnala un mercato dei chip per l'IA che matura oltre un singolo vincitore. Gli acquirenti non vogliono più una gigantesca GPU per tutto. Vogliono il chip più economico per ogni lavoro, assemblato insieme. La risposta di Nvidia è assicurarsi di vendere, o di sedere accanto, a qualsiasi cosa vinca.