Perplexity si iscrive alla CPU Vera di Nvidia mentre il produttore di chip supera gli acceleratori AI.
Perplexity è diventata uno dei primi grandi nomi dell'IA a dichiarare che costruirà sulla nuova CPU Vera di Nvidia, il chip a uso generale su cui Nvidia punta per superare gli acceleratori che l'hanno resa la compagnia più preziosa al mondo. L'azienda di ricerca IA ha dichiarato che prevede di eseguire i suoi carichi di lavoro agentici su Vera, unendosi a un gruppo iniziale di adottanti che Nvidia è ansiosa di mostrare.
Vera è il processore della piattaforma Vera Rubin di Nvidia, un design basato su Arm con dozzine di core personalizzati costruiti per alimentare la prossima generazione di acceleratori dell'azienda.
È anche il passo più chiaro di Nvidia nel mercato dei processori server ordinari, uno spazio a lungo dominato da Intel e AMD, e arriva con Nvidia che ha già nominato Anthropic e OpenAI tra i suoi primi utenti.
La proposta di Perplexity per il chip è la velocità in un lavoro specifico. Nate Kupp, il vicepresidente delle infrastrutture aziendali dell'azienda, ha dichiarato che Vera esegue compiti di codifica agentica circa 1,5 volte più velocemente delle CPU tradizionali che Perplexity aveva utilizzato, definendo le sue prestazioni a thread singolo un abbinamento perfetto per il lavoro.
Quel lavoro non è piccolo. Perplexity ora gestisce più di 400 milioni di query di ricerca al mese, ognuna delle quali passa attraverso un pipeline di inferenza che si è appoggiata all'hardware di Nvidia, inclusi GPU H100 e il software Triton e TensorRT dell'azienda, fin dall'inizio.
Le caratteristiche agentiche sono ciò che rende importante la CPU qui. Quando un sistema IA collega insieme molte chiamate di modello, utilizzi di strumenti e esecuzioni di codice per completare un compito, il processore a uso generale che coordina tutto diventa un collo di bottiglia reale quanto l'acceleratore che esegue i calcoli pesanti.
Vera stessa è un design Arm personalizzato, che abbina dozzine di core costruiti da Nvidia con memoria veloce e a basso consumo e un collegamento ad alta larghezza di banda agli acceleratori dell'azienda. La proposta è che un chip sintonizzato dalla stessa azienda che produce le GPU può spostare dati tra i due con meno attrito rispetto a un componente standard.
Per Nvidia, l'approvazione conta tanto quanto l'ordine. L'azienda ha detto agli investitori di aspettarsi di generare circa 20 miliardi di dollari dalle vendite della CPU Vera in questo anno fiscale, la sua offerta iniziale per un mercato di calcolo a uso generale che stima intorno ai 200 miliardi di dollari.
La spinta è in parte difensiva. Diversi dei più grandi clienti di Nvidia, tra cui OpenAI, stanno progettando i propri chip IA, e una linea di CPU consente a Nvidia di vendere di più in ogni rack anche dove i suoi acceleratori affrontano la concorrenza. Ha anche offerto alle startup calcolo ora e pagamento dopo per garantire la domanda.
L'ecosistema più ampio attorno a Vera Rubin si sta riempiendo rapidamente. Sul lato della memoria, Nvidia e SK Hynix hanno siglato un accordo pluriennale HBM4 per fornire la piattaforma, uno dei diversi accordi di fornitura che sostengono la tabella di marcia.
La scelta di Perplexity dice anche qualcosa su dove sta andando la ricerca IA. Mentre i rivali integrano risposte generative in tutto, un cambiamento che ha già rimodellato il modo in cui le persone cercano, il costo di eseguire quelle risposte su larga scala è diventato un problema competitivo in sé.
L'inferenza più economica è la leva. CPU più veloci consentono a un'azienda di servire più query per la stessa spesa, o di spingersi verso caratteristiche agentiche che collegano molte chiamate senza far lievitare il costo.
Per Perplexity, che è cresciuta rapidamente e ha raccolto fondi pesantemente per finanziare quella crescita, mantenere basso il costo per query è vicino a una questione esistenziale. Ogni efficienza che può estrarre dall'hardware è margine che non deve trovare dagli investitori o dal far pagare di più gli utenti.
Nessuna delle due parti ha detto quando Vera sarà disponibile in volume, e Perplexity non ha dettagliato quanto della sua flotta si sposterà. La prova più difficile arriverà più tardi, quando Vera dovrà conquistare le imprese che già conoscono e si fidano di Intel e AMD in un modo in cui non conoscono ancora le CPU di Nvidia.
Altri articoli
Perplexity si iscrive alla CPU Vera di Nvidia mentre il produttore di chip supera gli acceleratori AI.
Perplexity afferma che eseguirà i carichi di lavoro del suo agente AI sulla nuova CPU Vera di Nvidia, una vittoria iniziale per l'impegno di Nvidia nel calcolo di uso generale.
