NeuReality nomina l'ex direttore dell'AI di Google come consulente

      Quando Jensen Huang ha detto a 30.000 partecipanti al GTC la scorsa settimana che il futuro del data center è una "fabbrica di token", stava descrivendo un mondo verso cui una piccola startup israeliana sta lavorando silenziosamente da mesi. NeuReality, l'azienda con sede a Cesarea dietro il sistema operativo di inferenza NR-NEXUS, ha nominato Shalini Agarwal, direttore della gestione dei prodotti presso Google Labs, come consulente strategico incaricato di plasmare il modo in cui NR-NEXUS raggiunge i clienti aziendali, secondo un comunicato stampa distribuito lunedì.

      L'assunzione segna un cambiamento di ambizione per un'azienda che ha iniziato la sua vita progettando silicio personalizzato per l'inferenza AI e che da allora si è spostata verso software che promette di trasformare cluster GPU frammentati in motori di inferenza di livello produttivo.

      Agarwal porta con sé circa due decenni di esperienza nella strategia di prodotto in importanti aziende tecnologiche. Presso Google Labs, ha diretto la gestione dei prodotti per iniziative focalizzate sull'AI. Prima di ciò, ha trascorso quasi un decennio presso eBay, secondo i registri professionali pubblicamente disponibili, e ha conseguito una laurea in informatica, ingegneria elettrica e scienze della gestione al MIT. La sua nomina è consultiva piuttosto che operativa, ma colloca un nome riconoscibile della Silicon Valley accanto alla leadership esistente di NeuReality: il co-fondatore e CEO Moshe Tanach e il presidente Hiren Majmudar, un ex dirigente di GlobalFoundries e Intel Capital che si è unito a settembre 2024.

      Il tempismo è deliberato. Il 12 marzo, NeuReality ha svelato NR-NEXUS, descrivendolo come un sistema operativo indipendente dall'hardware per quelle che l'azienda chiama fabbriche di AI. La piattaforma disaggregata gestisce i compiti di prefill e decode su hardware eterogeneo, inclusi GPU, CPU e schede di interfaccia di rete, mirando a estrarre più lavoro utile da acceleratori costosi che spesso rimangono parzialmente inattivi. I clienti beta stanno già utilizzando il software, secondo l'azienda, anche se NeuReality non ha rivelato quali organizzazioni siano nel programma.

      Il 💜 della tecnologia UE Gli ultimi rumori dalla scena tecnologica dell'UE, una storia del nostro saggio fondatore Boris e alcune opere d'arte AI discutibili. È gratuito, ogni settimana, nella tua casella di posta. Iscriviti ora! Il prodotto arriva in un momento in cui l'economia dell'inferenza è diventata una delle metriche più osservate nell'AI aziendale. Deloitte stima che i carichi di lavoro di inferenza rappresenteranno la metà di tutto il calcolo AI nel 2025 e raggiungeranno i due terzi quest'anno. I hyperscalers stanno rispondendo con enormi spese in conto capitale, con Amazon che prevede 200 miliardi di dollari di spese nel 2026 e Google che stanzia tra 175 miliardi e 185 miliardi, secondo le recenti comunicazioni sugli utili. Tuttavia, gran parte di quell'investimento passa attraverso un numero ridotto di stack verticalmente integrati, lasciando le aziende che desiderano eseguire inferenze su hardware misto con opzioni limitate.

      È in questo gap che NeuReality sta scommettendo. NR-NEXUS è progettato per funzionare su qualsiasi CPU, GPU o NIC, inclusa la prossima architettura Vera Rubin di NVIDIA, e si rivolge a tre categorie di acquirenti: fornitori di neocloud, aziende che costruiscono la propria capacità di inferenza e fornitori di semiconduttori che cercano di offrire uno strato software completo sopra i loro chip.

      L'azienda ha raccolto circa 70 milioni di dollari fino ad oggi. Un round di finanziamento di 35 milioni di dollari nella serie A alla fine del 2022, guidato da Samsung Ventures con la partecipazione di OurCrowd e SK Hynix tra gli altri, è stato seguito da un round di 20 milioni di dollari a marzo 2024 ancorato dal Fondo del Consiglio Europeo per l'Innovazione e investitori esistenti. Questo sostegno dell'UE ha posizionato NeuReality come parte di una spinta europea più ampia per sviluppare un'infrastruttura AI sovrana, anche se il centro ingegneristico dell'azienda rimane in Israele.

      Il ruolo consultivo di Agarwal sembra concentrarsi sulla strategia di go-to-market piuttosto che sull'ingegneria del prodotto, un riconoscimento che costruire un sistema operativo di inferenza è solo metà della sfida. L'altra metà consiste nel persuadere gli acquirenti di infrastrutture, molti dei quali hanno relazioni profonde con l'ecosistema software di NVIDIA, che uno strato di orchestrazione di una startup vale lo sforzo di integrazione.

      Se NR-NEXUS potrà guadagnare terreno dipenderà dall'esecuzione in un mercato che sta attirando una concorrenza ben finanziata. Modal Labs sta raccogliendo fondi a una valutazione riportata di 2,5 miliardi di dollari. Baseten ha annunciato un round di 300 milioni di dollari a 5 miliardi di dollari. Fireworks AI ha ottenuto 250 milioni di dollari. Ognuno affronta l'ottimizzazione dell'inferenza da un angolo leggermente diverso, ma tutti stanno inseguendo la stessa opportunità fondamentale: mentre l'AI passa dall'addestramento al dispiegamento, chi controlla lo strato di inferenza controlla una quota crescente della catena del valore.

      Per NeuReality, la nomina di un consulente con istinti di prodotto di livello Google potrebbe sembrare una mossa modesta sulla carta. In pratica, è una scommessa che la prossima fase dell'infrastruttura AI ricompenserà le aziende che possono colmare il divario tra silicio e le aziende che devono eseguire modelli su larga scala, in modo efficiente e su hardware che già possiedono.