Majestic Labs abbandona la GPU per superare il muro della memoria di Nvidia

      La conversazione sull'hardware AI è bloccata su una parola: calcolo. Una startup di Tel Aviv vuole cambiare la parola in memoria. Majestic Labs, fondata nel 2023 da ex ingegneri di Google e Meta, ha svelato un server che afferma possa svolgere il lavoro di un rack di GPU Nvidia. Lo fa attaccando un collo di bottiglia diverso.

      La proposta, riportata da TechRadar, è che abbinare costose GPU con memoria ad alta larghezza di banda scarsa è diventato un vicolo cieco per l'inferenza AI. Eseguire un modello è spesso limitato da quanta memoria veloce si può raggiungere, non dal calcolo grezzo. Così Majestic ha abbandonato la GPU.

      Il suo server, Prometheus, sostituisce i chip grafici con quelli che chiama Unità di Elaborazione AI Ignite. Ogni unità combina core Arm con motori vettoriali e tensoriali RISC-V. Fino a 12 possono trovarsi in un server, condividendo un singolo pool di 8TB a 128TB di LPDDR6. Questa è la memoria economica trovata nei telefoni, non la costosa memoria ad alta larghezza di banda di cui dipendono le GPU.

      Un modo diverso per colpire il muro della memoria

      Il trucco è nel cablaggio. Invece di fissare la memoria su ogni pacchetto GPU, Majestic la aggrega attraverso chiplet di aggregazione personalizzati. Cavi di rame lunghi fino a un metro li collegano. Il risultato, afferma, è un pool coerente molto più grande di quanto possa gestire una scatola GPU.

      Il confronto che propone è netto. Un Nvidia DGX B300 con otto GPU Blackwell porta 2,3TB di memoria ad alta larghezza di banda. Majestic afferma che Prometheus offre più di 50 volte tanta memoria veloce, con 1,7 volte la larghezza di banda di interconnessione. Un rack, sostiene, eguaglia 25 rack di Nvidia Vera Rubin per memoria veloce, a una frazione della potenza.

      La storia del software è più amichevole di quanto sembri l'hardware. Prometheus è costruito su standard aperti e supporta PyTorch, vLLM e Triton di OpenAI. I modelli costruiti per le GPU sono progettati per funzionare su di esso senza modifiche. Majestic afferma di aver già ricevuto ordini da grandi imprese, neocloud e hyperscalers.

      Numeri sorprendenti, nessun hardware spedito

      Ogni cifra qui porta lo stesso asterisco. È quella di Majestic, prima dei test indipendenti, e nulla è stato spedito. L'azienda ha circa 40 dipendenti tra Tel Aviv e Los Angeles. Ha raccolto 100 milioni di dollari alla fine dello scorso anno, una somma modesta rispetto a ciò che i suoi rivali comandano.

      Ci sono anche domande fisiche. Un pool da 128TB costruito con chip LPDDR6 da 2GB avrebbe bisogno di circa 64.000 di essi. Questo implica più di cento chiplet di aggregazione in un singolo server. Sono molte parti da mantenere coerenti, e TechRadar osserva che gli acquirenti probabilmente aspetteranno benchmark indipendenti prima di passare.

      Ciò a cui Majestic si unisce è una crescente linea di startup che attaccano Nvidia da angolazioni insolite. Chip ottici, silicio edge per inferenza e attrezzature di rete aperta ciascuno colpisce un punto debole diverso. Il filo comune è che il dominio di Nvidia è ora un obiettivo da più lati contemporaneamente, anche il suo fossato software.

      La proposta del muro della memoria è la più recente tra queste. È anche la meno provata. Majestic ha tracciato un'immagine di un rack che umilia una stanza di GPU in termini di memoria e potenza. L'anno prossimo, quando l'hardware sarà spedito e qualcun altro eseguirà i benchmark, l'immagine o reggerà o non reggerà.