SpaceX ha affittato Colossus 1 ad Anthropic perché non riusciva a far funzionare il data center per Grok.

      TL;DRSpaceX ha affittato Colossus 1 ad Anthropic dopo aver riscontrato problemi di latenza e incompatibilità dei chip cercando di utilizzarlo per Grok. Le nuove strutture utilizzano chip Blackwell uniformi.

      SpaceX ha affittato il suo data center Colossus 1 ad Anthropic non perché avesse capacità in eccesso, ma perché non riusciva a far funzionare la struttura per i propri modelli di intelligenza artificiale. Bloomberg ha riportato venerdì che SpaceX ha incontrato problemi di latenza nel tentativo di collegare il sito di Memphis a due altri campus di data center situati a più di 10 miglia di distanza, aggravati da un'infrastruttura di rete obsoleta.

      L'azienda aveva pianificato di addestrare i suoi modelli Grok più all'avanguardia utilizzando un cluster di tre strutture che lavoravano insieme. L'addestramento di grandi modelli di intelligenza artificiale richiede connessioni ultra-veloci tra i siti. Se i collegamenti sono più vecchi o a banda ridotta, creano ritardi che rallentano l'intero cluster. SpaceX ha determinato che la struttura sarebbe stata più preziosa generando entrate piuttosto che rimanere sotto-utilizzata.

      L'incompatibilità hardware ha reso le cose peggiori. Colossus 1 contiene un mix di generazioni di chip Nvidia, inclusi i sistemi Hopper e Blackwell insieme a vecchi acceleratori. Colossus 2 e 3 sono stati costruiti in modo più uniforme attorno ai chip Blackwell di Nvidia. In un cluster di addestramento distribuito, il carico di lavoro è distribuito su macchine che devono rimanere sincronizzate. I chip più vecchi creano colli di bottiglia costringendo gli acceleratori più veloci ad aspettare. Il cluster finisce per eseguire più vicino al suo hardware più lento, non al più veloce.

      Il 💜 della tecnologia dell'UELe ultime novità dalla scena tecnologica dell'UE, una storia dal nostro saggio fondatore Boris e alcune opere d'arte AI discutibili. È gratuito, ogni settimana, nella tua casella di posta. Iscriviti ora!Il risultato è che Anthropic sta ora pagando 1,25 miliardi di dollari al mese per utilizzare una struttura che gli ingegneri di SpaceX non sono riusciti a sfruttare completamente. Combinato con l'accordo mensile di 920 milioni di dollari con Google, SpaceX sta raccogliendo circa 2,17 miliardi di dollari al mese in entrate da calcolo da un'infrastruttura che originariamente aveva costruito per sé.

      La rivelazione complica la narrazione che SpaceX ha presentato durante il suo roadshow per l'IPO. L'azienda di Musk ha ripetutamente sottolineato che Colossus 1 è stato costruito in soli 122 giorni, superando le medie del settore. La velocità di costruzione era un punto di vendita. I rapporti di Bloomberg suggeriscono che la velocità è venuta a un costo: la struttura non è stata costruita in modo sufficientemente uniforme per servire come parte di un cluster di addestramento più grande.

      Il CFO di SpaceX, Bret Johnsen, ha dichiarato che l'azienda non ha rinunciato ai servizi interni di intelligenza artificiale, incluso Grok. Musk ha descritto l'accordo con Anthropic come un contratto di locazione di 180 giorni con un diritto di cancellazione reciproca di 90 giorni, preservando l'opzione di riappropriarsi della capacità. “Se il calcolo diventa super ristretto ho detto che potremmo averne bisogno di nuovo a un certo punto,” ha detto.

      Ma la traiettoria di Grok rende meno urgente il recupero del calcolo. I download sono scesi da 20 milioni a gennaio a 8,3 milioni ad aprile. La conversione a pagamento è un quinto di quella di ChatGPT. L'adozione federale si è bloccata. Il prodotto che avrebbe dovuto giustificare l'investimento nel data center sta sottoperformando, mentre il reddito da affitto di Anthropic e Google è ora una linea di entrate annualizzate di 26 miliardi di dollari. SpaceX ha costruito un data center per l'addestramento dell'IA e accidentalmente è diventata un proprietario di IA invece.