SpaceX alquiló Colossus 1 a Anthropic porque no pudo hacer que el centro de datos funcionara para Grok.

      TL;DRSpaceX alquiló Colossus 1 a Anthropic después de enfrentar problemas de latencia y desajuste de chips al intentar usarlo para Grok. Las instalaciones más nuevas utilizan chips Blackwell uniformes.

      SpaceX alquiló su centro de datos Colossus 1 a Anthropic no porque tuviera capacidad sobrante, sino porque no pudo hacer que la instalación funcionara para sus propios modelos de IA. Bloomberg informó el viernes que SpaceX encontró problemas de latencia al intentar conectar el sitio de Memphis a otros dos campus de centros de datos ubicados a más de 10 millas de distancia, agravados por la infraestructura de red envejecida.

      La compañía había planeado entrenar sus modelos Grok más avanzados utilizando un clúster de tres instalaciones trabajando juntas. Entrenar grandes modelos de IA requiere conexiones ultrarrápidas entre sitios. Si los enlaces son más antiguos o de menor ancho de banda, crean retrasos que ralentizan todo el clúster. SpaceX determinó que la instalación sería más valiosa generando ingresos que permaneciendo infrautilizada.

      El desajuste de hardware empeoró las cosas. Colossus 1 contiene una mezcla de generaciones de chips Nvidia, incluidos sistemas Hopper y Blackwell junto a aceleradores más antiguos. Colossus 2 y 3 se construyeron de manera más uniforme alrededor de los chips Blackwell de Nvidia. En un clúster de entrenamiento distribuido, la carga de trabajo se distribuye entre máquinas que necesitan mantenerse sincronizadas. Los chips más antiguos crean cuellos de botella al obligar a los aceleradores más rápidos a esperar. El clúster termina funcionando más cerca de su hardware más lento, no de su más rápido.

      El 💜 de la tecnología de la UELas últimas novedades de la escena tecnológica de la UE, una historia de nuestro sabio fundador Boris y un arte de IA cuestionable. Es gratis, cada semana, en tu bandeja de entrada. ¡Inscríbete ahora!El resultado es que Anthropic ahora está pagando $1.25 mil millones por mes para usar una instalación que los propios ingenieros de SpaceX no pudieron utilizar completamente. Combinado con el acuerdo mensual de $920 millones con Google, SpaceX está recibiendo aproximadamente $2.17 mil millones por mes en ingresos por computación de la infraestructura que originalmente construyó para sí mismo.

      La revelación complica la narrativa que SpaceX presentó durante su presentación de IPO. La compañía de Musk enfatizó repetidamente que Colossus 1 se construyó en solo 122 días, superando los promedios de la industria. La velocidad de construcción fue un punto de venta. Los informes de Bloomberg sugieren que la velocidad tuvo un costo: la instalación no se construyó de manera lo suficientemente uniforme como para servir como parte de un clúster de entrenamiento más grande.

      El CFO de SpaceX, Bret Johnsen, dijo que la compañía no ha renunciado a los servicios internos de IA, incluido Grok. Musk ha descrito el acuerdo con Anthropic como un arrendamiento de 180 días con un derecho de cancelación mutua de 90 días, preservando la opción de recuperar la capacidad. “Si la computación se vuelve muy ajustada, dije que podríamos necesitarlo de vuelta en algún momento”, dijo.

      Pero la trayectoria de Grok hace que recuperar la computación sea menos urgente. Las descargas cayeron de 20 millones en enero a 8.3 millones en abril. La conversión pagada es una quinta parte de la de ChatGPT. La adopción federal se ha estancado. El producto que se suponía que justificaba la inversión en el centro de datos está teniendo un rendimiento inferior, mientras que los ingresos por alquiler de Anthropic y Google ahora son una línea de ingresos anualizada de $26 mil millones. SpaceX construyó un centro de datos para el entrenamiento de IA y accidentalmente se convirtió en un arrendador de IA en su lugar.