Majestic Labs abandona la GPU para superar la barrera de memoria de Nvidia.

      La conversación sobre hardware de IA está atascada en una palabra: computación. Una startup de Tel Aviv quiere cambiar la palabra a memoria. Majestic Labs, fundada en 2023 por exingenieros de Google y Meta, ha presentado un servidor que dice puede hacer el trabajo de un rack de GPUs Nvidia. Lo hace atacando un cuello de botella diferente.

      La propuesta, reportada por TechRadar, es que emparejar GPUs costosas con memoria de alto ancho de banda escasa se ha convertido en un callejón sin salida para la inferencia de IA. Ejecutar un modelo a menudo está limitado por cuánta memoria rápida puedes alcanzar, no por la computación bruta. Así que Majestic desechó la GPU.

      Su servidor, Prometheus, intercambia chips gráficos por lo que llama Unidades de Procesamiento de IA Ignite. Cada unidad combina núcleos Arm con motores vectoriales y tensoriales RISC-V. Hasta 12 se encuentran en un servidor, compartiendo un único pool de 8TB a 128TB de LPDDR6. Esa es la memoria barata que se encuentra en los teléfonos, no la costosa memoria de alto ancho de banda de la que dependen las GPUs.

      Una forma diferente de golpear la pared de memoria

      El truco está en el cableado. En lugar de atornillar memoria a cada paquete de GPU, Majestic la agrupa a través de chiplets de agregación personalizados. Cables de cobre de hasta un metro de largo los conectan. El resultado, afirma, es un pool coherente mucho más grande de lo que una caja de GPU puede abordar.

      La comparación que hace es contundente. Un Nvidia DGX B300 con ocho GPUs Blackwell lleva 2.3TB de memoria de alto ancho de banda. Majestic dice que Prometheus ofrece más de 50 veces tanta memoria rápida, a 1.7 veces el ancho de banda de interconexión. Un rack, afirma, iguala a 25 de los racks Vera Rubin de Nvidia para memoria rápida, a una fracción de la energía.

      La historia del software es más amigable de lo que suena el hardware. Prometheus está construido con estándares abiertos y soporta PyTorch, vLLM y Triton de OpenAI. Los modelos construidos para GPUs están destinados a ejecutarse en él sin cambios. Majestic dice que ya ha recibido pedidos de grandes empresas, neoclouds y hyperscalers.

      Números sorprendentes, ningún hardware enviado

      Cada cifra aquí lleva el mismo asterisco. Es el propio de Majestic, antes de las pruebas independientes, y nada ha sido enviado. La empresa tiene alrededor de 40 empleados en Tel Aviv y Los Ángeles. Recaudó $100 millones a finales del año pasado, una suma modesta en comparación con lo que sus rivales manejan.

      También hay preguntas físicas. Un pool de 128TB construido a partir de chips LPDDR6 de 2GB necesitaría aproximadamente 64,000 de ellos. Eso implica más de cien chiplets de agregación en un solo servidor. Son muchas piezas para mantener coherentes, y TechRadar señala que los compradores probablemente esperarán por benchmarks independientes antes de cambiar.

      Lo que Majestic se une es una línea creciente de startups atacando a Nvidia desde ángulos inusuales. Chips ópticos, silicio de borde para inferencia y equipos de red abiertos cada uno elige un punto débil diferente. El hilo común es que el dominio de Nvidia ahora es un objetivo desde varios lados a la vez, incluso su foso de software.

      La propuesta de la pared de memoria es la más nueva de ellas. También es la menos probada. Majestic ha dibujado una imagen de un rack que avergüenza a una sala de GPUs en memoria y energía. El próximo año, cuando el hardware se envíe y alguien más ejecute los benchmarks, la imagen se sostiene o no.