Nvidia se une a su rival de chips d-Matrix en inferencia

      Nvidia ha encontrado una nueva forma de manejar a sus rivales en el ámbito de los chips: trabajar con ellos. El gigante de las GPU está combinando su hardware con chips de inferencia de la startup d-Matrix, informó The Information. Ambos enviarán un sistema conjunto para ejecutar modelos de IA. La empresa de IA en la nube Parasail será su primer cliente, con el sistema previsto para estar en línea a finales de este año. Esto se ajusta a una tendencia más amplia de Nvidia de asociarse con las mismas empresas que intentan desplazarla.

      La lógica sigue la forma del trabajo de IA. Responder a un aviso se divide en dos fases. Un pesado paso de "prefill" se adapta a las GPU de Nvidia. Un paso de "decode" más ligero y repetitivo se ejecuta de manera más económica en chips especializados. Emparejar los dos permite que cada uno haga lo que mejor sabe hacer.

      Lo que d-Matrix aporta

      d-Matrix construyó su acelerador Corsair en torno a la "computación en memoria", que mantiene los datos junto a la lógica que los procesa. Fundada en 2019, recaudó $275 millones a una valoración de $2 mil millones en noviembre, y está recaudando nuevamente. El CEO Sid Sheth dice que su ventaja es poner computación y memoria en un solo chip. También evita la costosa y escasa memoria de alto ancho de banda de la que dependen los chips de Nvidia. La startup afirma que emparejar Corsair con GPUs ejecuta tokens aproximadamente 10 veces más rápido, a aproximadamente un tercio del costo y hasta cinco veces menos energía en algunos trabajos.

      Esas son las cifras de la empresa, no resultados independientes. Pero apuntan al verdadero premio en IA en este momento. El entrenamiento construyó los modelos. La inferencia, ejecutándolos para millones de usuarios, es donde se encuentran cada vez más los costos operativos y el dinero.

      El libro de jugadas de amigo-enemigo de Nvidia

      El 💜 de la tecnología de la UE Las últimas novedades de la escena tecnológica de la UE, una historia de nuestro sabio fundador Boris, y un arte de IA cuestionable. Es gratis, cada semana, en tu bandeja de entrada. ¡Inscríbete ahora! El acuerdo se destaca porque Nvidia rara vez necesita ayuda. Domina los chips de IA, y startups como d-Matrix existen para ir desgastando esa ventaja. En lugar de pelear con cada uno, Nvidia sigue incorporando rivales a su ecosistema. Ha hecho el mismo movimiento con otras empresas de chips y redes.

      El enfoque diversifica sus apuestas. Supongamos que los chips de inferencia especializados despegan, como el silicio personalizado que ahora se está extendiendo por las grandes tecnológicas. Entonces Nvidia se beneficia del cambio en lugar de perder ante él. Si se estancan, ha perdido poco. De cualquier manera, los clientes permanecen dentro de la órbita de Nvidia.

      Por qué es importante

      La asociación señala un mercado de chips de IA madurando más allá de un solo ganador. Los compradores ya no quieren una enorme GPU para todo. Quieren el chip más barato para cada trabajo, ensamblado. La respuesta de Nvidia es asegurarse de vender, o estar al lado, de lo que gane.