Nvidia se une a su rival de chips d-Matrix en inferencia

Nvidia se une a su rival de chips d-Matrix en inferencia

      Nvidia ha encontrado una nueva forma de manejar a sus rivales en el ámbito de los chips: trabajar con ellos. El gigante de las GPU está combinando su hardware con chips de inferencia de la startup d-Matrix, informó The Information. Ambos enviarán un sistema conjunto para ejecutar modelos de IA. La empresa de IA en la nube Parasail será su primer cliente, con el sistema previsto para estar en línea a finales de este año. Esto se ajusta a una tendencia más amplia de Nvidia de asociarse con las mismas empresas que intentan desplazarla.

      La lógica sigue la forma del trabajo de IA. Responder a un aviso se divide en dos fases. Un pesado paso de "prefill" se adapta a las GPU de Nvidia. Un paso de "decode" más ligero y repetitivo se ejecuta de manera más económica en chips especializados. Emparejar los dos permite que cada uno haga lo que mejor sabe hacer.

      Lo que d-Matrix aporta

      d-Matrix construyó su acelerador Corsair en torno a la "computación en memoria", que mantiene los datos junto a la lógica que los procesa. Fundada en 2019, recaudó $275 millones a una valoración de $2 mil millones en noviembre, y está recaudando nuevamente. El CEO Sid Sheth dice que su ventaja es poner computación y memoria en un solo chip. También evita la costosa y escasa memoria de alto ancho de banda de la que dependen los chips de Nvidia. La startup afirma que emparejar Corsair con GPUs ejecuta tokens aproximadamente 10 veces más rápido, a aproximadamente un tercio del costo y hasta cinco veces menos energía en algunos trabajos.

      Esas son las cifras de la empresa, no resultados independientes. Pero apuntan al verdadero premio en IA en este momento. El entrenamiento construyó los modelos. La inferencia, ejecutándolos para millones de usuarios, es donde se encuentran cada vez más los costos operativos y el dinero.

      El libro de jugadas de amigo-enemigo de Nvidia

      El 💜 de la tecnología de la UE Las últimas novedades de la escena tecnológica de la UE, una historia de nuestro sabio fundador Boris, y un arte de IA cuestionable. Es gratis, cada semana, en tu bandeja de entrada. ¡Inscríbete ahora! El acuerdo se destaca porque Nvidia rara vez necesita ayuda. Domina los chips de IA, y startups como d-Matrix existen para ir desgastando esa ventaja. En lugar de pelear con cada uno, Nvidia sigue incorporando rivales a su ecosistema. Ha hecho el mismo movimiento con otras empresas de chips y redes.

      El enfoque diversifica sus apuestas. Supongamos que los chips de inferencia especializados despegan, como el silicio personalizado que ahora se está extendiendo por las grandes tecnológicas. Entonces Nvidia se beneficia del cambio en lugar de perder ante él. Si se estancan, ha perdido poco. De cualquier manera, los clientes permanecen dentro de la órbita de Nvidia.

      Por qué es importante

      La asociación señala un mercado de chips de IA madurando más allá de un solo ganador. Los compradores ya no quieren una enorme GPU para todo. Quieren el chip más barato para cada trabajo, ensamblado. La respuesta de Nvidia es asegurarse de vender, o estar al lado, de lo que gane.

Otros artículos

Fi pone satélites de Starlink en un collar para perros El nuevo Fi Ultra de Fi es el primer collar para perros que funciona con los satélites de Starlink de conexión directa a celulares, manteniendo a las mascotas localizables más allá de las torres de telefonía, informa Fortune. Palmer Luckey: Las universidades de EE. UU. están quedando atrás respecto a China Palmer Luckey: Las universidades de EE. UU. están quedando atrás respecto a China Palmer Luckey de Anduril dice que las universidades estadounidenses entrenan a 'astronautas de la arquitectura' mientras China forma a los verdaderos ingenieros, una advertencia que también ha hecho el CEO de Pfizer. La startup irlandesa de entrega por drones Manna está construyendo una fábrica en Tulsa para 1,000 personas para competir con Zipline y Wing. Manna recaudó $50 millones y está estableciendo un centro de fabricación en EE. UU. en Tulsa, empleando a 1,000 personas. Abandonó Irlanda debido a fallas en la regulación. Se evaluaron seis ciudades estadounidenses. Un plan de £35 mil millones para construir 14 mini reactores nucleares en el Reino Unido Un plan de £35 mil millones para construir 14 mini reactores nucleares en el Reino Unido Los planes de SGE de Michał Sołowow incluyen 14 reactores modulares pequeños BWRX-300 de Vernova Hitachi en tres sitios del Reino Unido, una apuesta de £35 mil millones por la energía en la era de la IA, para 2034. El contratista de Meta contaminó el agua de Cheyenne, dice la ciudad. El contratista de Meta contaminó el agua de Cheyenne, dice la ciudad. Un contratista de Meta vertió una bacteria rara en el sistema de agua de Cheyenne, por lo que la ciudad de Wyoming suspendió toda descarga de centros de datos, informa el Guardian. Palmer Luckey: Las universidades de EE. UU. están quedando atrás respecto a China Palmer Luckey: Las universidades de EE. UU. están quedando atrás respecto a China Palmer Luckey de Anduril dice que las universidades estadounidenses entrenan a 'astronautas de la arquitectura' mientras China forma a los verdaderos ingenieros, una advertencia que también ha sido reiterada por el CEO de Pfizer.

Nvidia se une a su rival de chips d-Matrix en inferencia

Nvidia está combinando sus GPUs con los chips de inferencia de d-Matrix en un sistema conjunto, la última señal de que prefiere hacer amistad con sus rivales en el sector de los chips en lugar de pelear contra ellos.