Nvidia объединяется с конкурентом по производству чипов d-Matrix для инференса

      Nvidia нашла новый способ справляться с конкурентами по производству чипов: работать с ними. Гигант GPU объединяет свое оборудование с чипами для вывода данных от стартапа d-Matrix, сообщает The Information. Оба компании выпустят совместную систему для запуска моделей ИИ. Первым клиентом станет облачная компания Parasail, система должна начать работу позже в этом году. Это соответствует более широкой привычке Nvidia сотрудничать с теми компаниями, которые пытаются ее сместить.

      Логика соответствует структуре работы ИИ. Ответ на запрос делится на два этапа. Тяжелый этап "предварительной загрузки" подходит для GPU Nvidia. Более легкий, повторяющийся этап "декодирования" работает дешевле на специализированных чипах. Сочетание обоих позволяет каждому делать то, что он делает лучше всего.

      Что приносит d-Matrix

      d-Matrix построила свой ускоритель Corsair на основе "вычислений в памяти", которые хранят данные рядом с логикой, обрабатывающей их. Основанная в 2019 году, она привлекла 275 миллионов долларов при оценке в 2 миллиарда долларов в ноябре и снова собирает средства. Генеральный директор Сид Шет говорит, что ее преимущество заключается в том, чтобы объединить вычисления и память на одном чипе. Она также избегает дорогой и дефицитной памяти с высокой пропускной способностью, на которую полагаются чипы Nvidia. Стартап утверждает, что сочетание Corsair с GPU позволяет обрабатывать токены примерно в 10 раз быстрее, при этом стоимость составляет примерно треть и до пяти раз меньше энергии на некоторых задачах.

      Это собственные цифры компании, а не независимые результаты. Но они указывают на настоящую награду в области ИИ прямо сейчас. Обучение создало модели. Вывод, работа с ними для миллионов пользователей, — это то, где находятся текущие расходы и деньги.

      Игровая книга Nvidia

      💜 технологий ЕС Последние слухи из технологической сцены ЕС, история от нашего мудрого основателя Бориса и несколько сомнительных произведений ИИ. Это бесплатно, каждую неделю, в вашем почтовом ящике. Подпишитесь сейчас! Сделка выделяется, потому что Nvidia редко нуждается в помощи. Она доминирует на рынке ИИ-чипов, и такие стартапы, как d-Matrix, существуют, чтобы уменьшить это преимущество. Вместо того чтобы бороться с каждым из них, Nvidia продолжает включать конкурентов в свою экосистему. Она сделала то же самое с другими компаниями по производству чипов и сетевого оборудования.

      Этот подход хеджирует ее ставки. Если специализированные чипы для вывода данных начнут развиваться, как кастомные кремниевые чипы, которые сейчас распространяются среди крупных технологий, тогда Nvidia получит прибыль от этого сдвига, а не потеряет от него. Если они остановятся, она потеряет немного. В любом случае клиенты остаются в орбите Nvidia.

      Почему это важно

      Сотрудничество сигнализирует о том, что рынок ИИ-чипов созревает, выходя за рамки одного победителя. Покупатели больше не хотят одного гигантского GPU для всего. Им нужен самый дешевый чип для каждой задачи, сшитый вместе. Ответ Nvidia заключается в том, чтобы убедиться, что она продает или находится рядом с тем, что побеждает.