Бесплатный AI-сервер ZML работает на любом основном чипе

      Стартап из Парижа хочет ослабить хватку Nvidia на ИИ, не с помощью нового чипа, а с помощью программного обеспечения. ZML выпустила бесплатный инструмент, который быстро запускает модели с открытым исходным кодом на чипах Nvidia, AMD, Google, Apple и Intel.

      Nvidia по-прежнему правит аппаратным обеспечением ИИ, но ее стены продолжают thinning. ZML, стартап из Парижа, поддерживаемый пионером ИИ Янном ЛеКуном, выпустил бесплатное программное обеспечение, которое запускает языковые модели с открытым исходным кодом на смеси чипов, сообщает TechCrunch. Список охватывает пять целей: Nvidia, AMD, TPU Google, Intel и Apple.

      Инструмент, ZML/LLMD, является сервером вывода. Вывод означает запуск обученной модели для ответа на запросы, часть ИИ, которая сейчас потребляет большую часть вычислительных ресурсов. Основатель Стив Морин говорит, что цель состоит в том, чтобы разрушить силосы, которые привязывают пользователей к одному поставщику, и выжать из каждого чипа максимальную скорость.

      Почему важна смесь чипов

      Стоимость является движущей силой. Поскольку счета за ИИ растут, предприятия и облака хотят свободы выбора более дешевого или менее энергоемкого кремния для конкретной задачи. «Идея заключается в том, чтобы вернуть людям возможность создавать свою собственную систему», - сказал Морин. Если это сделать хорошо, это будет восприниматься не как функция, а как клин под рвом Nvidia.

      Это также может поднять волну новых производителей чипов, многие из которых европейские. Морин упомянул Axelera, Fractile, Kalray, SiPearl, VSORA и других. Программное обеспечение, которое рассматривает их чипы как первоклассные, а не второсортные, дает покупателям реальную причину попробовать их.

      Переполненная, дорогая гонка

      Морин не списывает Nvidia со счетов и говорит, что ZML имеет хорошие отношения с гигантом чипов. Но поле переполнено. «Золотая лихорадка вывода» породила конкурентов, таких как Baseten, недавно оцененный в 13 миллиардов долларов, плюс команды, стоящие за проектами с открытым исходным кодом vLLM и SGLang. Все они гонятся за одной и той же наградой: сделать ИИ дешевле в эксплуатации.

      Морин считает, что ZML достигает большего. «Мы достигли точки, где мы совместно разрабатываем кремний», - сказал он. Его небольшая команда из 20 человек быстро выпустила продукт, и впереди еще много релизов.

      Почему это важно

      LLMD сейчас доступен бесплатно, чтобы собрать данные о использовании, пока это не платный продукт. Его необычное происхождение является более значительным сигналом. Инструмент, созданный для ослабления хватки Nvidia и поддержки собственного стека ИИ Европы, пришел из Парижа, а не из Кремниевой долины. Морин, который привлек 20 миллионов долларов от инвесторов, включая Kima Ventures Ксавье Ньеля, выразился прямо. «Я не мог бы сделать ZML нигде, кроме Парижа», - сказал он.