Infinity привлекла 15 миллионов долларов, чтобы сделать любой AI чип готовым к инференсу

      Ставка смелая для раунда посевного финансирования. Infinity утверждает, что может устранить одно преимущество, которое сделало Nvidia недосягаемой. Она только что привлекла средства, чтобы попробовать.

      Компания закрыла раунд посевного финансирования на сумму 15 миллионов долларов при оценке в 100 миллионов долларов в понедельник, как она объявила. Среди инвесторов - Touring Capital, Principal VC, руководители крупных чиповых компаний и исследователи из OpenAI и Anthropic.

      Проблема CUDA

      Чтобы понять, чем занимается Infinity, посмотрите, почему победила Nvidia. Ее чипы быстрые, но настоящая защита - это CUDA, программный слой, который она создавала почти два десятилетия.

      Большие AI-фреймворки, такие как PyTorch и TensorFlow, работают на CUDA. Напишите свое приложение на Python, и оно будет работать на оборудовании Nvidia по умолчанию. Это удобство и является причиной, по которой Nvidia занимает примерно 80% рынка AI-ускорителей для дата-центров.

      Чипы-конкуренты от AMD, Qualcomm и AWS часто сопоставимы с Nvidia по сырой мощности. Но им не хватает программного обеспечения. Портирование моделей на новый кремний означает написание ядер, низкоуровневого кода, который управляет чипом, и немногие команды могут позволить себе эти усилия.

      Агент, который пишет код для чипов

      Infinity хочет автоматизировать эту работу. Ее AI-агент, Ignition, генерирует, тестирует и переписывает эти ядра самостоятельно и продолжает настраивать их по мере поступления данных о производительности. Человеческие инженеры задают направление. Агент выполняет рутинную работу.

      Результаты, о которых сообщает Infinity, впечатляют, хотя они исходят от самой компании. Работая с производителем чипов d-Matrix, она утверждает, что Ignition достиг 92% пикового производительности нового чипа через 10 часов после первого взаимодействия с оборудованием. В течение 10 дней три передовые модели работали на нем от начала до конца.

      В другом тесте Infinity утверждает, что увеличила выход модели с примерно 1400 до более чем 20000 токенов в секунду всего за один день. Это превзойдет vLLM, широко используемый фреймворк для вывода с открытым исходным кодом. Эти утверждения еще не проверены независимо.

      Автоматизация изобретения

      Основатель придает проекту свой характер. Джереми Никсон - бывший исследователь Google Brain, который создал AGI House, хакерскую сеть в Сан-Франциско, которая утверждает, что породила сотни стартапов.

      Никсон сказал TechCrunch, что одержим "автоматизированным изобретением", идеей о том, что AI может быть своего рода мета-технологией. Однажды он создал алгоритм Omega, который изобретал другие алгоритмы машинного обучения и оценивал их в цикле. Ignition применяет тот же инстинкт к аппаратному обеспечению.

      Он объявил о привлечении средств в X с размахом, приветствуя появление AI-систем, которые "обеспечивают, оптимизируют и изобретают" следующее поколение AI-систем.

      Переполненная гонка и оговорки

      Infinity присоединяется к волне стартапов, пытающихся разорвать зависимость от CUDA. Она утверждает, что уже зарабатывает миллионы долларов ежегодного повторяющегося дохода и нанимает 26 человек. Ее бизнес-модель получает долю от увеличения скорости и снижения затрат, которые она предоставляет, а не лицензионный сбор.

      Оговорки реальны. Это компания на стадии посевного финансирования с одним публичным партнером по чипам, и основные показатели являются саморепортируемыми. Однако приз большой. Поскольку выводы стремятся составить две трети всех расходов на вычисления AI в этом году, более дешевые способы их выполнения стоят целое состояние.

      "Следующая эра AI будет определяться не только тем, кто создает лучший чип, но и тем, кто может заставить любой чип работать с современными моделями на молниеносных скоростях," - сказал Никсон. Если Ignition работает так, как заявлено, защита, которая сделала Nvidia недосягаемой, начинает выглядеть более мелкой.