Majestic Labs отказывается от GPU, чтобы преодолеть стену памяти Nvidia

      Разговор о аппаратном обеспечении ИИ застрял на одном слове: вычисления. Стартап из Тель-Авива хочет изменить это слово на память. Majestic Labs, основанная в 2023 году бывшими инженерами Google и Meta, представила сервер, который, по ее словам, может выполнять работу стойки из графических процессоров Nvidia. Это достигается за счет атаки на другую узкую горлышко.

      По данным TechRadar, суть предложения заключается в том, что сочетание дорогих графических процессоров с дефицитной высокоскоростной памятью стало тупиком для вывода ИИ. Запуск модели часто ограничивается тем, сколько быстрой памяти вы можете использовать, а не чистыми вычислениями. Поэтому Majestic отказалась от GPU.

      Ее сервер, Prometheus, заменяет графические чипы на то, что она называет единицами обработки Ignite AI. Каждая единица сочетает ядра Arm с векторными и тензорными движками RISC-V. В одном сервере может находиться до 12 таких единиц, которые делят единственный пул от 8 ТБ до 128 ТБ LPDDR6. Это дешевая память, используемая в телефонах, а не дорогая высокоскоростная память, от которой зависят графические процессоры.

      Другой способ преодолеть стену памяти

      Фокус в проводке. Вместо того чтобы прикреплять память к каждому пакету GPU, Majestic объединяет ее через кастомные агрегирующие чиплеты. Медь длиной до метра соединяет их. Результат, по ее словам, — это один согласованный пул, гораздо больший, чем может адресовать коробка GPU.

      Сравнение, к которому она обращается, резкое. Nvidia DGX B300 с восемью графическими процессорами Blackwell имеет 2,3 ТБ высокоскоростной памяти. Majestic утверждает, что Prometheus предлагает более 50 раз больше быстрой памяти при 1,7 раза большей пропускной способности соединения. Одна стойка, по ее словам, соответствует 25 стойкам Nvidia Vera Rubin по быстрой памяти при доле мощности.

      История программного обеспечения более дружелюбна, чем звучит аппаратное обеспечение. Prometheus построен на открытых стандартах и поддерживает PyTorch, vLLM и Triton от OpenAI. Модели, созданные для GPU, должны работать на нем без изменений. Majestic утверждает, что уже приняла заказы от крупных предприятий, неоклаудов и гипермасштаберов.

      Удивительные цифры, никакого отправленного оборудования

      Каждая цифра здесь имеет ту же звездочку. Это собственные данные Majestic, до независимого тестирования, и ничего не было отправлено. У компании около 40 сотрудников в Тель-Авиве и Лос-Анджелесе. Она привлекла 100 миллионов долларов в конце прошлого года, что является скромной суммой по сравнению с тем, что требуют ее конкуренты.

      Существуют и физические вопросы. Пул в 128 ТБ, построенный из чипов LPDDR6 по 2 ГБ, потребует примерно 64,000 из них. Это подразумевает более ста агрегирующих чиплетов в одном сервере. Это много деталей, которые нужно поддерживать в согласованности, и TechRadar отмечает, что покупатели, вероятно, будут ждать независимых тестов перед переходом.

      Majestic присоединяется к растущему числу стартапов, атакующих Nvidia с необычных углов. Оптические чипы, крайний кремний для вывода и оборудование открытой сети выбирают разные слабые места. Общая нить заключается в том, что доминирование Nvidia теперь является целью с нескольких сторон одновременно, даже ее программный барьер.

      Предложение о стене памяти является самым новым из них. Оно также является наименее проверенным. Majestic нарисовала картину стойки, которая позорит комнату графических процессоров по памяти и мощности. В следующем году, когда оборудование будет отправлено и кто-то другой проведет тесты, картина либо подтвердится, либо нет.