Thinking Machines Inkling: Первый открытый весовой модель Мурати

      «Мы верим в то, что странность должна оставаться живой». Эта фраза взята из манифеста, который лаборатория Мира Муратти опубликовала на прошлой неделе. Это также является основой для первой модели лаборатории.

      Лаборатория Thinking Machines, основанная бывшим техническим директором OpenAI, выпустила Inkling. Он имеет открытый вес, поэтому любой разработчик или компания могут скачать модель и изменить её. Это уже отличает её от флагманских моделей, продаваемых OpenAI, Anthropic и Google.

      Inkling большой. Это система смешанных экспертов с 975 миллиардами общих параметров, хотя для выполнения любой конкретной задачи используется только около 41 миллиарда. Она обрабатывает контекстное окно до 1 миллиона токенов и обучалась на 45 триллионах токенов текста, изображений, аудио и видео. Она рассуждает на основе текста, изображений и аудио, но пока что только возвращает текст, включая код и структурированные данные.

      Модель, которая признает, что она не лучшая

      Вот в чем поворот. Thinking Machines не утверждает, что Inkling занимает первое место в рейтингах. В собственных материалах она называется «не самой сильной моделью, доступной сегодня, закрытой или открытой».

      💜 технологий ЕС Последние слухи из технологической сцены ЕС, история от нашего мудрого основателя Бориса и несколько сомнительных AI-артов. Это бесплатно, каждую неделю, в вашем почтовом ящике. Подпишитесь сейчас! Лаборатория преследует что-то другое: диапазон и адаптивность. Thinking Machines Inkling предназначен быть широкой, сбалансированной основой, которую организации могут подстраивать под свою работу, а не готовым чат-ботом. Пользователи могут регулировать его «умственные усилия» вверх или вниз, чтобы обменивать точность на скорость. На одном тесте по программированию, по словам компании, Inkling соответствует Nvidia’s Nemotron 3 Ultra, используя в три раза меньше токенов.

      Лаборатория также представила более легкую модель, Inkling-Small, с 12 миллиардами активных параметров. Она подходит для задач, где важны стоимость и скорость.

      Ставка: создайте её сами

      Вся публикация основана на одной ставке. AI, обученный в одном месте и затем замороженный, утверждает лаборатория, проигрывает AI, который каждая организация может адаптировать под свою собственную экспертизу. Клиенты настраивают Inkling через Tinker, платформу кастомизации Thinking Machines, и они владеют результатом. Они также несут риск безопасности того, что они создают.

      Лаборатория указывает на проект с хедж-фондом Bridgewater как на доказательство. Оба обучили открытую модель на финансовых знаниях Bridgewater, и она набрала 84,7% на тестах по финансовому рассуждению, обойдя лучшие проприетарные модели за небольшую часть стоимости. Эта цифра исходит из оценки двух компаний, а не независимой.

      Аргумент набирает сторонников. Недавно Сатья Наделла из Microsoft предупредил, что компании, использующие закрытые модели, платят дважды: один раз в виде сборов и один раз, передавая знания, заложенные в их запросах. Дешевые модели с открытым весом, многие из Китая, идут по тому же пути.

      Девять месяцев, с некоторой заимствованной помощью

      Thinking Machines подчеркивает свою скорость. OpenAI потребовалось около пяти лет, чтобы выпустить и заработать, а Anthropic примерно три, отметил TechCrunch. Лаборатория Муратти утверждает, что справилась за девять месяцев.

      Она немного сэкономила, чтобы достичь этого. Для начала обучения Inkling лаборатория опиралась на другие открытые модели, включая Kimi K2.5 от Moonshot, практика, известная как дистилляция. Она настаивает, что её следующая модель будет полностью обучена самостоятельно. Inkling работала на системах Nvidia GB300, часть мартовской сделки на гигававатт вычислений от Nvidia.

      Деньги и люди были более сложными. Лаборатория привлекла 2 миллиарда долларов при оценке в 12 миллиардов долларов в прошлом году, и сообщенный раунд в 50 миллиардов долларов застопорился. Два соучредителя покинули компанию в начале этого года, хотя численность сотрудников вернулась к примерно 200. На данный момент Thinking Machines вообще не будет взимать плату за Inkling. Её деньги поступают от Tinker, и её дело основано на том, что странность сохраняется.