Стартап утверждает, что он преодолел узкое место, сдерживающее ИИ.

      Стартап из Майами утверждает, что ему удалось решить математическую задачу, которая делала модели ИИ медленными и энергозатратными почти десять лет. Это заявление было достаточно смелым, чтобы вызвать сравнения с Theranos. Однако теперь у компании есть независимые результаты тестов, которые подтверждают большую часть из этого.

      Стартап называется Subquadratic. Он вышел из режима скрытности в мае с 29 миллионами долларов начального финансирования и новой языковой моделью под названием SubQ. По словам компании, SubQ быстрее, дешевле и значительно менее энергозатратен, чем современные ведущие модели. Она также может обрабатывать до 12 раз больше текста одновременно.

      Десятилетняя узкая горловина

      Чтобы понять, почему это важно, полезно знать, как работают большинство крупных языковых моделей. В их основе лежит «трансформер», представленный исследователями Google в 2017 году. Трансформер выполняет процесс, называемый плотным вниманием.

      Плотное внимание тщательное, но дорогое. Оно сравнивает каждое слово в тексте с каждым другим словом. Поэтому, когда вы удваиваете длину текста, работа примерно увеличивается в четыре раза. Это «квадратичное» масштабирование является основной причиной, по которой LLM потребляют так много вычислительных ресурсов и энергии.

      Решение Subquadratic

      💜 технологий ЕС Последние новости из технологической сцены ЕС, история от нашего мудрого основателя Бориса и немного сомнительного ИИ-арта. Это бесплатно, каждую неделю, в вашем почтовом ящике. Подпишитесь сейчас!Ответ Subquadratic заключается в том, чтобы заменить плотное внимание на «разреженное внимание». Вместо того чтобы сравнивать каждое слово с каждым другим, разреженное внимание сохраняет только те пары, которые имеют значение. Эта идея стара, и множество команд пытались ее реализовать. Однако до сих пор ни одна из них не достигла качества плотного внимания.

      Компания утверждает, что ее версия наконец-то это делает. Ключевым моментом является то, что она динамически выбирает, на каких словах сосредоточиться, основываясь на содержании, а не на фиксированном шаблоне. «Вот где и находится секретный соус», — говорит соучредитель и главный технический директор Алекс Уидон.

      Доказательства

      Сначала заявления основывались на нескольких самопубликованных оценках. Естественно, реакция была скептической. Один инженер ИИ подытожил это в X: SubQ — «либо крупнейший прорыв со времен Трансформера... либо это ИИ Theranos».

      Поэтому компания привлекла третью сторону. Она попросила Appen, фирму, которая оценивает модели других компаний, провести тесты. Результаты были поразительными. В тесте на скорость SubQ работал в 56 раз быстрее, чем FlashAttention, ведущий существующий метод. В сложном тесте на программирование он набрал 89,7 процента, близко к лучшим моделям.

      Разрыв в стоимости выглядит столь же широким. По данным стартапа, проведение одного теста с длинным контекстом на лучшей модели Anthropic стоит около 2,600 долларов. На SubQ, по его словам, тот же тест стоил восемь долларов.

      Все еще слишком хорошо, чтобы быть правдой?

      Тем не менее, есть причины для осторожности. Бенчмарки не являются тем же самым, что и реальное использование. SubQ также пока не широко доступен. Десятки тысяч людей записались в список ожидания, но только немногие получили доступ.

      В истории происхождения есть и нюанс. Вместо того чтобы обучать SubQ с нуля, Subquadratic начала с существующей модели с открытыми весами и заменила ее новым методом внимания. Это обычная практика. Однако это выглядит неловко рядом с утверждением о полном переосмыслении работы LLM.

      «Они могли создать что-то реальное и полезное», — говорит Уилл Депью, независимый исследователь, который раньше работал в OpenAI. «Но публичные доказательства пока не оправдывают более сильное утверждение о том, что они решили проблему квадратичного внимания».

      Почему это важно

      Если результаты подтвердятся, выгода будет велика. Более дешевые и быстрые модели с длинным контекстом смогут обрабатывать целые кодовые базы, наборы контрактов или массивы документов за один раз. Они также снизят стоимость и энергозатраты на работу ИИ.

      Эта награда — то, за чем гонится вся индустрия. ИИ уже испытывает давление из-за растущих экономических затрат на ИИ-агентов, и другие стартапы, такие как Flourish Томаса Рирдона, атакуют эффективность с других углов. Однако Subquadratic ставит на то, что вся область последует за ним. «Мы не думаем, что кто-то будет строить на трансформерах через несколько лет», — говорит генеральный директор Джастин Дангел.