Стартап утверждает, что ему удалось преодолеть узкое место, сдерживающее ИИ.

      Стартап из Майами утверждает, что ему удалось решить математическую задачу, которая делала модели ИИ медленными и энергозатратными почти на протяжении десяти лет. Это утверждение было достаточно смелым, чтобы вызвать сравнения с Theranos. Однако теперь у компании есть независимые результаты тестов, которые подтверждают большую часть из этого.

      Стартап называется Subquadratic. Он вышел из режима скрытности в мае с 29 миллионами долларов начального финансирования и новой языковой моделью под названием SubQ. По словам компании, SubQ быстрее, дешевле и гораздо менее энергозатратен, чем современные ведущие модели. Он также может читать до 12 раз больше текста одновременно.

      Десятилетняя узкая горловина

      Чтобы понять, почему это важно, полезно знать, как работают большинство крупных языковых моделей. В их основе лежит «трансформер», представленный исследователями Google в 2017 году. Трансформер выполняет процесс, называемый плотным вниманием.

      Плотное внимание тщательное, но дорогое. Оно сравнивает каждое слово в тексте с каждым другим словом. Поэтому, когда вы удваиваете длину текста, работа примерно увеличивается в четыре раза. Это «квадратичное» масштабирование является основной причиной, по которой LLM потребляют так много вычислительных ресурсов и энергии.

      Решение Subquadratic

      💜 технологий ЕС Последние новости из технологической сцены ЕС, история от нашего мудрого основателя Бориса и немного сомнительного ИИ-искусства. Это бесплатно, каждую неделю, в вашем почтовом ящике. Подпишитесь сейчас!Ответ Subquadratic заключается в том, чтобы заменить плотное внимание на «разреженное внимание». Вместо того чтобы сравнивать каждое слово с каждым другим, разреженное внимание сохраняет только те пары, которые имеют значение. Эта идея старая, и множество команд пробовали ее. Однако до сих пор ни одна из них не достигла качества плотного внимания.

      Компания утверждает, что ее версия наконец-то это делает. Критически важно, что она динамически выбирает, на каких словах сосредоточиться, основываясь на содержании, а не на фиксированном шаблоне. «Вот где и находится секретный соус», — говорит соучредитель и технический директор Алекс Уидон.

      Доказательства

      Сначала утверждения основывались на нескольких самопубликованных оценках. Естественно, реакция была скептической. Один инженер ИИ подытожил это в X: SubQ — «либо крупнейший прорыв со времен Трансформера… либо это ИИ Theranos».

      Поэтому компания привлекла третью сторону. Она попросила Appen, фирму, которая оценивает модели других компаний, провести тесты. Результаты были поразительными. В тесте на скорость SubQ работал в 56 раз быстрее, чем FlashAttention, ведущий существующий метод. В сложном тесте на кодирование он набрал 89,7 процента, близко к лучшим моделям.

      Разница в стоимости выглядит столь же широкой. По данным стартапа, запуск одного теста с длинным контекстом на лучшей модели Anthropic стоит около 2600 долларов. На SubQ, по его словам, тот же тест стоил восемь долларов.

      Все еще слишком хорошо, чтобы быть правдой?

      Тем не менее, есть причины для осторожности. Бенчмарки не равны реальному использованию. SubQ также пока не широко доступен. Десятки тысяч людей записались в список ожидания, но только небольшое количество имеет доступ.

      В истории происхождения также есть нюанс. Вместо того чтобы обучать SubQ с нуля, Subquadratic начала с существующей модели с открытыми весами и заменила ее новым методом внимания. Это распространенная практика. Однако это выглядит неловко рядом с утверждением о полной переинновации того, как работают LLM.

      «Они могли создать что-то реальное и полезное», — говорит Уилл Депью, независимый исследователь, который раньше работал в OpenAI. «Но публичные доказательства еще не оправдывают более сильное утверждение о том, что они решили квадратичную узкую горловину внимания».

      Почему это важно

      Если результаты подтвердятся, выгода будет велика. Более дешевые и быстрые модели с длинным контекстом смогут читать целые кодовые базы, наборы контрактов или массивы документов за один проход. Они также сократят затраты и энергозатраты на запуск ИИ.

      Эта награда — то, за чем гонится вся индустрия. ИИ уже испытывает давление из-за растущих экономических затрат на ИИ-агентов, и другие стартапы, такие как Flourish Томаса Рирдона, атакуют эффективность с других сторон. Однако Subquadratic ставит на то, что вся область последует за ним. «Мы не думаем, что кто-то будет строить на трансформерах через несколько лет», — говорит генеральный директор Джастин Дангел.