Архитектура Qwen4 здесь уже на ранней стадии, выдавая 6 миллиардов параметров из 125 миллиардов.

      Команда Qwen компании Alibaba выпустила Qwen3.8-Flash-Next, предварительный просмотр архитектуры, которую она намерена использовать для Qwen4, имея 125 миллиардов параметров, но активируя только 6 миллиардов для каждого токена. Его лицензия может не соответствовать исключению для открытого кода в Законе ЕС о ИИ.

      Команда Qwen компании Alibaba опубликовала архитектуру, на основе которой планирует создать Qwen4. Qwen3.8-Flash-Next имеет 125 миллиардов параметров и активирует только 6 миллиардов из них для каждого токена, который он производит.

      Утверждение касается стоимости, а не возможностей. Команда говорит, что ее беспокойство заключается в том, как архитектурные решения влияют на счета за вывод, поскольку агентные задачи с очень длинными контекстами становятся нормальной рабочей нагрузкой.

      Сравнение, которое она проводит, — с ее собственной последней моделью. Qwen3.7-Plus содержит 397 миллиардов параметров и активирует 17 миллиардов, так что эта модель работает примерно на треть активных вычислений.

      Три из четырех изменений достаточно традиционны. Новая схема разреженного внимания работает с микро-блоками вместо выбора отдельных токенов, механизм управляемого остатка контролирует, что проходит между слоями, а рецепт обучения полностью исключает разогрев размера пакета.

      Четвертое изменение является необычным. Вместо добавления экспертов модель добавляет 51 миллиард параметров в качестве отдельного встраивания, индексируемого по двум и трехсимвольным фрагментам, что, по словам команды, требует меньше вычислений и легче переносится на ускорители с ограниченной памятью.

      Эта последняя фраза стоит того, чтобы прочитать ее дважды. Проектирование для ускорителей с нехваткой памяти — это то, что вы делаете, когда не можете купить лучшие чипы, что является позицией, в которую поставили китайские лаборатории экспортные ограничения.

      Числа, прикрепленные ко всему этому, принадлежат самой Alibaba. TNW отметила в этом месяце, что компания назвала Qwen3.8 второй лучшей моделью в мире и не представила доказательства, и эти оценки снова исходят от собственных испытаний команды.

      Некоторые из выборов необычно откровенны. В карточке модели говорится, что ее оценка на экзамене "Последний экзамен человечества" была оценена GPT-4o, а не собственным оценщиком бенчмарка, что является раскрытием информации, а не нейтральностью.

      Лицензия — это то, где у Европы есть вопрос. Веса находятся на Hugging Face под лицензией qwen-community, и TNW сообщила 7 августа, что Alibaba хочет взимать плату с своих крупнейших коммерческих пользователей.

      Закон о ИИ рассматривает это различие как несущую конструкцию. Статья 53(2) снимает две обязанности по документированию для моделей под бесплатной и открытой лицензией, а Рецитал 103 говорит, что компоненты, предоставляемые за плату или иным образом монетизируемые, не должны получать исключение.

      Европейские компании не ждут ответа. Thomson Reuters построила свою модель на Qwen, и любой, кто это делает, наследует то, чем лицензия в конечном итоге станет.

      

       Опубликовано 26 августа 2026 года - 19:55 UTC

       Вернуться к началу