Idomoo запускает Strata – первую модель ИИ для многослойного видео

      Израильская компания по персонализации видео запускает Strata, модель фундамента, которая, по ее словам, создает отдельные редактируемые слои для текста, анимации, видеоматериалов и актеров, а не один плоский файл. Это прямая угроза архитектурным ограничениям генераторов видео на основе диффузии.

      Каждая модель ИИ-видео, доступная на рынке, производит одно и то же: плоский файл. Вы можете его посмотреть, поделиться им и обрезать по краям, но если вы хотите изменить шрифт, настроить анимацию или поменять фон, вам по сути придется начинать заново.

      Это ограничение держит ИИ-видео на расстоянии от профессиональных рабочих процессов, где видео всегда создается в слоях, отдельных дорожках для текста, графики, видеоматериалов и аудио, которые могут настраиваться независимо до момента финального рендеринга.

      Idomoo, израильская компания по персонализации видео для бизнеса, сегодня анонсирует Strata, генеративную модель ИИ, которую она утверждает как первую, специально созданную для многослойного видео. Вместо генерации пикселей, как это формулирует Дэнни Калиш, соучредитель и технический директор Idomoo, Strata генерирует структуру: независимые слои с типографикой, анимацией, движущимися путями и синхронизированным аудио, все это составлено в то, что компания называет «черновиком видео, готовым к производству».

      💜 технологий ЕС Последние новости из технологической сцены ЕС, история от нашего мудрого основателя Бориса и немного сомнительного ИИ-искусства. Это бесплатно, каждую неделю, в вашем почтовом ящике. Подпишитесь сейчас!

      Различие является архитектурным. Стандартные модели диффузии сворачивают все в один тензор во время генерации; пространственные и временные отношения между элементами запечатываются в самих пикселях.

      Strata, по словам Idomoo, решает другую вычислительную задачу: она проектирует полную композицию, определяя размещение, контраст, движение, тайминг и ритм по всем слоям одновременно, одновременно соблюдая брендовые руководства. Полученный результат редактируется на уровне слоя, так же, как профессионал работает в Adobe After Effects.

      Strata является частью Lucas, ИИ-видео-агента Idomoo, который располагается поверх существующей платформы Next Generation Video компании. Одна из ее более технически специфичных возможностей — это осведомленность о бренде: Lucas анализирует утвержденный контент компании, чтобы извлечь то, что Idomoo называет ДНК бренда, охватывающее дизайн, нарратив и активы.

      Strata затем применяет эту спецификацию ко всем видео, генерируемым через платформу, соблюдая типографику, движения, цветовые значения и тон голоса в масштабах. Намерение состоит в том, чтобы устранить обход шаблонов, на которые в настоящее время полагаются большинство продуктов «обертки ИИ», где сгенерированные видеоматериалы ограничены предустановленными макетами.

      Аргумент Idomoo заключается в том, что принуждение контента к шаблонам создает узнаваемый визуальный компромисс; Strata вместо этого разрабатывает индивидуальные черновики для каждого видео.

      Персонализация — это другая ось. Поскольку выход Strata является многослойным, а не плоским, отдельные поля данных, имена, учетные данные, истории транзакций, изображения продуктов могут быть внедрены в конкретные слои видеокомпозиции в реальном времени.

      Это основа существующей бизнес-модели Idomoo: платформа компании уже обслуживает JPMorganChase, Verizon и American Airlines, среди прочих, генерируя персонализированные видео в масштабах для коммуникаций с клиентами, онбординга и маркетинга.

      Strata, теоретически, делает эту персонализацию значительно более сложной, поскольку она работает на уровне композиции, а не как наложение на заранее отрендеренный клип.

      Компания осторожно относится к объему запуска. Версия раннего доступа в настоящее время тестируется несколькими из ее крупнейших клиентов. Она доступна сейчас через Lucas AI Video Agent, но Idomoo не раскрыла, какие клиенты входят в группу раннего доступа, какие ориентиры модель была протестирована или как она сравнивается с готовыми моделями диффузии по качественным метрикам.

      Утверждение о том, что это «первая модель фундамента, специально созданная для многослойного видео», является формулировкой Idomoo и не была независимо оценена. Технология Strata находится в процессе патентования.

      Стоит отметить, что документация самой платформы Idomoo до сих пор явно указывала на использование готовых моделей фундамента ИИ, а не собственных. Strata представляет собой значительный сдвиг в этой позиции: от компании, которая применяет ИИ к видео, к компании, которая строит фундаментальный ИИ для видео.

      Будет ли основная архитектура соответствовать этой формулировке, станет яснее, когда корпоративные клиенты перейдут от раннего доступа к производственным развертываниям.

      Компания, основанная в 2007 году Яроном Калишем, Дэнни Калишем и Ассафом Фогелем, собрала в общей сложности 27 миллионов долларов финансирования, включая 9 миллионов долларов в рамках серии A в 2013 году и 18 миллионов долларов в рамках серии B в 2019 году. Она строит свою платформу персонализированного видео для корпоративных клиентов почти два десятилетия, что дает ей необычное количество структурированных данных о производстве видео для обучения.