Искусственный интеллект VOID от Netflix удаляет объекты, сохраняя движение в реальном мире

      Netflix описывает инструмент AI для видео, который выходит за рамки простой очистки. Его система, называемая VOID, вырезает элементы из отснятого материала, сохраняя при этом все остальное в таком состоянии, которое все еще кажется естественным.

      Это означает сдвиг в редактировании видео с помощью AI. Существующие инструменты могут стирать нежелательные элементы, но часто оставляют движение, которое кажется неправильным, например, объекты плавают или действия останавливаются без причины. VOID сосредотачивается на том, что происходит после редактирования, восстанавливая последовательность так, чтобы результат все еще следовал правдоподобной причинно-следственной связи.

      Исследования показывают, что модель может настраивать взаимодействия в ответ на изменения, поэтому, если поддерживающий объект удален, оставшиеся элементы реагируют естественно, а не замораживаются или не дают сбой. Она эффективно переписывает физическую логику кадра, чтобы соответствовать новой настройке.

      Для редакторов и студий это указывает на более чистые исправления в пост-продакшене без нарушения погружения, особенно в кадрах, где взаимодействуют несколько элементов.

      Как VOID переписывает кадр

      VOID рассматривает редактирование как цепные реакции. Она определяет, что может быть затронуто, когда что-то убирается, а затем восстанавливает последовательность так, чтобы действие все еще логически следовало.

      VOID

      Модель начинает с определения затронутых областей, включая места, где могут измениться тени, столкновения или поддержка. Затем она строит структурированную карту этих изменений и генерирует новую версию отснятого материала, которая их отражает. Второй этап уточнения сглаживает движение и предотвращает искажение объектов, когда они следуют обновленным путям.

      Почему редактирование с учетом физики имеет значение

      Что выделяется, так это то, как VOID обрабатывает причинно-следственные связи. Модель была обучена на тысячах смоделированных последовательностей, что помогает ей понять, как объекты реагируют на изменения условий.

      В одном примере удаление части цепочки домино не просто стирает плитки, оно полностью останавливает реакцию, потому что ничего не осталось, чтобы продолжить движение. В другом случае удаление человека, взаимодействующего с объектами, не замораживает кадр, оставшееся поведение продолжается как ожидается.

      VOID

      VOID применяет изученные правила о причинах и следствиях, а не копирует шаблоны из прошлых отснятых материалов.

      Что смотреть дальше

      VOID все еще является исследовательской системой, детали которой были опубликованы в статье arXiv, а не в релизе продукта. Пока нет графика, когда этот вид редактирования появится в потребительских инструментах или профессиональном программном обеспечении.

      Тем не менее, направление ясно. По мере расширения рабочих процессов видео с использованием AI инструменты, которые понимают физические взаимодействия, станут более важными для высококачественного редактирования, особенно в кино и телевидении, где небольшие несоответствия быстро нарушают погружение.

      Следующий шаг — масштабирование на более сложные сценарии. Это включает более плотные настройки, больше объектов и более длинные последовательности, где пересекаются несколько взаимодействий. Если этот прогресс сохранится, редактирование с учетом физики может подтолкнуть видеоинструменты к полной реконструкции последовательности, которая выдерживает более пристальное внимание.