Искусственный интеллект VOID от Netflix удаляет объекты, сохраняя реальные движения.

      Netflix подробно описывает инструмент AI для видео, который выходит за рамки простой очистки. Его система, называемая VOID, вырезает элементы из отснятого материала, сохраняя при этом все остальное в таком состоянии, которое все еще кажется естественным.

      Это обозначает сдвиг в редактировании видео с помощью AI. Существующие инструменты могут стирать нежелательные элементы, но часто оставляют движение, которое кажется неправильным, например, объекты плавают или действия останавливаются без причины. VOID сосредотачивается на том, что происходит после редактирования, восстанавливая последовательность так, чтобы результат все еще следовал правдоподобной причинно-следственной связи.

      Исследования показывают, что модель может корректировать взаимодействия в ответ на изменения, поэтому, если поддерживающий объект удаляется, оставшиеся элементы реагируют естественно, а не замораживаются или не дают сбой. Она эффективно переписывает физическую логику кадра, чтобы соответствовать новой настройке.

      Для редакторов и студий это указывает на более чистые исправления на этапе пост-продакшн без нарушения погружения, особенно в кадрах, где взаимодействуют несколько элементов.

      Как VOID переписывает кадр

      VOID рассматривает редактирование как цепные реакции. Она определяет, что может быть затронуто, когда что-то убирается, а затем восстанавливает последовательность так, чтобы действие все еще логически отслеживалось.

      VOID

      Модель начинает с определения затронутых областей, включая места, где могут измениться тени, столкновения или поддержка. Затем она строит структурированную карту этих изменений и генерирует новую версию отснятого материала, которая их отражает. Второй этап уточнения сглаживает движение и предотвращает искажение объектов, когда они следуют обновленным путям.

      Почему редактирование с учетом физики имеет значение

      Что выделяется, так это то, как VOID обрабатывает причинно-следственные связи. Модель была обучена на тысячах смоделированных последовательностей, что помогает ей понять, как объекты реагируют, когда условия меняются.

      В одном примере удаление части цепочки домино не просто стирает плитки, оно полностью останавливает реакцию, потому что ничего не осталось, чтобы продолжить движение вперед. В другом случае удаление человека, взаимодействующего с объектами, не замораживает кадр, оставшееся поведение продолжается, как и ожидалось.

      VOID

      VOID применяет изученные правила о причинах и следствиях, а не копирует шаблоны из прошлых отснятых материалов.

      Что смотреть дальше

      VOID все еще является исследовательской системой, детали которой были опубликованы в статье arXiv, а не в релизе продукта. Пока нет графика, когда этот тип редактирования достигнет потребительских инструментов или профессионального программного обеспечения.

      Тем не менее, направление ясно. По мере расширения рабочих процессов AI в видео инструменты, которые понимают физические взаимодействия, станут более важными для высококачественных редактирований, особенно в кино и на телевидении, где небольшие несоответствия быстро нарушают погружение.

      Следующий шаг — масштабирование на более сложные сценарии. Это включает более плотные настройки, больше объектов и более длинные последовательности, где пересекаются несколько взаимодействий. Если этот прогресс сохранится, редактирование с учетом физики может подтолкнуть видеоинструменты к полной реконструкции последовательности, которая выдерживает более тщательное изучение.