L'AI VOID di Netflix rimuove oggetti mantenendo il movimento del mondo reale.

      Netflix sta dettagliando uno strumento video basato sull'IA che va oltre una semplice pulizia. Il suo sistema, chiamato VOID, rimuove elementi dalle riprese mantenendo tutto il resto che si comporta in un modo che continua a sembrare realistico.

      Questo segna un cambiamento per il montaggio video con IA. Gli strumenti esistenti possono cancellare elementi indesiderati, ma spesso lasciano dietro di sé movimenti che sembrano innaturali, come oggetti che fluttuano o azioni che si fermano senza motivo. VOID si concentra su ciò che accade dopo un'editazione, ricostruendo la sequenza in modo che il risultato segua ancora una causa e un effetto credibili.

      La ricerca mostra che il modello può regolare le interazioni in risposta ai cambiamenti, quindi se un oggetto di supporto viene rimosso, gli elementi rimanenti reagiscono in modo naturale invece di bloccarsi o avere glitch. Riscrive efficacemente la logica fisica di una ripresa per adattarsi al nuovo assetto.

      Per i montatori e gli studi, questo indica correzioni più pulite in post-produzione senza rompere l'immersione, specialmente in riprese dove più elementi interagiscono.

      Come VOID riscrive una ripresa

      VOID tratta le modifiche come reazioni a catena. Mappa ciò che potrebbe essere influenzato una volta che qualcosa viene rimosso, quindi ricostruisce la sequenza in modo che l'azione segua ancora una logica.

      VOID

      Il modello inizia identificando le aree impattate, inclusi dove ombre, collisioni o supporto potrebbero cambiare. Costruisce quindi una mappa strutturata di quei cambiamenti e genera una nuova versione delle riprese che li riflette. Un secondo passaggio di affinamento leviga il movimento e impedisce agli oggetti di deformarsi mentre seguono percorsi aggiornati.

      Perché il montaggio consapevole della fisica è importante

      Ciò che spicca è come VOID gestisce causa ed effetto. Il modello è stato addestrato su migliaia di sequenze simulate, il che lo aiuta a capire come gli oggetti rispondono quando le condizioni cambiano.

      In un esempio, rimuovere parte di una catena di domino non cancella solo le tessere, ma ferma completamente la reazione perché non c'è nulla che porti avanti il movimento. In un altro caso, rimuovere una persona che interagisce con oggetti non blocca la ripresa, il comportamento rimanente continua come previsto.

      VOID

      VOID applica regole apprese riguardo a causa ed effetto invece di copiare schemi da riprese passate.

      Cosa guardare dopo

      VOID è ancora un sistema di ricerca, con dettagli condivisi in un documento arXiv piuttosto che in un rilascio di prodotto. Non c'è ancora una tempistica per quando questo tipo di montaggio raggiungerà strumenti per i consumatori o software professionale.

      Tuttavia, la direzione è chiara. Man mano che i flussi di lavoro video basati sull'IA si espandono, gli strumenti che comprendono le interazioni fisiche diventeranno più importanti per montaggi di alta qualità, specialmente nel cinema e nella TV dove piccole incoerenze rompono rapidamente l'immersione.

      Il passo successivo è scalare a scenari più complessi. Questo include assetti più densi, più oggetti e sequenze più lunghe in cui più interazioni si sovrappongono. Se quel progresso si mantiene, il montaggio consapevole della fisica potrebbe spingere gli strumenti video verso una ricostruzione completa delle sequenze che reggono a un'analisi più attenta.