L'AI VOID di Netflix rimuove oggetti preservando il movimento nel mondo reale

      Netflix sta dettagliando uno strumento video AI che va oltre una semplice pulizia. Il suo sistema, chiamato VOID, rimuove elementi dalle riprese mantenendo tutto il resto che si comporta in un modo che sembra ancora realistico.

      Questo segna un cambiamento per il montaggio video AI. Gli strumenti esistenti possono cancellare elementi indesiderati, ma spesso lasciano movimenti che sembrano strani, come oggetti che fluttuano o azioni che si fermano senza motivo. VOID si concentra su ciò che accade dopo un montaggio, ricostruendo la sequenza in modo che il risultato segua ancora una causa e un effetto credibili.

      La ricerca mostra che il modello può regolare le interazioni in risposta ai cambiamenti, quindi se un oggetto di supporto viene rimosso, gli elementi rimanenti reagiscono in modo naturale invece di congelarsi o andare in errore. Riscrive efficacemente la logica fisica di una ripresa per adattarsi al nuovo assetto.

      Per i montatori e gli studi, questo indica correzioni più pulite in post-produzione senza rompere l'immersione, specialmente in riprese dove più elementi interagiscono.

      Come VOID riscrive una ripresa

      VOID tratta i montaggi come reazioni a catena. Mappa ciò che potrebbe essere influenzato una volta che qualcosa viene rimosso, quindi ricostruisce la sequenza in modo che l'azione segua ancora una logica.

      VOID

      Il modello inizia identificando le aree colpite, inclusi dove ombre, collisioni o supporto potrebbero cambiare. Poi costruisce una mappa strutturata di quei cambiamenti e genera una nuova versione delle riprese che li riflette. Un secondo passaggio di affinamento leviga il movimento e impedisce agli oggetti di deformarsi mentre seguono percorsi aggiornati.

      Perché il montaggio consapevole della fisica è importante

      Ciò che spicca è come VOID gestisce causa ed effetto. Il modello è stato addestrato su migliaia di sequenze simulate, il che lo aiuta a capire come gli oggetti rispondono quando le condizioni cambiano.

      In un esempio, rimuovere parte di una catena di dominò non cancella solo le tessere, ma ferma completamente la reazione perché non c'è nulla che porti avanti il movimento. In un altro caso, rimuovere una persona che interagisce con oggetti non congela la ripresa, il comportamento rimanente continua come previsto.

      VOID

      VOID applica regole apprese riguardo a causa ed effetto invece di copiare schemi da riprese passate.

      Cosa guardare dopo

      VOID è ancora un sistema di ricerca, con dettagli condivisi in un documento arXiv piuttosto che in un rilascio di prodotto. Non c'è ancora una tempistica per quando questo tipo di montaggio raggiungerà strumenti per i consumatori o software professionale.

      Tuttavia, la direzione è chiara. Man mano che i flussi di lavoro video AI si espandono, gli strumenti che comprendono le interazioni fisiche diventeranno più importanti per montaggi di alta qualità, specialmente nel cinema e nella TV dove piccole incoerenze rompono rapidamente l'immersione.

      Il passo successivo è scalare a scenari più complessi. Ciò include configurazioni più dense, più oggetti e sequenze più lunghe in cui più interazioni si sovrappongono. Se quel progresso si mantiene, il montaggio consapevole della fisica potrebbe spingere gli strumenti video verso una ricostruzione completa delle sequenze che reggono a un'analisi più attenta.