Eyeline Studios ontwikkelt hybride AI-workflows voor Netflix-producties

Mohsen Mousavi legt uit hoe generatieve tools live-actionbeelden uitbreiden terwijl acteerprestaties behouden blijven

Netflix-eigendom Eyeline Studios integreert generatieve AI in de postproductie om locaties te wisselen, menigten te vullen en belichting aan te passen nadat de hoofdopnames zijn afgerond. De studio bouwt ook systemen waarmee regisseurs camerahoeken kunnen aanpassen nadat de prestaties zijn opgenomen.

Vicepresident Virtual Pioneering Mohsen Mousavi schetste het hybride productiemodel van de studio tijdens een presentatie op Turin’s View Conference. De methode combineert on-set capture, traditionele visuele effecten en gerichte generatieve technieken in plaats van volledige scènes via tekstprompts te genereren.

Hybride productie houdt menselijke prestaties centraal

Mousavi, die eerder meewerkte aan het laatste seizoen van Game of Thrones, benadrukte dat generatieve output slechts een startpunt is. Modellen kunnen ongeveer 60 tot 70 procent van een shot leveren, maar het resterende werk om uitzendkwaliteit te bereiken op het gebied van consistentie en resolutie blijft de grootste uitdaging.

De voorbereiding begint ruim voor de opnames. Een gespecialiseerd generatief kunstteam werkt samen met traditionele conceptartiesten, terwijl minimale fysieke sets en vlakke belichting acteurs de ruimte geven om zich op hun rol te concentreren. Volledige omgevingen en belichting worden daarna in de postproductie rond de opgenomen prestaties opgebouwd.

Volumetrische capture maakt camerawissels en belichting na de shoot mogelijk

De volumetrische capture-pipeline van Eyeline ondersteunt latere aanpassingen van camerapositie en belichting zonder in alle gevallen greenscreens te gebruiken. Demonstraties toonden hoe beelden van de ene echte locatie werden omgezet naar geheel nieuwe settings, terwijl de originele bewegingen en gezichtsuitdrukkingen van de acteurs behouden bleven.

Het geeft ons zowel vrijheid van licht als vrijheid van camera na het opnemen van de prestaties.

— Mohsen Mousavi, VP of Virtual Pioneering, Eyeline Studios, View Conference presentation

Praktijktoepassingen bij recente Netflix-titels

De studio paste elementen van de workflow toe op het drama Brazil ’70: The Third Star, dat de wereldkampioenschap voetbal van 1970 naspeelt. Generatieve tools hielpen om emotioneel responsieve stadionmenigten te creëren door gefilmde elementen, sprites, conventionele CG en AI-ondersteunde generatie te combineren, met resultaten die onder traditionele VFX-budgets moeilijk haalbaar zouden zijn.

Bij de vijfdelige historische documentaire The American Experiment breidde Eyeline achtergronden uit, voegde generatief stof toe en creëerde andere elementen die naadloos integreerden met praktische beelden. Extra tests onderzochten het verouderen van acteurs terwijl de onderliggende prestatie intact bleef.

Onderzoek richt zich op bestuurbare fluids en 4D-scènes

De ontwikkeling richt zich op bestuurbare generatieve fluids die kunstenaars kunnen keyframen op snelheid, viscositeit en turbulentie. Huidige standaard simulaties zijn te onvoorspelbaar voor precieze creatieve eisen, aldus Mousavi, daarom bouwt Eyeline eigen besturingen die het mogelijk maken om natuurwetten te doorbreken wanneer het verhaal dat vereist.

Andere experimenten omvatten het restylen van Gaussian-splat captures over seizoenen heen, AI-ondersteunde relighting en onderzoek naar het construeren van navigeerbare 4D-omgevingen vanuit single-camera opnames. De studio gebruikt voornamelijk eigen modellen en speciaal vastgelegde trainingsdata in plaats van publieke foundation models.

Netflix breidt AI-mogelijkheden uit over zijn aanbod

De presentatie valt samen met bredere investeringen van Netflix in AI-tools, waaronder de overname van Ben Afflecks InterPositive. De streamer meldde in juli dat generatieve AI al op ongeveer 300 titels is toegepast.

Mousavi benadrukte dat de technologie transparant en controleerbaar moet blijven voor cinematografen en production designers. High dynamic range, 4K-levering en temporele consistentie blijven gerichte engineering vereisen, maar het doel van de studio is naadloze integratie, ongeacht of een element op de set, via traditionele VFX of via generatieve methodes is ontstaan.

Tags bij dit artikel