De afgelopen jaren is het kunnen zien hoe digitale camera- en VFX-werkzaamheden samenvallen met live-actie-elementen, sets en omgevingen een cruciaal aspect geworden van veel film- en televisieworkflows. Casey Schatz, Hoofd Virtuele Productie bij visualisatiestudio The Third Floor en een medewerker aan projecten zoals Avatar: The Way of Water, Game of Thrones en films in het Marvel Cinematic Universe, is een belangrijke vernieuwer geweest bij het op één lijn brengen van deze twee werelden met filmafdelingen en teams op de set.
Een nieuw hulpmiddel dat dit proces ondersteunt, is de Leica BLK360 voor LIDAR-scanning.
LIDAR-scanning past in een reeks pre-visualisatie- of "previs"-diensten, die een enquête van een set of locatie kunnen omvatten om een virtuele omgeving en virtuele camera's te creëren die de parameters van de werkelijke plaats respecteren.
"Previs gaat over het oefenen van de creatieve en technische aspecten van de opname voordat je het podium betreedt", vertelde Casey Schatz, Hoofd Virtuele Productie bij The Third Floor, aan Leica Geosystems. "Als je te maken hebt met technisch complexe opnames en de werelden van constructie, art department en visuele effecten moeten samenkomen, is het het beste om van tevoren digitaal te repeteren."
Schatz begon jaren geleden LiDAR te gebruiken, huurde totale stations wanneer dat nodig was voor de opname, voordat hij in 2017 een Leica BLK360 G1 kocht. Nu zet hij de traditie voort met een geheel nieuwe BLK360, waarbij hij puntenwolken vastlegt om om te zetten in meshes die worden gebruikt voor virtuele productie voor, tijdens en na de opnames op de set.
BLK360 op de set
"De tijd is zeer kostbaar op de set", vervolgde hij. "Laserscannen stelt ons in staat om de digitale en echte wereld veel efficiënter op één lijn te brengen."
Op de set zou het team beginnen met het maken van LiDAR-scans van het live-actiepodium, gevolgd door scans van de set en de relatie ervan tot verschillende motion capture-markeringen op de podiavloer. Dit maakt de afstemming van het motion capture-volume mogelijk - waar de positie van de camera en de acteurs wordt gevolgd - met het fysieke podium.
“In aanvulling op het podium en de sets, scannen we ook rekwisieten, de camerabehuizing, lichten - elk stuk apparatuur dat ik kan krijgen - zodat de fusie van echt en digitaal zo authentiek mogelijk is”, aldus Schatz. “Dit maakt de integratie van de opname des te nauwkeuriger en sneller. Het idee hier is om het in de preproductie op te lossen. Laten we zoveel mogelijk van deze problemen van tevoren oplossen.”
Dit is onmisbaar en kostenefficiënt gebleken en verenigt meerdere afdelingen die bij de productie betrokken zijn, van constructie tot belichtingstechnici tot gripafdelingen en alle afdelingshoofden die baat hebben bij een geünificeerd opnameplan.
En hoewel de visual effects-industrie voornamelijk 3D-meshes gebruikt, geen puntwolken, profiteerde Schatz van het onmiddellijke puntwolkfeedback via Leica Cyclone FIELD 360.
“Het kunnen benaderen van de puntwolk leidde vrijwel onmiddellijk tot workflows die ik niet had verwacht, zoals het hebben van leden van de rigging-afdeling naast me en door de gekleurde puntwolk omhoog naar het plafond vliegen en ter plekke cruciale beslissingen nemen over ophangpunten en veiligheidskwesties,” zei Schatz.
“De snelheid van de laserscanning was bijzonder cruciaal bij Avatar: The Way of Water bij het gebruik van het eyeline-systeem: een monitor die aan vier kabels hing en door de ruimte kon bewegen om een digitaal personage weer te geven.
“Ik moest oplossen waar de kabelophangpunten zouden zijn en dat op zo'n manier doen dat we de hele scène kunnen spelen en dat de kabels niets op de set doorkruisen,” vervolgde hij. “Terwijl lichten, trussen en doeken werden opgehangen, zou ik bijna elk uur scannen en de simulatie van het eyeline-systeem uitvoeren om te controleren of de kabels en de monitor zelf niet met iets zouden botsen. Het is beter om deze dingen in CG (computer graphics) te ontdekken dan in werkelijkheid.”
Daarna zou Schatz alles vrijwel onmiddellijk verwerken om de benodigde materialen te krijgen.
“Gemiddeld zou ik zeggen dat zodra ik aan mijn bureau ging zitten en de iPad had aangesloten, het ongeveer vijf tot zeven minuten duurde om de puntwolk in Leica CYCLONE Register 360 te hebben, en ongeveer 20 minuten later om een mesh binnen Maya te hebben,” zei Schatz.
Virtuele camera, echte resultaten
In CG wordt de camera alleen gerepresenteerd door zijn knooppunt en niet het camerahuis en de kraan die het in de echte wereld ondersteunen. Maar door de BLK360 te gebruiken om de daadwerkelijke camerakraan in de omgeving te scannen, kon het team van TTF de CG-camerabeweging uitvoeren om te controleren op botsingen en of deze binnen de fysieke parameters van de kraan lag.
“Er waren een paar keer dat ik tegen iedereen zei, een week van tevoren, ‘We moeten deze muur misschien wilden [een term uit de industrie voor het beweegbaar maken van een setstuk—Red.]’ omdat het duidelijk was dat de camera's zo dicht bij bestaande structuren waren geplaatst. Dus de afdeling kunst kon zeggen, ‘Oké, laten we klaar zijn om dit op de dag te verplaatsen.’”
“We hebben deze feedbacklus geïntroduceerd waarbij we de LiDAR-metingen kunnen gebruiken om te zeggen wat de beste positie voor de apparatuur is; we scannen het en passen vervolgens onze CG-apparatuur aan om zich aan de realiteit te houden. En de twee dingen zijn in harmonie,” zei hij.
Licht, camera — LiDAR
Wat betreft de toekomst van laserscannen op de set, zegt Schatz dat de toekomst rooskleurig is, vooral met de snelheid en compactheid van de BLK-apparaten van Leica Geosystems.
"Mijn taak is onder meer om de brug te slaan tussen digitaal en echt. Hoe meer ik scan, hoe minder kans op menselijke fouten," vertelde Schatz aan Leica Geosystems.
"Ik had LiDAR eerder afgeschreven als een tool die niet geschikt was voor het snelle tempo van live-action opnames," zei hij. "Je kon ongelooflijke resultaten behalen, maar de apparatuur was groot, duur en tijdrovend. De BLK heeft deze aanname verstoord, en ik zal nooit meer op de set staan zonder het."
