Sett scenen med Leica BLK360: Casey Schatz fra The Third Floor hjelper med å kombinere live-action og virtuelle verdener på filmsettet

I løpet av de siste årene har det blitt en kritisk del av mange film- og TV-arbeidsflyter å se hvordan digitale kameraer og visuelle effekter (VFX) passer sammen med live-action-elementer, sett og omgivelser. Casey Schatz, leder for virtuell produksjon hos visualiseringsstudioet The Third Floor og en samarbeidspartner på prosjekter som Avatar: The Way of Water, Game of Thrones og filmer i Marvel Cinematic Universe, har vært en nøkkelinnovatør i å hjelpe med å koordinere disse to verdenene med filmavdelinger og på-sett team.  

Et nytt verktøy som hjelper i denne prosessen er Leica BLK360 for LIDAR-skanning.

LiDAR-skanning passer sammen med en rekke forhåndsvisualiseringstjenester, eller "previs", som kan inkludere en undersøkelse av et sett eller sted for å lage et virtuelt miljø og virtuelle kameraer som respekterer parametrene til det faktiske stedet.

"Previs handler om å øve på de kreative og tekniske aspektene av opptaket før du går på scenen," sa Casey Schatz, leder for virtuell produksjon hos The Third Floor, til Leica Geosystems. "Når du har teknisk komplekse opptak og verdenene til konstruksjon, kunstavdeling og visuelle effekter må konvergere, er det best å øve digitalt på forhånd."  

Schatz begynte å bruke LiDAR for flere år siden, ved å leie totalstasjoner når opptaket krevde det, før han kjøpte en Leica BLK360 G1 da den kompakte skanneren ble levert i 2017. Han har nå fortsatt tradisjonen med en helt ny BLK360, og fanger opp punkt-skyer som blir til nettverk brukt for virtuell produksjon før, under og etter at opptakene kommer til settet.  

BLK360 på settet

"Tid er veldig verdifull på settet," fortsatte han. "Laserskanning gjør at vi kan tilpasse det digitale og det virkelige mye mer effektivt."  

På settet ville teamet begynne med å ta LiDAR-skanninger av live-action scenen, etterfulgt av skanninger av settet og dets forhold til ulike bevegelsesopptaksmålinger på gulvet. Dette gjør det mulig å tilpasse bevegelsesopptaksvolumet — hvor kamera- og skuespillerposisjoner blir sporet — til den fysiske scenen.  

"I tillegg til scenen og settene, skanner vi også rekvisitter, kamerautstyr, lys — alt utstyr jeg kan få tak i — slik at fusjonen av det virkelige og digitale er så autentisk som mulig," sa Schatz. "Det gjør integreringen av opptaket mer presis og rask. Ideen her er å løse så mange av disse problemene som mulig på forhånd."      

Dette har vist seg å være uunnværlig og kostnadseffektivt mens flere avdelinger involvert i produksjonen blir samlet, fra konstruksjon til lysmakere, grips og alle avdelingsledere som vil dra nytte av å ha en samlet opptaksplan.

Og mens den visuelle effektsindustrien primært bruker 3D-nettverk, ikke punkt-skyer, har Schatz hatt nytte av den umiddelbare tilbakemeldingen på punkt-skyer som er tilgjengelig gjennom Leica Cyclone FIELD 360.

"Å kunne få tilgang til punkt-skyen nesten umiddelbart førte til arbeidsflyter jeg ikke hadde forutsett, som å ha medlemmer av rigging-avdelingen ved siden av meg og fly gjennom den fargede punkt-skyen opp til taket og ta kritiske beslutninger på stedet om plukke-punkter og sikkerhet," sa Schatz.

Hastigheten på laserskanningen var spesielt viktig på Avatar: The Way of Water når vi brukte eyeline-systemet: en skjerm opphengt av fire kabler som kunne bevege seg gjennom rommet og representere en digital karakter.

"Jeg trengte å løse hvor kabelplukkepunktene skulle være og gjøre det på en måte som gjorde at vi kunne spille gjennom hele scenen uten at kablene krysset noe på settet," fortsatte han. "Når lys og rigg og silker ble satt opp, skannet jeg nesten hver time og kjørte simuleringen av eyeline-systemet for å sjekke at kablene og skjermen selv ikke kolliderte med noe. Det er bedre å oppdage disse tingene i CG (datagrafikk) i stedet for i virkeligheten."    

Deretter bearbeidet Schatz alt nesten umiddelbart for å få de leveransene han trengte.

"I gjennomsnitt vil jeg si at når jeg satte meg ned ved skrivebordet og koblet til iPaden, tok det omtrent fem til syv minutter å få punkt-skyen inn i Leica CYCLONE Register 360, og omtrent 20 minutter senere å få et nettverk inne i Maya," sa Schatz.

Virtuelt kamera, ekte resultater

I CG er kameraet representert kun ved sitt nodale punkt og ikke kameraets kropp og kran som støtter det i den virkelige verden. Men ved å bruke BLK360 for å skanne den faktiske kamerakranen i miljøet, var TTF-teamet i stand til å kjøre CG-kamerabevegelsen for å sjekke kollisjoner og sikre at det var innenfor de fysiske parameterne til kranen.  

"Det var et par ganger hvor jeg sa til alle en uke på forhånd, 'Vi må kanskje gjøre denne veggen flyttbar [en bransjeterm for å gjøre en sett-del flyttbar—Ed.]' fordi det var åpenbart at kameraene var plassert så nær eksisterende strukturer. Så kunstavdelingen var i stand til å si, 'OK, vi bør være klare til å flytte dette på dagen.'"  

"Vi har indusert denne tilbakemeldingssløyfen hvor vi kan bruke LiDAR-målingene til å si hva som er den beste posisjonen for utstyret; vi skanner det, og vi tilpasser vårt CG-utstyr til å følge virkeligheten. Og de to tingene er i harmoni," sa han.  

Lys, kamera — LiDAR

Når det gjelder fremtiden for laserskanning på settet, sier Schatz at fremtiden er lys, spesielt med hastigheten og kompaktheten til Leica Geosystems’ BLK-enheter.

"En del av jobben min er å være ambassadør mellom digitalt og virkelighet. Jo mer jeg skanner, desto mindre potensial for menneskelig feil," sa Schatz til Leica Geosystems.  

"Jeg hadde tidligere avskrevet LiDAR som et verktøy som ikke var anvendelig for det raske tempoet i live-action opptak," sa han. "Man kunne få utrolige resultater, men utstyret var stort, dyrt og tidkrevende. BLK har forstyrret denne antakelsen, og jeg vil aldri være på settet uten det."