På Spissen: Første LiDAR-baserte VR-dokumentar, The 100%, har premiere på Tribeca Film Festival

Mandag 22. april hadde THE 100%—en “første opplevelse i sitt slag” VR-fortelling—premiere på Tribeca Film Festival i New York City. Vinneren av årets Tribeca X Award for Beste VR-film forteller historien om Maggie Kudirka, en ung ballerina fra Joffrey Concert Group, hvis karriere ble avbrutt av kreft. Ved hjelp av volumetrisk video og LiDAR for å skape en VR-opplevelse som formidler Maggies historie, har Springbok Entertainment brutt ny mark innen oppslukende historiefortelling.       

---

Vi snakket med Andy Cochrane, leder for oppslukende innhold hos Springbok Entertainment, om deres bruk av Leica BLK360 som en integrert del av prosjektet. 
 

Hva er premisset til THE 100%?

THE 100% er en oppslukende VR-fortelling som finner sted i Orpheum Theater i Vancouver. Denne opplevelsen er en teatralsk gjengivelse av Maggies sanne historie om hvordan hennes lovende karriere som ballerina ble avbrutt av metastatisk brystkreft i en alder av 23 år. Stykket er laget for å støtte veldedighetsorganisasjonen Stand Up To Cancer (SU2C). Til syvende og sist handler THE 100% om triumf over motgang og utholdenhet i møte med store utfordringer, og har som mål å gi håp til kreftpasienter og deres støttespillere.      

Hvorfor VR for dette prosjektet?

Immersive dokumentarer er effektive på grunn av en “transportasjon”-effekt, der seeren føler at de faktisk er der. Denne effekten har blitt sammenlignet med forskjellen mellom å tenke på noe du har sett og å huske noe du har opplevd – VR har evnen til å skape det som føles som minner. Dette fører igjen til en langt større følelse av empati for temaet i en immersiv dokumentar, noe vi kan bekrefte basert på hvor mange mennesker som har blitt rørt til tårer etter å ha opplevd THE 100% med et VR-headset.    

Hva er den største fordelen med å bruke Reality Capture-teknologi for å gjenskape dette rommet?

Noen av de mest realistiske VR-opplevelsene har brukt fotogrammetri og LiDAR som grunnlag for å lage miljøet. Følelsen av å faktisk være på et ekte sted er utrolig effektiv for å hjelpe en seer med å føle seg som om de virkelig er i en virtuell virkelighet, noe som igjen fører til langt høyere engasjement i den totale opplevelsen.    

I tilfelle THE 100% la vi til volumetriske videoopptak til et miljø fanget med LiDAR og HDRI for et helt nytt nivå av fordypning. Selv om dette er et teatralsk stykke, jobbet vi hardt for å få det til å føles som en ekte forestilling i et ekte rom, for å plassere publikum på scenen midt i Maggies historie. Uten evnen til å fange den virkelige verden i detalj og kvalitet, ville vi ha endt opp med en opplevelse som føltes flat og mer likt et videospill enn en filmisk virkelighet.    

---

Hver gule trekant representerer et skannested i Orpheum Theater fanget med BLK360.

---

 

Hva er du mest stolt av i dette prosjektet?

Den innvirkningen denne opplevelsen allerede har hatt på verden siden den debuterte på Tribeca. I underholdningsbransjen streber vi ofte etter å underholde og distrahere et publikum, men med verk som THE 100% har vi en sjelden mulighet til å skape kunst som vil ha en målbar innvirkning på de som håndterer kreft ved å øke finansieringen til forskning på nye måter å hjelpe dem på.    

Vi er alle ydmyke over å jobbe med dette prosjektet, og hver av oss har våre egne personlige erfaringer med kreft, noe som gir oss individuelle grunner til å ønske at dette verket skal lykkes. Som en gruppe deler vi en dyp stolthet over det vi har skapt og et ansvar for å bringe det så langt som mulig for å maksimere den påvirkningen vi kan ha.  

Hvordan bidrar opplevelser i ekte størrelse til å skape og etablere empati hos et publikum? Og hvorfor er dette viktig for historiefortelling og dokumentarer spesielt?  

Siden dette er den første opplevelsen av sitt slag, var mange aspekter av produksjonen teoretiske eller instinktive fra vår side. Likevel visste vi at Microsofts volumetriske opptaksteknologi var klar for storskala produksjonsarbeid, og vi visste at vi hadde teamet, tidsplanen og budsjettet til å få det til. Men vi måtte ta en kvalifisert gjetning om hvordan filmen ville oppleves av seerne. Vi visste også at det å stå 1:1 foran Maggie ville være sterkt. Vi har blitt positivt overrasket i alle stadier av denne prosessen over hvor bra det ser ut og hvor virkelig alt føles.        

Noen av våre tidlige testseere visste ikke at det var fullstendig sanntidsrenderet 3D, ettersom de var vant til å se enten forhåndsrendert 360º-innhold eller innhold av lav kvalitet i sanntid. Volumetrisk video er en helt ny kategori av oppslukende teknologi, og den har gledet oss med hvor personlig, vakker og engasjerende den kan være.     

Hvordan ble Leica BLK360 brukt til å dokumentere rommet?  

Vi brukte to BLK360-enheter til å skanne hver eneste millimeter av Orpheum Theater i Vancouver. Vi fanget langt mer data enn vi egentlig trengte, rett og slett for å ha et omfattende datasett som vi kunne finjustere behandlingsprosessen med i etterkant.    

Vi utførte over 60 høyoppløselige skanninger med BLK360-enhetene, noe som ga en utrolig mengde detaljer inne i auditoriet og lobbyen. Vi oppdaget til og med at vi fanget noe av gaten utenfor gjennom lobbyvinduene!  

---

Andy Cochrane og teamet i Springbok Entertainment skanner Orpheum Theater med BLK360.

---

 

Hvordan var prosessen med å bruke LiDAR? Hva ville dere gjort uten LiDAR, og hva ser dere som fordelene med LiDAR?  

I de tidlige dagene av VFX brukte vi landmålingsutstyr, blåkopier, referansefotografier og gjetting for å lage en 3D-modell som matchet et ekte sted. Ved å bruke fotogrammetri kunne vi fange flere detaljer på kortere tid, men mengden innsats som kreves for å ta tusenvis av velbelyste, skarpe fotografier i forskjellige lysforhold har alltid vært en utfordring. Feilene som er iboende i fotogrammetri har også vært et mareritt for alle 3D-avdelinger, som har krevd mye manuelt arbeid.        

LiDAR ble alltid ansett som en luksus som få hadde råd til, så det var ikke før BLK360 kom at vi i det hele tatt kunne vurdere å bygge en virkelighetsfangstprosess rundt det. Nå som vi kan fange milliarder av nøyaktige 3D-punkter på stedet uten å stenge alt ned i flere timer av gangen, har LiDAR blitt hjørnesteinen i vår virkelighetsfangstprosess, med fotogrammetri og HDRI som bidrar med teksturdetaljer, men ikke den underliggende geometrien. Vi har jobbet hardt for å utvikle en prosess for å bringe disse forskjellige teknologiene sammen i en enkelt sammenhengende flyt som utnytter nøyaktigheten til LiDAR og detaljene i fotografi, og THE 100% var bare den første bruken av denne spennende prosessen.    

Hva brukte dere i tillegg til BLK360?  

Vi tok tusenvis av HDRI-fotografier av Orpheum Theater i samarbeid med BLK360-skanningene, og endte opp med å bruke disse høyoppløselige panoramabildene til å teksturere 3D-nettverket vi fikk ut av 3DReshaper.

Hva håper dere at seerne husker mest? Hvordan håper dere dette påvirker dem?  

Maggies positive budskap og utrolige projeksjon av håp har inspirert oss mest under denne produksjonen. Vi ønsker at seerne skal komme ut av denne opplevelsen med en følelse av empati for Maggie, og en følelse av hastverk med å hjelpe til å finne en kur for så mange som er berørt av kreft. Vi håper mer enn noe annet at seerne tar av headsetet med en beslutning om å gjøre noe, og å gjøre denne ønskede handlingen håndgripelig til fordel for SU2C.    

---

Ansvarsfraskrivelse: Denne artikkelen inneholder Leica BLK360 G1. Utforsk de utvidede funksjonene til den nyeste BLK360-modellen her.