Op maandag 22 april ging THE 100%—een “eerste ervaring in zijn soort” VR-verhaal—in première op het Tribeca Film Festival in New York City. De winnaar van de Tribeca X Award voor Beste VR-film van dit jaar vertelt het verhaal van Maggie Kudirka, een jonge ballerina van de Joffrey Concert Group, wiens carrière werd onderbroken door kanker. Met behulp van volumetrische video en LiDAR om een VR-ervaring te creëren die Maggie’s verhaal vertelt, heeft Springbok Entertainment nieuwe grenzen verkend in meeslepende verhalen.
We spraken met Andy Cochrane, hoofd van meeslepende inhoud bij Springbok Entertainment, over hun gebruik van de Leica BLK360 als integraal onderdeel van het project.
Wat is het uitgangspunt van THE 100%?
THE 100% is een meeslepend VR-verhaal dat zich afspeelt in het Orpheum Theater in Vancouver. Deze ervaring is een theatrale vertelling van Maggie’s waargebeurde verhaal over hoe haar veelbelovende carrière als ballerina werd onderbroken door uitgezaaide borstkanker op 23-jarige leeftijd. Het stuk is ontworpen om het goede doel Stand Up To Cancer (SU2C) te ondersteunen. Uiteindelijk gaat THE 100% over overwinning op tegenspoed en doorzettingsvermogen in moeilijke omstandigheden, en wil het hoop bieden aan kankerpatiënten en hun supporters.
Waarom VR voor dit project?
Meeslepende documentaires zijn indrukwekkend vanwege een “transportatie”-effect, waarbij de kijker het gevoel heeft dat ze er daadwerkelijk zijn. Dit effect wordt vaak vergeleken met het verschil tussen nadenken over iets dat je hebt gezien en herinneren hoe je iets hebt meegemaakt – VR heeft de capaciteit om aan te voelen als echte herinneringen. Dit leidt op zijn beurt tot een veel groter gevoel van empathie voor het onderwerp van een meeslepende documentaire, iets dat wij kunnen bevestigen op basis van het aantal mensen dat tot tranen werd geroerd na het ervaren van THE 100% in een VR-headset.
Wat is het grootste voordeel van het gebruik van Reality Capture-technologie om deze ruimte te reconstrueren?
Enkele van de meest realistische VR-ervaringen hebben fotogrammetrie en LiDAR gebruikt als basis voor hun omgevingscreatie. Het gevoel om echt op een bepaalde locatie te zijn, is ongelooflijk effectief in het helpen van een kijker om zich echt in een virtuele realiteit te wanen, wat op zijn beurt leidt tot een veel hogere betrokkenheid bij de totale ervaring.
In het geval van THE 100% hebben we volumetrische videocaptures toegevoegd aan een omgeving die met LiDAR en HDRI is vastgelegd voor een geheel nieuw niveau van immersie. Hoewel dit een theatraal stuk is, hebben we ons uiterste best gedaan om het te laten aanvoelen als een echte uitvoering in een echte ruimte, zodat het publiek op het podium wordt geplaatst midden in Maggie’s verhaal. Zonder de mogelijkheid om de echte wereld in detail en kwaliteit vast te leggen, zouden we zijn achtergebleven met een ervaring die vlak aanvoelde en meer leek op een videogame dan op een filmische realiteit.
Elk geel driehoekje vertegenwoordigt een scanlocatie in het Orpheum Theater vastgelegd met de BLK360.
Waar ben je het meest trots op bij dit project?
De impact die deze ervaring sinds de première op Tribeca al heeft gehad op de wereld. In de entertainmentindustrie streven we er vaak naar om een publiek te vermaken en af te leiden, maar met stukken zoals THE 100% hebben we een zeldzame kans om kunst te creëren die een meetbare impact zal hebben op mensen die met kanker te maken hebben door financiering te vergroten voor onderzoek naar nieuwe manieren om hen te helpen.
We voelen ons allemaal nederig om aan dit project te werken, en ieder van ons heeft zijn eigen persoonlijke ervaringen met kanker, waardoor we onze eigen redenen hebben om te willen dat dit stuk slaagt. Als groep delen we een diepe trots op wat we hebben gecreëerd en een verantwoordelijkheid om het zo ver mogelijk te brengen om de impact die we kunnen maken te maximaliseren.
Hoe helpen levensechte ervaringen om empathie te genereren en te versterken bij een publiek? En waarom is dat belangrijk voor verhalen en documentaires in het bijzonder?
Omdat dit de eerste ervaring in zijn soort is, waren veel aspecten van de productie theoretisch of instinctief van onze kant. We wisten echter dat de volumetrische opname-technologie van Microsoft klaar was voor grootschalige productie, en we wisten dat we het team, de planning en het budget hadden om dit te realiseren, maar we gokten hoe de film aan zou voelen voor kijkers. We wisten ook dat 1:1 tegenover Maggie staan indrukwekkend zou zijn. We zijn aangenaam verrast geweest in elke fase van dit proces over hoe goed het eruitziet en hoe echt alles aanvoelt.
Sommige van onze vroege testkijkers wisten niet dat het volledig realtime gerenderde 3D was, omdat ze gewend waren aan ofwel vooraf gerenderde 360º content of inhoud van lage kwaliteit in realtime. Volumetrische video is een geheel nieuwe categorie van meeslepende technologie, en het heeft ons verrast met hoe persoonlijk, mooi en boeiend het kan zijn.
Hoe werd de Leica BLK360 gebruikt bij het vastleggen van de ruimte?
We gebruikten twee BLK360’s om elke millimeter van het Orpheum Theater in Vancouver te scannen. We hebben veel meer gegevens vastgelegd dan we nodig hadden, gewoon om een enorme dataset te hebben om onze verwerkingspijplijn achteraf te verfijnen.
We vulden de BLK360’s met meer dan 60 hoogwaardige scans, wat een ongelooflijke hoeveelheid detail opleverde in het auditorium en de lobby. We ontdekten zelfs dat we een deel van de straat buiten via de lobbyramen hadden vastgelegd!
Andy Cochrane en het Springbok Entertainment-team scannen het Orpheum Theater met de BLK360.
Hoe was het proces van het gebruik van LiDAR? Wat zou je doen zonder LiDAR, en wat zijn de waargenomen voordelen van LiDAR?
De BLK360 heeft de manier waarop we omgevingen vastleggen volledig veranderd. In de vroege dagen van VFX gebruikten we meetapparatuur, bouwtekeningen, referentiefotografie en giswerk om een 3D-model te maken dat overeenkomt met een echte locatie. Met fotogrammetrie konden we meer details vastleggen in minder tijd, maar het kost altijd veel moeite om duizenden goed belichte, scherpe foto’s te maken bij verschillende lichtomstandigheden. De fouten inherent aan fotogrammetrie waren ook een doorn in het oog van elke 3D-afdeling en vereisten veel handmatige correctie.
LiDAR werd altijd beschouwd als een luxe die maar weinigen zich konden veroorloven, dus het was pas toen de BLK360 op de markt kwam dat we zelfs konden overwegen om een reality capture-pijplijn eromheen te bouwen. Nu we miljarden nauwkeurige 3D-punten op locatie kunnen vastleggen zonder alles urenlang stil te leggen, is LiDAR de hoeksteen van onze reality capture-pijplijn geworden, waarbij fotogrammetrie en HDRI textuurdetails toevoegen, maar niet de onderliggende geometrie. We hebben hard gewerkt om een pijplijn te ontwikkelen die deze uiteenlopende technologieën samenbrengt in een enkel samenhangend proces dat gebruikmaakt van de nauwkeurigheid van LiDAR en de details van fotografie, en THE 100% was slechts de eerste toepassing van dit spannende proces.
Wat gebruikte je naast de BLK360?
We hebben duizenden HDRI-foto’s van het Orpheum Theater gemaakt in combinatie met de BLK360-scans en gebruikten uiteindelijk deze hoogwaardige panorama's om het 3D-mesh te textureren dat we met 3DReshaper hebben gemaakt.
Wat hoop je dat de kijkers het meest onthouden? Hoe hoop je dat dit hen beïnvloedt?
Maggie’s positieve boodschap en ongelooflijke projectie van hoop hebben ons tijdens deze productie het meest geïnspireerd. We willen dat kijkers na deze ervaring een gevoel van empathie voor Maggie hebben en een urgentie voelen om een remedie te vinden voor de vele mensen die door kanker worden getroffen. Meer dan wat dan ook hopen we dat kijkers de headset verlaten met de vastberadenheid om iets te doen en die wens om actie te ondernemen omzetten in iets tastbaars ten gunste van SU2C.
Disclaimer: Dit artikel bevat de Leica BLK360 G1. Verken de uitgebreide mogelijkheden van het nieuwste BLK360-model hier.
BLK360
BLK360 SE
BLK2GO
BLK2GO PULSE
BLK ARC
BLK2FLY
BLK3D
Software
Accessoires