Fortellerkunst i en empatimaskin

VR bringer fortellingen helt inn på netthinna og gir muligheter for å skape unike opplevelser og medfølelse hos publikum. Men hvordan skal disse opplevelsene utvikles, finansieres og distribueres? Elin Festøy, Ellen Lande og Bjørn-Morten Nerland bidrar med sine perspektiv på å fortelle i formatet og VRs fremtid.

Undervannsfotograf Kjetil Astrup filmer i VR 3D i Lygnstøylvatnet. Foto: Timon Koch/ Cinemarine/Stargate Media

Alt er ikke helt på plass enda

Mye av fascinasjonen for VR bygger på at opplevelsen er altoppslukende og krever full tilstedeværelse. Elin Festøy, som står bak det prisbelønte mobilspillet «My Child Lebensborn», er opptatt av å undersøke hvordan man kan formidle dokumentarisk materiale på nye måter. I dag er hun stipendiat ved Den norske filmskolens program CEFIMA  og forsker på hvordan man kan påvirke følelsene, og bygge empati og forståelse, med interaktiv VR.

– Vi er i en fase hvor teknologi og innhold er under utprøving før det tar av, og sånn er det alltid med nye medier. MMS på mobil tok heller ikke av med en gang. Teknologi, distribusjon og innhold. De tre faktorene må være på plass og dra hverandre i samme retning før VR kan ta helt av.

AR har vært enklere å ta i bruk, og det er allerede mange år siden alle med en smarttelefon har kunnet fange virtuelle monstre rett utenfor sin egen stuedør i mobilspillet Pokémon Go og legge til filtre som gir de hundeører eller værhår når de kommunisere med venner via Snapchat, mens VR krever større investeringer. Teknologien er fremdeles forholdsvis dyr og Apple har enn så lenge ikke kastet seg over teknologien, selv om det ryktes at de satser tungt på AR.

– Kanskje VR først tar av hvis Apple kommer med nye briller og dingser som treffer massemarkedet. Historien har vist oss at appene som driver utviklingen ofte har dreid seg om nytte og kommunikasjon, og jeg tror kanskje det er dette som kommer til å skje i forhold til VR også. Istedenfor zoom og teams så har man f.eks. møter i VR.

Men, Elin er egentlig ikke så bekymret for at teknologien ikke har funnet veien frem til massepublikumet enda. Kan man lage magiske opplevelser så vil noen oppleve det, konstaterer hun.

– VR og AR gir muligheter for nye magiske møter med publikum, og derfor må vi få de gode historiefortellerne til å jobbe i dette magiske rommet. Utfordringen er at de morsomme innholds-ideene som oftest ligger fem år før de bærekraftige forretningsmodellene.

VR-regissøren

Selv om VR-bruken har økt betraktelig i andre bransjer de siste årene er det et beskjedent antall aktører som søker kulturmidler for å jobbe med historiefortelling.  «As the Lilies bloom» er et av de historiedrevne VR-prosjektene som har gjort seg bemerket i det siste. Prosjektet utvikles av Substans Film med tilskudd fra Viken filmsenter, Sørnorsk filmsenter og NFI og har allerede tilbud om minst tre ulike store festivaldeltakelser og står i forhandlinger med en stor visningsarena.

Utgangspunktet for produksjonen er Theodor Kittelsens berømte maleri Nøkken, og i VR-opplevelsen får du mulighet til å utforske hans verden og selv reagere på ulike menneskeskapte farer. Både regissør Ellen Lande og produsent Kristian Mosvold er erfarne filmfolk som har gått fra tradisjonell historiefortelling i filmformat til VR.

VR-opplevelsen «As the lilies bloom» gir en vri på vår relasjon til naturen i Kittelsens ånd. (Foto: Substans Film)

Ellens reise startet med OFF-PISTE lab i Lillehammer i 2019 og det var her prosjektet «As the Lilies bloom» så lyset. Siden har hun fortsatt med «Munchs digitale hage AR» og «The Story of The Sick Child VR».

– Jeg opplevde å få flere verktøy til å engasjere og påvirke med, når jeg begynte å jobbe med interaktivitet via VR. Publikum er ikke lenger tilskuer, men en medskaper som kan dras tett inn i fortellingen. Legg til VR mediets omsluttende opplevelse og du åpner opp for en helt annen dramaturgisk reise, nye typer narrativ og andre historier. Det gir mulighet til å tre inn i en annen tid og virkelighet – ja, og gestalte et annet menneske eller skapning. Denne nære forankringen både til karakter og interaktivitet, fordrer at kontrakten med publikum må skrives på nytt.

Siden mediet er relativt nytt, har man ikke samme mulighet til å spille på tidligere referanser og publikums forventninger som med film. Derimot har man mulighet til å gi deltageren stor frihet i hvordan sy sammen egen opplevelse. Denne friheten, og elementet av selvstyring, gjør at deltageren er mer åpen og mindre kritisk. Denne begeistringen fra deltakeren gir oss som utvikler VR-opplevelser muligheter til å prøve ut mer. Alt behøver nemlig ikke å være helt perfekt – så lenge du engasjerer, påpeker Ellen.

– Det finnes ikke kun én formel for hvordan skape VR-opplevelser, det finnes mange. Hvordan velger du for eksempel å formidle kunnskap om karakteren deltakeren har trådd inn i, og hvordan viser du deltakeren hvilken type interaktivitet opplevelsen byr på? Det er en hårfin balansegang mellom å lære opp og lede deltageren, samtidig som andre aspekter ved fortellingen skal ivaretas; fremdrift, den dramatiske kurve, rom for egentolkning og ikke minst den kunstneriske visuelle og narrative visjonen.

«As the Lilies bloom» utvikles i en spillmotor og oppstartsteamet som kom fra ulike fagdisipliner ble raskt klar over at de trengte å skape et felles vokabular, men å fortsatt ivareta forskjellige typer utviklingsprosesser. Art Director Thomas Fosseli og «sjefskoder» Ståle K. Martinsen stod for kreativ og teknisk spillutvikling og universutforming av prototypen, mens Hedvig Idaas jobbet mer intuitivt med lyddesign og digital håndtegning av liljer, selv fikk jeg brynt meg på «photogrammetri» av steiner og forvridde røtter, forteller Ellen.

– Som VR-regissør må man være god til å lytte til de andre i teamet, og åpen for innspill fra de som sitter på annen fagkunnskap. Samtidig gjelder det å stadig utfordre de begrensninger man oppfatter ligger i det å utvikle i en spillmotor. Her var det nyttig å dra veksler på allsidig og lang regierfaring. Teamet vekslet hele tiden på å inspirere hverandre til å gå lengre og å fortsette utforskningen videre.

I forbindelse med Short list Cannes XR development show case
fikk As the Lilies bloom plass på finanserings- og festivaldeltagelsesplatformen Kalejsdoscope

Når man møter tekniske utfordringer gjelder det å holde fokus på ambisjonen og budskapet slik at man forsterker det man vil formidle – og bevarer selve visjonen og kjernen av idéen, selv når man må kna om VR-opplevelsen utallige ganger. I en prosess med så bratte læringskurver er utholdenhet og motivasjon alfa og omega, men også fleksibilitet insisterer Ellen.

– Som filmskaper så jeg at mengden film publikum har fortært kan skape en distanse, mens VR kan gripe deg så kraftfull at det er som når de første filmpionerene var vitne til at publikum dukket da toget på lerretet kjørte mot dem. Men det stopper ikke der, VR omslutter deg totalt og kan gi frihet fra multitasking. Muligheten for interaktivitet og «6 degrees of freedom» gjør at mange kjenner på en helt unik kroppslig tilstedeværelse. Du beveges og skremmes lettere, og forskning har pekt på at VR-opplevelser i noen tilfeller kan bidra til drastisk smertelindring, men gjelder dette også motsatt vei? Som formidlingsmedium åpner dette helt nye perspektiver for å berøre og engasjere, da er det ikke teknologien som lenger begrenser VR, kun vågemotet.

Fortsatt i utvikling

Stargate Media har etablert seg som VR-aktør i krysningspunktet mellom det kunstneriske og det kommersielle markedet. Selskapet har over 10 års erfaring med å lage opplevelser og har vært med siden før kommersielle VR briller var tilgjengelig. De har gjort kortfilmer, VR-musikkvideo for Rihanna, apper og VR-opplevelser for bedriftsmarkedet i tillegg til mer kunstneriske VR-opplevelser. Kreativ produsent Bjørn-Morten Nerland forteller at selskapet ble startet med et ønske om å finne nye forteller- og distribusjonsformer.

– Gjennom å kombinere kommersielle og kunstneriske prosjekter utfordrer vi oss selv ved å teste nye metoder for å videreutvikle kompetansen internt, både med hensyn til tekniske aspekter, historiefortelling og publikumsarbeid. Det bidrar til at vi holder oss faglig oppdatert og stadig utvikler oss.

Mediet er fortsatt i rivende utvikling og Bjørn Morten mener denne tilnærmingen bidrar til at de kan fortelle historier i disse formatene på et plan som gjør det interessant for et større publikum. Ved å jobbe med både kommersielle og kunstneriske prosjekter opparbeider de seg viktig erfaring og kompetanse som kommer både selskapet og prosjektene til gode.

Arbeidsprosessen er ifølge Bjørn ganske lik i de to “verdenene”, mulighetsrommet likeså. Det som skiller dem, går ofte på det fortellertekniske.

– Jeg vil si vi tilbyr grunnmuren som en filmskaper, eller annen kreativ artist, trenger for å kunne gjennomføre et prosjekt i VR, enten de kommer med en diffus eller en klar idé. Virkemidlene er mange, og vi er med på å kvalitetssikre bruken av riktig verktøy for at akkurat den historien kan fortelles på best mulig måte.

Regissør Hilde Kjøs og undervannsfotograf  Fabrice Schnöller kom til Stargate Media med VR-prosjektet «For The Barefooted Children Playing By The Sea»  i 2019. Nå har de akkurat vært på Sunnmøre og gjort 360° stereo 3D opptak under vann til prosjektet med støtte fra Viken filmsenter.

«For the barefooted children playing by the sea» (Foto:Stargate Media)

– Hilde er veldig inne i dette universet og bringer med sin bakgrunn fra dokumentarfilm inn fokuset på selve historiefortellingen. Slik tilfører hun dybde til prosjektene i tillegg til å ha et sterkt visuelt blikk. Det var i utviklingen av dette prosjektet at manusforfatter Cecilie Levy kom til oss med en idè relatert til «Finding Frida» som har ført til at vi nå tar et skritt videre med tanke på både opplevelse, historiefortelling og brukerinteraktivitet. Jo mer en regissør får jobbet i VR, jo klarerer vil mulighetsrommet bli, forteller Bjørn-Morten.

Pitchet og vant!

Teamet fra Stargate Media pitchet nylig den interaktive VR-opplevelsen «Finding Frida»  i XR-kategorien på sentral og Øst-Europas største pitche-forum, CEE Animation Forum og i begynnelsen av mai ble det kjent at de tok seieren med hjem til Norge.

Manusforfatter Cecilie Levy, regissør Hilde K. Kjøs og produsent Bjørn-Morten Nerland vant CEE Animation Forum 2021 XR Award med prosjektet «Finding Frida» (Foto: Stargate Media)

–Det er alltid gøy når et prosjekt når opp i en så hard konkurranse. Det betyr også at vi går videre til MIFA og kan pitche i et spesialprogram der. Som resten av festivalverdenen akkurat nå foregikk dette digitalt, men vi har hatt stort utbytte av å delta og fått mulighet til å gjennomføre spennende en – til – en møter med alt fra andre kreative mennesker til salgsledd, festivaler og distributører. Det gir oss et større nettverk og nye muligheter for å nå ut med prosjektene våre, forteller Bjørn-Morten.

Publikumet for denne typen kunstneriske VR-opplevelser er fragmentert og spenner fra det tekniske interesserte publikumet, til de som ønsker å oppleve filmkunst på nye måter, og de kan møte opplevelsene både fysisk på f.eks. et museum, eller hjemme i sin egen stue. I distribusjonskanalene vil det kunne ligge side om side med spill og være tilgjengelig med VR-briller.

–Tidligere publikumsanalyser har vist oss at publikum også ønsker seg andre opplevelser i tillegg til spill, så her ligger det en unik mulighet for annet innhold til å bli sett. Vi ser også til andre VR-prosjekter og lar oss inspirere av samarbeidet mellom ulike aktører for både finansiering og distribusjon, noe som pr. i dag er en «høne og egg-situasjon» hvor det er et begrenset marked med potensielle kjøpere samtidig som det finnes et marked for high-end opplevelser. For å øke etterspørselen etter VR med kvalitetsinnhold, må det være noen som tar sjanser, satser og er med på utviklingen og finansieringen.

Dersom man er ny i bransjen og skal lage sitt første prosjekt i VR vil man se et hav av muligheter og da er da er det ifølge Bjørn-Morten fort gjort å pøse på med for mange av verktøyene i verktøykassa.  – Det enkle er ofte er det beste, men det er også viktig å være klar over fordelene og begrensingene ved mediet ettersom ikke alle historier egner seg like godt for VR, og det lærer man best ved kaste seg ut i det, utvikle innhold og oppleve mye av det gode innholdet som allerede finnes der ute.

«Finding Frida» er en interaktiv virtuell opplevelse inspirert av billedvevkunstner Frida Hansens liv og virke rundt forrige århundreskifte. I et virtuelt møte med Fridas «ghost» får publikum utforske atelieret og fysisk vandre rundt i hennes fargefulle kunstverk. (Foto: Stargate Media)

Fra publikum til festdeltaker

Den nystiftede foreningen «Norske interaktive fortellere» deler erfaringer og nyheter via facebook-gruppa med samme navn og arrangerer månedlige virtuelle «meet-ups» i Mozilla hub. Elin Festøy var en av initiativtakerne bak facebook-gruppa som i dag har 150 medlemmer. Hun forteller at foreningen nå jobber med tanken om å starte opp et virtuelt klubbhus, åpent 24/7. Her skal interesserte kunne møtes, holde innlegg og legge frem prosjekter. Målet er å bygge bransje.

– Jeg opplever at det er et gap mellom de som kommer fra film, som gjør «immersive» prosjekter med minimalt av deltakelse, og dataspill-gjengen som er supre på interaktivitet, sier Elin og plasserer sin egen forskning midt i dette gapet hvor selve brukeropplevelsen er historiefortellingen.

Elin sammenligner sitt nyeste prosjekt «Otherself» med en kort eksperimentell opplevelse, og peker på at det er avgjørende for VR-opplevelser å styre brukernes forventninger.

– I dag er vi vant til å få historier servert via en skjerm. VR og AR er noe annet ettersom historiene kommer via andre grensesnitt, og da blir det spennende hvordan kroppen vår fysisk sett forholder seg til andre grensesnitt for «storytelling». Podcast f.eks skaper også et nytt storytelling-perspektiv sammenlignet med lydbøker. Hodetelefoner er en en-til en opplevelse som skaper et annet univers enn radiolytting. VR-briller skaper et annet univers enn tv-titting. Det handler om vår brukerreise og hvordan vi interagerer med mediet.

Her prøver en ung jente VR-headset med AR-glass.

Elin snakker ikke lenger om publikum, men om deltakere og setter brukerreisen i fokus. Det endrer også maktbalansen mellom den som tradisjonelt er skaperen og publikumet. Når publikumet er blitt brukere og medskapere må man tørre å slippe kontrollen og tenke nytt.

– Jeg føler meg mer som et vertskap som tilrettelegger en opplevelse for en deltaker, enn en regissør som presenterer noe for et publikum. Jeg er en «partyorganizer»! Når noen er i en VR-opplevelse med sin egen kropp så forventer de en helt annen kundeservice enn når de sitter i kinosalen. Hvis man går inn i dette med tanken om at nå skal jeg lage «min film» da har man bommet. Spillbransjen kan dette med å ta vare på brukerne sine. De er vant til å tenke «community». De presenterer konseptet sitt for brukerne og får de til å bidra i finansieringen – og følger dem opp over tid.

Mange spill lanseres i dag som betaversjoner. Da har ikke utgiveren lovet brukerne et feilfritt og polert spill, men invitert «communityet» til å spille en tidlig utgave av spillet for å hente inn tilbakemeldinger som kan brukes for å gjøre feilrettinger og forbedringer av spillet. Med dette som utgangspunkt er det mye enklere å forholde seg til et aktivt publikum og bygge et forhold til eget «community».