Noodhulpdiensten hebben mixed reality in het vizier

De werking van mixed reality

Dagelijks wordt alarmnummer 112 ongeveer 4500 keer gebeld voor spoedeisende meldingen. Deze meldingen worden direct doorgestuurd aan politie, brandweer, ambulance, kustwacht en/of traumahelikopters. De ingeschakelde noodhulpdiensten rukken direct uit en zijn binnen 15 minuten ter plaatse. Tijdens het vertrekken en aanrijden worden bijrijders op de hoogte gesteld van de situatie ter plaatse. Echter blijkt deze informatie onvoldoende intuitief en context-afhankelijk gedeeld te worden via conventionele communicatiekanalen. Ter plaatse is herstel van veiligheid eerste prioriteit, waarna in veel gevallen een ad-hoc overleg plaatsvindt met aanwezige diensten: het “motorkapoverleg” genoemd. Vanwege fysieke beperkingen kunnen specialisten op afstand niet deelnemen aan deze overleggen. In dit artikel verkennen we beide problemen meer in detail, en zullen we toelichten hoe mixed reality deze problemen kan tackelen. Mixed Reality (MR) is in staat om context-afhankelijk, intuïtief en op een natuurlijke wijze de noodhulpdiensten bij te staan. Om te begrijpen hoe dit zou kunnen werken, moeten we eerst begrijpen wat MR is en hoe deze technology zich ontwikkeld heeft de afgelopen jaren.

Mixed reality (MR) is een technologie die grenzen doet vervagen tussen de fysieke en virtuele wereld. Via een scherm of bril die je opzet worden hierbij digitale objecten geprojecteerd in de fysieke wereld, waar je mee kunt interacteren en die ook kunnen interacteren met de fysieke omgeving die je waarneemt. De twee meest bekende voorbeelden van MR zijn de Google Glass uit 2014 en een functie in het spel Pokémon GO van bedrijf Niantic uit 2016. Google Glass was een slimme bril waarmee gebruikers informatie uit Google konden toevoegen aan de echte wereld, die ze zagen. Al snel bleek dat de technologie nog niet rijp was hiervoor, in 2015 stopte Google met productievan de Google Glass. Het andere bekend voorbeeld van MR zit in het spel Pokémon GO dat door 170 miljoen spelers wereldwijd actief gespeeld wordt. In Pokémon GO kunnen spelers Pokémons vangen door rond te wandelen in de buurt. Via een MR modus kunnen spelers extra punten verdienen bij vangen van Pokémons en met hun favoriete Pokémon op de foto gaan.

Naast entertainment, worden MR brillen de afgelopen jaren steeds vaker gebruikt bij bijvoorbeeld defensietrainingen, werken op afstand in de gezondheidzorg en maken van ontwerpen in de industriële toepassingen. Vanwege de vele toepassingen ontwikkelen de meeste grote technologiebedrijven als Microsoft, Apple en Facebook MR producten hiervoor. Meta, de nieuwe naam van Facebook, heeft in 2021 de koers volledig gericht op leven en werken in een MR wereld. Zij noemen deze wereld de “Metaverse”. De enorme technologische vooruitgang, gedreven door eerdergenoemde techreuzen, biedt enorme kansen op de korte en lange termijn voor inzet bij noodhulp. Dit potentieel wordt nog veel te weinig benut.

Spoedeisende hulpmeldingen worden in Nederland geregiseerd door de centralisten van de Nationale Meldkamers. De centralisten voeren het gesprek met de melder(s) en coördineren tegelijkertijd de juiste inzet van Politie, Brandweer, Ambulance en Marechaussee. Zij worden daarbij bijgestaan door de medewerkers van het Real-Time Intelligence Center (RTIC), die op basis van beschikbare omgevingsinformatie en real-time informatie een situationeel beeld creeëren ter ondersteuning aan de bijrijders van aanrijdende noodhulpdiensten. Het RTIC gebruikt bij deze informatiedeling beschikbare technologieën in de voertuigen zoals portofoons en tekst- of documentdeling via mobiele devices. Zoals eerder beschreven, blijkt dat deze aangeleverde informatie onderweg veelal niet goed begrepen wordt of onvoldoende situationeel relevant gemaakt wordt.  Hierdoor worden noodhulpdiensten gedwongen kostbare seconden ter plaatse te besteden om zich alsnog te oriënteren en zich bewust te maken van de locatie en wat er om hen heen gebeurt. Dit wordt ‘Situational Awareness’genoemd.  De gebruikte kennisdelingsinfrastructuur van de noodhulpdiensten schiet hierin klaarblijkelijk nog tekort. MR kan dit gat dichten en helpen bij het creëren van betere Situational Awareness. Hierdoor kan ter plaatse sneller en gerichter gehandeld worden.

Een andere toepassing van MR bij noodhulp is direct na het handelen in het moment. Na het directe herstel van veiligheid, verschuift de focus van de noodhulpdiensten naar het gezamenlijk plannen van de vervolgstappen voor een meer structurele oplossing. Dit gebeurt door middel van het eerdergenoemde ‘motorkapoverleg’. Hierbij worden alle aanwezige disciplines fysiek bij elkaar geroepen om ‘over de motorkap’ een oplossing te bedenken en de daaruit volgende activiteiten integraal te coördineren. Ook hierbij kan MR van toegevoegde waarde zijn, door specialismes en leidinggevenden op afstand over de schouder te laten meekijken en ze te laten bijdragen aan het vinden van de beste oplossing.

Een verkenning van mixed reality in de context van noodhulp

We spraken over deze mogelijkheden van MR in de context van noodhulp met twee experts op dit gebied, Dhr. Florian Käding en Dr. Imar de Vries. Dhr. Käding is één van de oprichters van Prometech, een bedrijf dat MR-simulaties ontwikkelt voor de ambulance voor moeilijk trainbare situaties, zoals biologische aanvallen met giftige gaswolken. Dr. de Vries is Wetenschapper bij Universiteit Utrecht, en focust zich vanuit een mediastudies perspectief op onder andere de technologische ontwikkeling van mixed reality toepassingen.

In gesprek met Dhr. Käding kwam naar voren dat technologische ontwikkelingen van MR enkele jaren geleden nog vrij onvolwassen waren. MR-brillen vertoonden vaak kwalitatief slecht beeld, waren langzaam in bediening en voelden zwaar aan op het gezicht. De afgelopen jaren zag hij veel nieuwe verbeteringen in de technologie. Kijk bijvoorbeeld naar de succesvolle Hololens van Microsoft, met geavanceerde driedimensionale projecties, waarmee op een natuurlijk manier kan worden geinteracteerd. Het nadeel van de Hololens is volgens Dhr. Käding helaas nog dat deze zwaarder en minder handzaam is dan sommige alternatieven. Wuzix M400 Smart Glass is zo’n lichter alternatief dat is ontwikkeld door de Brits-Nederlandse startup Wuzix. In de Volkskrant stond recentelijk een artikel over deze Wuzix bril [1] in een pilot bij tientallen zorginstellingen. In de pilot konden verzorgers spraakgestuurd experts op afstand laten meekijken. Ook konden verzorgers direct gecoacht worden in hun werk. Deze use case is vergelijkbaar met aanrijdende hulpdiensten aldus Dhr. Käding, waar ook vaak verschillende experts op afstand met elkaar moeten communiceren.

Zijn ervaring met ambulance-diensten was dat autorijden gepaard gaat met (te) veel beweging om een tablet nuttig te kunnen gebruiken. Een MR-bril zou dit probleem kunnen oplossen. Ter plaatse moeten handen vaak vrij gehouden worden vanwege de veiligheidshandschoenen die nodig zijn, waardoor gebruik van touch screens op mobiele telefoons of tablets onwerkbaar zijn. MR-glazen kunnen ook deze beperking overbruggen. Centralisten en RTIC medewerkers kunnen via MR informatie makkelijker delen en projecteren op de omgeving van de aanrijdende diensten. En ter plaatse kunnen de meldkamers meekijken en indien nodig gericht real-time noodhulpdiensten attenderen op bijvoorbeeld aanwezige camera’s en de daarbij behorende camerabeelden via zo’n MR-bril.

Eenzelfde toepassing geldt voor het motorkapoverleg, waarbij specialistische publiek- en private diensten face-to-face ingevlogen zouden kunnen worden via MR voor een structurele oplossing. De eerder genoemde pilot met Wuzix MR glazen was succesvol in face-to-face ondersteuning, maar strandde op privacy risico’s van de verwerkte data en risico’s op hacking van de technologie. Deze risico’s omtrent inzet van MR-Glasses, werden ook al eerder in 2016 benoemd in het politie visiedocument ‘Visie op Sensing[2]’. Volgens dit visiedocument zou een zwakke schakel in de informatiebeveiliging ertoe kunnen leiden dat hackers kunnen beïnvloeden wat gebruikers zien, horen en voelen. Daarom is het belangrijk bij deze technologie dat de randvoorwaarden van privacy en security in overleg met de wetgevers en maatschappij worden vastgesteld. Hoewel dit een uitdagende opgave lijkt, blijkt uit het visiedocument dat er een maatschappelijke acceptatie lijkt te zijn voor inzet van nieuwe technologieën bij noodhulp en dat de menselijke maat hierbij bepalend is. Deze problemen lijken dus overkomelijk te zijn, zolang de MR-toepassingen primair ingezet worden bij het levensreddende werk van noodhulpdiensten.

In het tweede gesprek met wetenschapper Dr. Imar de Vries kwamen andere aspecten van MR technologie naar voren; met name hoezeer denken en dromen over MR-toepassingen de richting van technologische ontwikkelingen heeft beïnvloed in de afgelopen decennia. Dr. Imar de Vries lichtte toe hoe belangrijk uitgesproken wensen over toepassing van MR zijn voor ontwikkelaars van deze technologie. Beschrijving van wens-denken over technologie aan de hand van concrete toepassingen noemt hij ‘techologyiImaginaire’. Dit klinkt wellicht initieel als sprookjesdenken, maar zorgt voor een enorme drive bij jonge technologische bedrijven om van deze ‘sprookjes’ werkelijkheid te maken.

Jaren geleden deed Dr. de Vries een observatie-studie bij Amsterdamse MR startup Layer. Hierbij kwam naar voren dat dit wens-denken vanuit de echte praktijk, in combinatie met inspiratie uit films en boeken, een drijvende kracht vormen voor het opzetten en ontwikkelen van deze technologie. Layer haalde zijn motivatie en inspiratie uit de Japanse tekenfilmserie Dennou Coil en uit de MR contactlensen uit Vernor Vinge’s boek ‘Rainbow’s End’. Deze referenties zullen wellicht niet bij iedereen bekend zijn, maar veelen zullen wel de MR toepassingen uit bekende films als Minority Report uit 2002 of de Star Trek Holodeck kunnen herinneren en hoe wij via TV geïntroduceerd werden tot de enorme potentie van MR in de toekomst. Tot slot gaf Dr. de Vries aan dat uit zijn onderzoek ook blijkt dat esthetische aspecten als herkenbaarheid en de juiste productnaam een rol spelen in het mainstream maken van een technologie. Dr. de Vries sprak als laatste ook nog over de ‘technology imaginaire’ van de afgelopen 200 jaar rondom immersie en telepresence, waar de hedendaagse MR-technologie een verwezenlijking van is.  De ontwikkeling van MR-toepassingen is daarmee onderdeel van een lange geschiedenis en lijkt te voldoen aan een diepe menselijke behoefte die eeuwen terugreikt.

De toegevoegde waarde van mixed reality in noodhulp

Na interessante discussies over de uitdagingen van MR-toepassingen in de noodhulp, blijkt dat de voordelen hoger opwegen dan de privacy en security-risico’s. Deze risico’s blijken overkomelijk te zijn, mits deze in nauwe samenwerking met burgers en de maatschappij afgekaderd worden. Met name bij het creëren van Situational Awareness en samenbrengen van verschillende disciplines bij het motorkapoverleg zullen MR-toepassingen van grote toegevoegde waarde zijn. Ook is de conclusie dat huidige technologische beperkingen slechts van tijdelijk aard zijn en dat de verdere verbetering van MR-technologie niet geremd zal stoppen. Gedreven door futuristische beelden uit populaire cultuur en creatieve ideeën van medewerkers uit het veld zullen toepassingen van MR binnen de noodhulp niet een kwestie van ‘of’ zijn, maar van ‘wanneer’. En met de enorme hoeveelheid geld die in deze technologie wordt geïnvesteerd door de grote techreuzen, zal MR op korte termijn de noodhulp sneller en effectiever gaan maken voor ons allemaal.