Zijn Artificial Intelligence-systemen te vertrouwen en zo ja, hoe tonen we dat aan?
Met de komst van kunstmatige intelligentie ofwel artificial intelligence (AI) gaan IT-systemen zich steeds meer bemoeien met beslissingen die tot nu toe door menselijke functionarissen werden genomen. Daarmee wordt het belangrijk dat die systemen altijd te vertrouwen zijn. Maar aan de andere kant zijn die systemen steeds lastiger te doorgronden. Hoe tonen we de betrouwbaarheid van die systemen dan aan?
Toepassingen van kunstmatige intelligentie zijn volgens onder meer Gartner1 en Forrester2 een belangrijke strategische trend in 2018 en zullen de komende jaren waarschijnlijk steeds meer hun intrede gaan doen in het systeemlandschap. Ook in het veiligheidsdomein gebeurt dit: bij ‘predictive policing’ worden bijvoorbeeld politiepatrouilles geconcentreerd op die locaties waar op grond van dynamische voorspellingen misdaad wordt verwacht, zodat schaarse middelen zo goed mogelijk kunnen worden ingezet. Of systemen spitten razendsnel dikke juridische dossiers door om daaruit de belangrijkste stukken of passages te halen of zelfs om beslissingen te kunnen voorspellen of te kunnen nemen.
Met de komst van AI zijn twee belangrijke ontwikkelingen gaande:
Beslissingen die in het veiligheidsdomein worden genomen, hebben soms ingrijpende gevolgen. Denk bijvoorbeeld aan de media-aandacht die volgde op het staande houden van de rapper Typhoon of aan de zaak van Bart van U., waar het niet overgaan tot gedwongen opname uiteindelijk uitmondde in de moord op Els Borst. Aan functionarissen die dergelijke (soms lastige) beslissingen moeten nemen, stellen we daarom hoge eisen op het gebied van onpartijdig en ethisch handelen. Voor het vertrouwen van de burger in de overheid is dit een belangrijke randvoorwaarde. Als computersystemen steeds meer gaan bijdragen aan het nemen van die beslissingen of zelfs beslissingen gaan nemen zonder menselijke tussenkomst dan gelden die eisen onverkort ook voor die systemen. Bijvoorbeeld: door predictive policing kunnen computersystemen in steeds grotere mate gaan bepalen welke auto’s of personen ter controle staande moeten worden gehouden. Ook daar mogen we verwachten dat zaken als de huidskleur of religie van de eigenaar van het voertuig geen rol speelt in die beslissing. Het gebruik van een wiskundig model en eerlijke historische data lijken op het eerste gezicht misschien een goed uitgangspunt hiervoor, maar in de praktijk is meermalen gebleken dat een AI-systeem onverwacht ongewenst gedrag ging vertonen.
Zo leverde de eerste virtuele schoonheidswedstrijd met een AI-jury ‘Beauty.AI’ vooral blanke winnaars op. Het systeem bleek uit eigen beweging minder waardering toe te kennen aan een donkere huid doordat de foto’s waarop het systeem getraind was te weinig materiaal van etnische minderheden bevatte. Maar ook in gevallen waar de huidskleur niet direct beschikbaar is voor het systeem kan dergelijk gedrag ontstaan. In een gesegregeerde maatschappij hangt de postcode van een woonadres behoorlijk sterk samen met de etnische afkomst van de bewoners. We moeten ons dan afvragen of voor het al dan niet staande houden van een voertuig de postcode wel een gewenst criterium is om mee te nemen in de afweging.
Het wel meenemen van de postcode in een dergelijk model kan zeker leiden tot een hogere voorspellende kracht met meer terechte en minder onterechte staande houdingen. Maar aan de andere kant betekent het ook dat burgers die in een ‘verkeerde’ buurt zijn opgegroeid vaker gecontroleerd zullen worden en daardoor ook een grotere kans lopen om voor een klein vergrijp meteen een strafblad op te lopen. Dit kan vervolgens weer gevolgen hebben voor de kans op een baan. Uiteindelijk kan dit betere model daardoor gaan bijdragen aan het in stand houden of zelfs vergroten van die segregatie. De beslissing om een gegeven als postcode van het woonadres wel of niet mee te nemen in een AI-model heeft dan uiteindelijke maatschappelijke effecten en moet zorgvuldig worden afgewogen. De vraag of een bepaald gegeven voor een rechter als zinvolle argumentatie voor de genomen beslissing aangedragen zou kunnen worden, is daar een mogelijke richtlijn voor.
Een andere variant van onbedoeld en ongewenst gedrag is dat bij gebrek aan goede bruikbare data een systeem wordt gerealiseerd dat simpelweg te weinig voorspellende kracht heeft. Zo werd in de Verenigde Staten een systeem toegepast om onderwijzers te beoordelen op grond van de verschillen van resultaten uit gestandaardiseerde toetsen van leerlingen tussen het begin en het eind van het studiejaar. De prestatieverschillen van individuele leerlingen hangt echter van veel meer zaken af dan alleen de kwaliteit van de leraar, en het aantal leerlingen per leraar blijkt te klein om hier goede conclusies uit te trekken: voor dezelfde leraar kan de score het ene jaar hoog en het andere jaar ineens weer laag kan zijn. Beslissingen nemen op grond van een dergelijke berekening is in essentie niet veel meer dan het hanteren van een dobbelsteen. AI-systemen zijn doorgaans complexer dan dit ‘puntensysteem’ maar niet ongevoelig voor hetzelfde onderliggende risico.
Tot slot kan een systeem in de dagelijkse praktijk ook anders worden gebruikt dan het bedoeld was. In Chicago is in 2013 een experiment (Strategic Subject List) gestart met als doel om op persoonsniveau te voorspellen welke inwoners komend jaar voor het eerst betrokken zouden kunnen raken bij een schietpartij, met als doel om de kans hierop via maatschappelijke hulp terug te dringen. Dit bleek veel discussie op te roepen omdat het zich richt op personen die vaak nog geen delict begaan hebben. Maar ook hier bleek de voorspellende waarde te laag om voldoende praktisch nut te hebben. Uiteindelijk werd de lijst gebruikt om bij schietpartijen met onbekende daders potentiële verdachten te vinden.
Zelfs een AI-systeem dat wel op de juiste manier wordt toegepast en in essentie goede beslissingen adviseert of neemt, zal pas ook echt vertrouwen krijgen (ook van de buitenwereld) wanneer de werking of de juistheid van het resultaat controleerbaar is.
Het controleren van de juiste werking van een AI-systeem kan op verschillende manieren, afhankelijk van de situatie. In de meest eenvoudige situatie is een ‘ground truth’ beschikbaar waarmee rechtstreeks gecheckt kan worden hoe vaak het systeem het bij het rechte eind heeft. Zo kan bij een systeem dat fraude moet opsporen redelijkerwijs worden bepaald of de cases die het vindt inderdaad allemaal fraudegevallen zijn en of de al bekende fraudegevallen ook allemaal gevonden worden.
In veel gevallen is die ‘ground truth’ niet of slechts beperkt beschikbaar. Systemen die criminaliteit voorspellen kunnen bijvoorbeeld niet altijd volledig gecontroleerd worden omdat niet alle criminaliteit zichtbaar is, bijvoorbeeld doordat geen aangifte wordt gedaan of omdat de interventies die met de uitkomsten van het systeem gedaan worden de oorspronkelijke voorspelling in de wielen rijden. Dan is nog wel controle mogelijk op het uiteindelijk resultaat: neemt de totale criminaliteit na toepassing van het systeem af? Maar of dat ook echt aan de toepassing van het AI-systeem toegeschreven kan worden of dat er ook andere factoren meespelen zal dan altijd een punt van discussie zijn.
Waar het lastig of onmogelijk is om de juistheid van voorspellingen van het AI-systeem aan te tonen is het mogelijk om op een ander mechanisme terug te vallen dat vertrouwen kan opleveren: transparantie. Door het openbaar maken van het gebruikte beslismodel kan iedereen dit model toetsen en eventueel tekortkomingen aanwijzen. Transparantie heeft helaas twee belangrijke nadelen. Ten eerste presteren AI-systemen die eenvoudige en daardoor goed uit te leggen modellen gebruiken meestal minder goed dan lastiger te doorgronden complexe systemen. Ten tweede is het zeker in het veiligheidsdomein niet altijd handig om transparant te zijn over gebruikte beslismodellen. Zo kunnen kwaadwillende partijen het model gaan bespelen om op die manier onder de radar te blijven.
Een laatste toevlucht kan dan zijn om een onafhankelijke partij aan te wijzen die de eerlijke werking van deze systemen controleert zonder de werking zelf openbaar te maken, zoals bijvoorbeeld de Commissie voor de Inlichtingen-en Veiligheidsdiensten (CIVD) toezicht uitoefent op de veiligheidsdiensten.
Uit het bovenstaande blijkt dat het construeren van een AI-systeem, dat altijd goede en ethisch verantwoorde beslissingen aandraagt of neemt, geen triviale zaak is. Bovendien is het aantonen dat dit het geval is ook nog eens lastig. Maar anderzijds: in de huidige situatie waar beslissingen door menselijke functionarissen genomen worden, is dat feitelijk ook niet in 100% van de gevallen het geval (zie bijvoorbeeld het bekende onderzoek ‘Extraneous factors in judicial decisions’3) Het aantoonbaar kunnen maken van de betrouwbaarheid van het beslisproces is dan feitelijk een stap vooruit.
Daarnaast is het zeker niet uitgesloten dat in de komende jaren de AI-systemen op steeds meer gebieden uiteindelijk boven het menselijke niveau zullen gaan presteren (‘superhuman performance’). Op dat moment ontstaat een heel andere business driver: het gaat dan niet meer alleen om een hogere efficiency maar om een echte verhoging van de kwaliteit en effectiviteit. Maar juist dan, als AI-systemen bepaalde zaken beter lijken te kunnen dan mensen, wordt het kunnen vertrouwen in die systemen belangrijker dan ooit. Dus daar kan je maar beter al vroeg op richten!