SyRi, Amazon’s recruitment, profileren en de toeslagenaffaire. Voorbeelden van onethisch handelen op basis van algoritmes. Data en AI zijn hier de oplossing voor, niet het probleem.
Waarom gaan organisaties nog steeds zoveel de fout in?
SyRi, Amazon’s recruitment, profileren en de toeslagenaffaire. Voorbeelden van onethisch handelen op basis van algoritmes. Data en AI zijn hier de oplossing voor, niet het probleem.
Veel moderne schrijvers besteden aandacht aan de gevaren en gevolgen van bias in AI en data, zoals discriminatie en gebrek aan transparantie in beslissingen. Zo ook in deze editie van Trends in Veiligheid. Echter, hierbij wordt vaak over het hoofd gezien dat de problemen ouder zijn dan deze technologie, en dat AI en data ook een belangrijk deel van de oplossing vormen.
Moderne wetenschap gebruikt steeds meer data en statistiek om bias te detecteren en tegen te gaan. Dit wordt vaak kortzichtig behandeld. Bias is slecht, verwerpelijk en het mag niet. Algoritmes dienen eerlijk, volledig transparant en unbiased te zijn. Er wordt daarom binnen organisaties en wetgeving unbiased AI geëist. Zonder na te denken over hoe dat teweeg moet worden gebracht en nog belangrijker, of het überhaupt mogelijk is.
Ethisch verantwoord gebruik van data trekt veel aandacht. Organisaties als WikiLeaks en bewegingen als Black Lives Matter en LGBTQ pleiten voor groter bewustzijn rondom ethiek en gelijkheid. Binnen organisaties heersen veel vraagstukken over gelijkheid – denk aan recruitment, loonongelijkheid en onbedoeld etnisch profileren bij predictive policing. Juist hier ontstaan steeds meer vragen over AI en algoritmes, over eerlijkheid en bias. Echter, neemt AI deze vraagstukken mee in haar beslissingen? Dat bias een deel is van de mens wordt al snel geaccepteerd. Maar men verwerpt dat bias ook deel is van machines.
Er zijn twee soorten bias te onderscheiden. De eerste is wetenschappelijke bias. Dit is een bias voortkomend uit niet-representatieve data. Data zal in de meeste gevallen nooit helemaal representatief zijn. Dit betekent dat zelfs een ‘perfect’ model fouten kan maken omdat data nooit perfect is. De tweede soort bias is menselijke bias: onjuiste vooroordelen ten gunste van of ten nadele van iets of iemand. Het gaat in dit artikel om de tweede soort bias en hoe die deel uitmaakt van zowel mens als AI.
Het is belangrijk om te snappen dat een AI-model niet begrijpt wat bias is. Wat een mens wel of niet als bias opvat is afhankelijk van maatschappelijke normen en waarden. Een persoon niet aannemen vanwege een bepaalde werkervaring of huidskleur is voor een computer hetzelfde, terwijl een niet passende opleiding in onze samenleving een goede reden zou kunnen zijn om iemand niet aan te nemen maar een andere huidskleur niet. Machines hebben ook last van tunnelvisie, maar een ander soort dan een agent of belastingadviseur.
Om bias in beslissingen te voorkomen proberen we verschillen in keuzes niet af te laten hangen van bijvoorbeeld etniciteit of gender. Verschillende groepen moeten gelijk behandeld worden, in het streven naar minder ongelijkheden tussen mannen en vrouwen, of mensen van verschillende afkomst. Toch kan er indirecte discriminatie voorkomen, zoals:
De reden is niet dat deze zelflerende AI-systemen inherent discriminerend, racistisch of seksistisch zijn. Machine Learning algoritmes zijn namelijk ontzettend goed in twee dingen: leren van historische data en patronen vinden in data om keuzes op te baseren. Data verkregen uit keuzes die mensen hebben gemaakt zal de biases bevatten van deze mensen. Wanneer een AI wordt getraind op die data, zal de oplossing daarom ook onvermijdelijk bias bevatten. Een AI leert namelijk niet de beste keuzes te maken, een AI leert keuzes maken zoals die al zijn gemaakt. Het legt daarbij dus bias van mensen bloot.
Hier wordt een pijnpunt duidelijk: AI toont bias aan in menselijk handelen, maar dit is lastig om te accepteren. Het vereist namelijk dat we onze fouten, uitgedrukt in data, onder ogen zien, accepteren en naar handelen. AI wordt waarschijnlijk niet gebruikt met de intentie om iemand nadelig te behandelen, maar zonder een wakend oog en gericht beleid zullen bevooroordeelde besluiten worden genomen die achteraf volledig worden gewijd aan AI. Dit is natuurlijk kortzichtig en gevaarlijk.
Een voorbeeld hiervan zijn de gebeurtenissen rondom PredPol[4]. PredPol is software die in de Verenigde Staten wordt gebruikt om criminaliteit te voorspellen. Het politiedistrict dat PredPol gebruikt, krijgt gebieden te zien waar criminaliteit is voorspeld. De politieagenten gaan deze gebieden dan meer patrouilleren dan andere gebieden. In 2016 meldde een mediabedrijf dat PredPol onterecht vaker verwees naar achterstandswijken. Eind 2021 werd er een rapport gepubliceerd waarin werd aangetoond dat PredPol vooroordelen op basis van huidskleur in stand hield door het blijven verwijzen naar achterstandswijken. Hierdoor werd de (rijke en witte) middenklasse gespaard en achterstandswijken gedupeerd.
Nog een voorbeeld is bias in de vorm van onderrepresentatie. Dit komt vaak voor in gezichtsherkenningsalgoritmes. Datasets die gebruikt worden voor gezichtsherkenning bevatten voornamelijk westerse wite mensen. Andere etniciteiten zijn hierin ondergerepresenteerd. Gezichtsherkenning-algoritmes scoren hierdoor slechter op mensen van kleur. Dit kan zorgen voor error rates die tot 34% hoger zijn voor vrouwen van kleur dan witte mannen[5]. In een studie door het National Institute of Standards and Technology van 189 gezichtsherkenning algoritmes wordt beschreven dat misclassificaties van gekleurde en aziatische gezichten 10 tot 100 keer meer voorkomen dan van witte gezichten. Als de politie een dergelijk systeem gebruikt, kan door misclassificatie een agent geadviseerd worden de verkeerde persoon te arresteren.
De wens om af te komen van biases is logisch. Het probleem is dat veel organisaties en wetgeving een einddoel eist (unbiased AI) zonder de route er naartoe te bepalen – of zich af te vragen of dit überhaupt mogelijk is. Bias is afhankelijk van geschiedenis en de maatschappelijke norm van wat goed en slecht is. Het is de menselijke ethiek die bepaalt wat bias is – en die ethiek verandert over de tijd. Wanneer we eisen van AI dat deze unbiased is dan zijn we hier hard in. Volledig unbiased AI of anders geen AI. Er wordt een mate van onfeilbaarheid geëist die van een mens niet gevraagd zou worden.
Dit is een onproductieve houding richting AI én mensen. Van mensen wordt er geëist dat ze ethisch handelen, maar er wordt niet verwacht dat ze dit niet altijd zullen doen, want dat is onrealistisch. Eenzelfde houding is nodig richting AI. Onfeilbare systemen bestaan niet.
Het probleem kan opgelost worden door het doel aan te passen. Het huidige doel is om unbiased AI te creëren, maar hoe is dit mogelijk als hetgeen wat als bias wordt gezien verandert met de tijd. Het doel kan dus niet statisch zijn, maar moet juist dynamisch zijn. Het moet meegaan met de tijd. Een beter doel zou zijn om AI te creeëren die minder biased is dan de mens.
AI hoeft namelijk niet de beste te zijn, maar enkel beter dan de mens. De belangrijkste vraag is niet hoe goed of unbiased de machine is, maar hoe goed of unbiased de machine is in vergelijking met een mens? Vaak blijkt dat een mens, gewapend met data van de machine, betere en meer eerlijke conclusies kan trekken dan zonder. Zo kunnen mens en machine elkaar versterken.
De mens heeft geen algoritmes nodig om te discrimineren, maar data en algoritmes zijn wel nodig om discriminatie aan te tonen. Moderne psychologie, bedrijfskunde en sociale wetenschappen gebruiken veel empirische data om ongelijkheid en bias te onderzoeken. Sterker nog, de meeste AI-algoritmes van de afgelopen dertig jaar zijn juist ontwikkeld om causale effecten aan te tonen. Om effecten en invloeden te duiden, ongeacht heersende normen of waarden.
Veel dataprojecten leggen juist problemen bloot in recruitment en bias in primaire processen. Een deel van de reden dat zoveel data science projecten ‘falen’ is niet omdat modellen slecht zijn, maar omdat de uitkomsten niet geaccepteerd worden door de business. Dan blijkt er discriminatie plaats te vinden of vaart management de verkeerde koers. Algoritmes leggen deze bloot. Niet voor niets zijn er zoveel klokkenluiders tegenwoordig.
Om deze problemen voor te zijn moeten bedrijven meer data gedreven gaan werken. Inzetten op kennis en techniek, via algoritmes inzicht verkrijgen om te sturen en bedrijfsvoeren. Niet enkel KPI’s opstellen voor bestaande processen. Of een dataclub opzetten zonder deze zeggenschap te geven om processen te veranderen. Alleen door je medewerkers de kennis en middelen geeft om met data en statistiek om te gaan kan je je organisatie wapenen tegen de risico’s van data. Niet alleen onbedoelde discriminatie. Maar ook privacy en bestuur.
Een voorbeeld van hoe dit fout kan gaan, is de toeslagenaffaire. Hier hield de Belastingdienst lijsten met namen van ouders met dubbele nationaliteiten bij, omdat deze meer risico op fraude met zich mee zouden brengen. Een direct voorbeeld van profileren en biased handelen. De Belastingdienst had hier beter gebruik moeten maken van algoritmes om deze bias te detecteren en tegen te gaan, in plaats van blind te varen op een lijst en kritiek te negeren. Het gevolg was overtreding van de grondwet, duizenden mensen die onterecht in schulden zijn beland en hun huizen en gezinnen kwijtraakten. Dit had voorkomen kunnen worden.
Laat medewerkers niet blind vertrouwen op procedures of ‘black box’-algoritmes. Maar bewapen ze met de kennis om zelf betrouwbare datamodellen met duidelijke werking en invloeden te produceren. Je kan een algoritme dat je niet volledig begrijpt niet zonder toezicht gebruiken. Op dezelfde manier dat je een menselijk team waarin je de mensen niet kent niet zonder toezicht kan laten functioneren.
Binnen moderne AI heerst een paradox: We zijn bang voor de problemen die de oplossing veroorzaakt, maar we zijn ook bang dat de oplossing nieuwe problemen veroorzaakt. We stellen dat bias in AI ontstaat, omdat het leert van de bias in menselijk handelen om zo keuzes te kunnen maken. De mens heeft die bias namelijk, vaak onbewust, meegenomen in hun beslissingen. De manier waarop we kijken naar bias in AI is kortzichtig omdat er een onfeilbaar systeem wordt geëist. Onfeilbare systemen bestaan niet.
Het doel om unbiased AI te creëren is een onhaalbaar doel. Bias is een dynamisch principe en het doel dient dus even dynamisch te zijn: “Creëer AI die minder biased is dan de mens”.
Ook de rechtsstaat is niet onfeilbaar. In plaats van falen enkel te voorkomen – of dit nu mens of AI is – het systeem is robuust juist omdat het om kan gaan met falen, met fouten, met bias.
Data is cruciaal om te zien wat goed én fout gaat. Alleen een data gedreven organisatie kan de voordelen – en niet enkel de nadelen – van data ervaren. Organisaties moeten een wisselwerking creëren tussen mens en machine. Beide dienen elkaar te controleren en terecht te wijzen.
Een volledig unbiased mens bestaat niet en een volledig unbiased algoritme bestaat ook niet.
Beiden zijn nodig om elkaar te versterken.