Auteur: Lukas Graff
De dood van George Floyd in Minneapolis vormde vorig jaar het startschot voor wereldwijde protesten. Niet eens zozeer omdat er een man was omgekomen door buitensporig politiegeweld, maar vooral omdat het een zwarte man was. Dit incident bevestigde voor veel mensen een probleem dat ze al langer zagen: de aanwezigheid van racisme binnen de politie.
Een machine die werkt op basis van data en berekeningen, kan toch nooit racistisch zijn?
De laatste jaren zijn computers een steeds grotere rol gaan spelen bij de politie. Ze worden niet alleen gebruikt om informatie op te slaan of te doorzoeken en om te communiceren, maar spelen een steeds actievere rol in het beoordelen van informatie. Je zou kunnen denken dat deze ontwikkeling het racisme binnen de politie kan verminderen. Een machine die werkt op basis van data en berekeningen, kan toch nooit racistisch zijn? Dus moeten we dan juichen bij het voornemen van de Nederlandse politie om meer artificiële intelligentie (AI) te gaan inzetten? Dat is helaas te kort door de bocht. Als je niet uitkijkt, sluipen menselijke vooroordelen namelijk zo de computer in. Zo waarschuwde het VN comité ter uitbanning van racistische discriminatie (CERD) recentelijk dat de inzet van AI-algoritmen door de politie racisme en xenofobie zelfs kan verergeren.
De AI die hier bedoeld wordt, werkt vaak op basis van machine learning. Dat is een verzamelnaam voor technieken waarmee een computer zelf leert om een taak uit te voeren. Dat kan problemen opleveren. Net zoals dat bij mensen het geval is. Stel je een jonge agent voor die het vak leert door met een racistische agent op patrouille te gaan. Bovendien is deze agent opgevoed met racistische denkbeelden. Zo meester, zo leerling, dus naar alle waarschijnlijkheid zal ze zelf ook racistisch gaan handelen.
Hetzelfde gevaar dreigt bij zelflerende AI. Stel, je leert een algoritme op basis van foto’s beslissen wanneer een auto gestopt moet worden om vervoersbewijzen te controleren. Dit leert het algoritme op basis van wat agenten in het verleden besloten hebben. Dan neemt dit algoritme hoogstwaarschijnlijk het racisme van zijn leermeesters over: auto’s met gekleurde bestuurders worden vaker gecontroleerd.
Moreel kompas
Om de inzet van AI te onderzoeken werkt de Nederlandse politie samen met de Universiteit Utrecht en de Universiteit van Amsterdam. In de projecten die hieruit tot nu toe zijn voortgekomen, wordt AI vooral ingezet voor het efficiënt afhandelen van taken die mensen veel tijd zouden kosten. Denk hierbij aan het voorsorteren van aangiftes of het herkennen of automobilisten iets in de hand hebben tijdens het rijden. Maar ook taken die emotioneel zwaar zijn, zoals het identificeren van kinderen in pornografisch materiaal, worden uitbesteed aan de computer.
Hoe zorg je ervoor dat de inzet van AI door de politie ethisch en eerlijk gebeurt? ‘De basismanier waarop we dat doen, is vooral ons eigen morele kompas’, vertelt Floris Bex telefonisch. Bex is wetenschappelijk directeur van het Nationaal Politielab AI aan de Universiteit Utrecht, dat samen met de politie de inzet van AI onderzoekt. ‘We doen ook niks dat automatisch beslissingen neemt over mensen’, voegt hij eraan toe. Bovendien werkt het Nationaal Politielab nauw samen met juridische en sociaal-wetenschappelijke onderzoekers. Die kijken naar de legitimiteit en transparantie van hun AI. Ook maatschappelijk draagvlak speelt een rol. Politiek gevoelige manieren om AI in te zetten worden vaak vermeden.
Een voorbeeld van controversieel gebruik van AI door de politie is predictive policing. Hierbij wordt AI gebruikt om te voorspellen in welke gebieden het risico op misdaad groot is. Hier kan dan meer politie heen gestuurd worden. Ook de Nederlandse politie werkt momenteel met een interactieve kaart die het land in vierkantjes verdeelt en voor ieder vierkantje het risico op criminaliteit berekent.
Bovendien kan een algoritme (afhankelijk van het ontwerp) leren om factoren als etniciteit van inwoners gebruiken om criminaliteit te voorspellen.
Een angst bij dit soort systemen is dat ze kunnen bijdragen aan een neerwaartse spiraal: in een wijk met veel criminaliteit komt meer politie terecht, wat kan leiden tot meer vijandigheid tegenover de politie. Dat kan weer leiden tot meer misdaad, wat weer voor meer politie zorgt. Bovendien kan een algoritme (afhankelijk van het ontwerp) leren om factoren als etniciteit van inwoners gebruiken om criminaliteit te voorspellen. Volgens Bex is predictive policing ‘niet heel spannend’, maar vanwege het negatieve sentiment in de samenleving gaat het Nationaal Politielab AI er voorzichtig mee om.
AI die uitleg geeft
‘Alles wat we doen, kunnen we ook heel goed uitleggen’, verzekert Bex. Hoe en waarom AI in projecten van het Nationaal Politielab AI wordt ingezet is volgens hem volledig te verantwoorden. Eventuele vooroordelen zijn aan te wijzen. Bovendien is deze informatie openbaar toegankelijk.
'Alles wat we doen, kunnen we ook heel goed uitleggen’
Het verantwoorden van wat AI doet is in de praktijk echter niet eenvoudig. De meest gebruikte en veelal meest effectieve vormen van machine learning hebben namelijk een groot probleem: de redenen waarom een getraind algoritme beslissingen maakt, zijn niet zomaar te achterhalen. Je kan de meeste gezichtsherkenningssoftware bijvoorbeeld niet vragen waarom je gezicht wel of niet herkend wordt.
Door het gebrek aan uitleg kunnen vooroordelen verborgen blijven. Dit is vergelijkbaar met de bekende voorbeelden van etnisch profileren bij de politie. Vaak houdt een agent niet bewust auto’s staande omdat de bestuurder gekleurd is, maar berust dit op impliciete vooroordelen. De agent kan dus niet (waarheidsgetrouw) uitleggen waarom ze besloten heeft de auto stil te houden. Hetzelfde geldt voor de AI, maar waar mensen zich bewust kunnen worden van hun impliciete vooroordelen, gebeurt dit bij AI niet zomaar.
Toch is het wellicht ook mogelijk om impliciete vooroordelen bij AI de kop in te drukken. De eerste stap is dan wel dat de AI of diens ontwerpers de keuzes en adviezen van de AI kunnen uitleggen. Een optie is om geen machine learning te gebruiken. Of in ieder geval niet overal. Bex: ‘Als het niet met machine learning hoeft, waarom zouden we dat dan doen?’
‘Als het niet met machine learning hoeft, waarom zouden we dat dan doen?’
Zo werkte hij mee aan een project waarin AI wordt ingezet om potentieel malafide webshops op te sporen. In plaats van de computer helemaal zelf te laten leren waar deze op moest letten, bleek het veel nuttiger om hier als ontwerpers regels voor op te stellen. Mensen bepalen dus dat de computer op zoek gaat naar relevante informatie zoals een registratienummer bij de Kamer van Koophandel (KvK) of webshopcertificaten. Het voordeel hiervan is dat het redelijk transparant is. Als de AI een website als mogelijk malafide beoordeelt omdat het KvK-nummer niet klopt, kan die informatie doorgegeven worden aan een agent. De reden van dit oordeel is dan meteen duidelijk.
Maar bij veel andere toepassingen van AI biedt deze oplossing geen uitkomst. Het is bijvoorbeeld onmogelijk om handmatig in regels of computercode te vatten wanneer iets kinderporno is, omdat ieder filmpje er totaal anders uitziet. Maar wanneer je een AI dit zelf laat leren, krijg je verrassend correcte resultaten. Dan moet je wel weer gebruik maken van machine learning en wordt je systeem dus veel minder transparant. Toch wordt er de laatste tijd steeds meer onderzoek gedaan naar vormen van machine learning die wel uitleg kunnen geven over keuzes. Ook het Nationaal Politielab AI doet hier onderzoek naar.
Blijven evalueren
Zowel het antiracismecomité van de VN, als Bex benadrukken het belang van transparantie. Informatie over manieren waarop de politie AI gebruikt moeten volledig openbaar beschikbaar zijn, inclusief uitleg over de werking en de manieren waarop mensenrechten gewaarborgd worden. Dat is ook waar de Nederlandse politie naar streeft. Bovendien beaamt Bex ook dat het verantwoord inzetten van AI niet ophoudt bij een goed ontwerp, maar constante evaluatie vereist.
AI wordt binnen de politie vaak ingezet om efficiëntie te vergroten, maar willen we een hyperefficiënte politie?
Uiteindelijk denkt Bex zelfs dat goed ontworpen machine learning neutraler kan zijn dan mensen, die immers ook vooroordelen hebben. Maar hij voorziet wel een ander probleem: AI wordt binnen de politie vaak ingezet om efficiëntie te vergroten, maar willen we een hyperefficiënte politie? ‘Dat is een discussie die je als maatschappij moet voeren’, zegt hij. Door volledig te focussen op efficiëntie, kan de ordehandhaving namelijk andere belangrijke waarden, zoals proportionaliteit uit het oog verliezen. Het is de vraag of elke kleine misstap direct bestraft moet worden. Bex verwijst naar het sociale kredietsysteem dat momenteel in China wordt uitgerold. Hierbij wordt AI bijvoorbeeld in combinatie met bewakingscamera’s ingezet om gezichten van burgers die mistappen begaan te herkennen. Zo kan elke kleine misstap, zoals naast de stoep lopen bestraft worden. Dat is voor Bex een dystopisch scenario waar we bij weg moeten blijven.