Hoe test de overheid of algoritmes onbedoeld discrimineren? Het CPB bouwde er een tool voor
In dit artikel:
Het Centraal Planbureau (CPB) heeft een instrument ontwikkeld — de Selectiviteitsscan — waarmee overheden kunnen nagaan of hun algoritmes (onbedoeld) tot discriminatie leiden. Het planbureau pleit ervoor dat de Rijksoverheid de scan voor alle overheidsorganisaties beschikbaar maakt, zodat controles op ongerechtvaardigd onderscheid structureel kunnen plaatsvinden.
De aanleiding is de groeiende inzet van algoritmes door publieke instanties en het risico dat dergelijke systemen groepen benadelen zonder dat dat meteen zichtbaar is. Als voorbeeld wordt het fraudedetectie-algoritme van DUO genoemd: dat systeem selecteerde studenten voor nader onderzoek op basis van kenmerken als leeftijd, onderwijstype en woonsituatie, waarna onder de groep die voor de rechter kwam een zeer hoog aandeel mensen met een migratieachtergrond bleek. Van onderscheid maken is op zichzelf niet altijd discriminatie, maar als het niet te rechtvaardigen valt is het problematisch — in het DUO-geval leidde dat tot een compensatie van gedupeerde studenten.
Een belangrijke praktische hobbel bij het toetsen van algoritmes is privacywetgeving: organisaties mogen zo min mogelijk gevoelige persoonsgegevens verzamelen, waardoor ze vaak niet kunnen bepalen of hun selectie disproportioneel veel mensen met een bepaalde achtergrond raakt. De Selectiviteitsscan omzeilt dat dilemma door te werken met geanonimiseerde microdata van het CBS: ontwikkelaars delen alleen hun selectie (wie het algoritme aanwijst), het CBS vergelijkt die groep met de totale populatie en stuurt terug hoeveel procent van de geselecteerden bijvoorbeeld een migratieachtergrond heeft, zonder individuele data prijs te geven. Zo blijft privacy beschermd terwijl uitspraken over over- of onderrepresentatie mogelijk worden.
Het CPB testte de tool op een UWV-algoritme en concludeerde dat de methode werkt: ze biedt nieuwe inzichten en beperkt het risico op misbruik van persoonsgegevens. Tegelijk wijst het CPB erop dat het zelf waarschijnlijk niet de partij is die de scan moet onderhouden; het CBS zou als houder van de microdata de dienst kunnen aanbieden, maar daarover zijn nog geen afspraken. De komst van de Europese AI-wet (van kracht vanaf augustus volgend jaar) maakt dergelijke toetsen nog urgenter: die wet verplicht controles op discriminatie en willekeur bij AI-systemen. Volgens het CPB raakt het vraagstuk aan een klassiek economisch onderwerp: de spanning tussen efficiëntie van selectieprocessen en rechtvaardigheid.