Onderzoek
“Ik benadruk dat er geen sprake is geweest van discriminatie bij het gebruik van algoritmes in de gemeente Rotterdam”, zei wethouder Richard Moti in 2021 tegen de gemeenteraad. Maar het ‘risico-inschattingsmodel’ voor de opsporing van bijstandsfraude selecteerde wel degelijk een specifieke groep mensen voor de controle van de bijstandsuitkering, ontdekten Vers Beton, OPEN Rotterdam en Lighthouse Reports.
Beeld: Lucia Lenders
Dit artikel in het kort:
- Rotterdam liep als Europese stad voorop met het gebruik van een algoritme bij de opsporing van bijstandsfraude.
- In 2021 kreeg Lighthouse Reports inzage in het ‘risico-inschattingsmodel’ waarmee de gemeente Rotterdam van 2018 tot 2021 mensen selecteerde voor een ‘heronderzoek bijstandsuitkering’.
- Per abuis kregen we de data mee waarmee het algoritme in 2020 getraind werd, waardoor we konden achterhalen van welke patronen het model leerde.
- We ontdekten dat er verschillende problemen zijn met het algoritme. Zo leerde het model generalisaties te maken op basis van een beperkt aantal personen in de data, werden er subjectieve variabelen (uiterlijke verzorging) en proxy-variabelen (taal) gebruikt, en werd de uiteindelijke selectie gemaakt op basis van een slecht presterende rekenmethode.
- De kans op een uitnodiging voor een heronderzoek steeg het meest als de bijstandsgerechtigde vrouw, alleenstaand, jong en moeder was en niet goed Nederlands sprak.
- In de EU is discussie of dit soort ‘hoog-risico algoritmes’ in het algeheel verboden moeten worden vanwege de schade die ze kunnen aanrichten.
- De Rotterdamse werkwijze tastte de rechtszekerheid van financieel afhankelijke inwoners aan omdat zij niet konden controleren wat de reden was voor een heronderzoek.
- De gemeente erkent dat het algoritme “nooit 100 procent vrij kon blijven van vooringenomenheid of de schijn daarvan” en noemt dit een onwenselijke situatie. In 2021 stopte ze met het risico-inschattingsmodel.
Nog geen reactie — begin de discussie!