Discriminatie door een algoritme wordt door ontwerpers van algoritmes ‘bias’ genoemd. Maar bias betekent niets anders dan een systematisch verschil in representativiteit1. De verhouding tussen groepen (zoals man/vrouw, hoog/midden/laag of arm/rijk) is niet gelijk: niet elke groep vertegenwoordigt een even groot deel van het totaal.
In de praktijk komt het bijvoorbeeld zelden voor dat alle inwoners van een gemeente of alle respondenten van een enquête dezelfde man/vrouw verhouding hebben als landelijk of in de wereld. Ongelijke verhoudingen zijn dus onvermijdelijk in de echte wereld. Daarmee is bias (in de interpretatie van ‘ongelijkheid’) dus op zichzelf niet vreemd of discriminerend.
Zo is feitelijk te constateren dat veel vrouwen bevallen van een kind, maar discrimineert een vroedvrouw niet omdat ze in diens carrière alleen vrouwen bij hun bevalling geassisteerd heeft?
Ook kan feitelijk worden vastgesteld dat mannen over het algemeen geen (of in ieder geval: minder) jurken dragen. Niet te zeggen dat het niet zou kunnen, maar discrimineer ik wanneer ik als kledingadviseur volgens de laatste mode een man een outfit met een broek presenteer?
Ook al streeft een bedrijf naar de kwalitatief beste invulling van één van deze functies in de top 10 en heeft het bedrijf geen expliciete voorkeur voor een man, maar simpelweg de voorkeur voor de best verwachte kennis van de sector. Het kan zijn dat de man/vrouw-verhouding niet gelijk is onder de reacties op de sollicitaties. Dit betekent niet dat dit bedrijf met opzet discrimineert; vaak zijn het de onderliggende keuzes zoals het type studie en loopbaan waarin vrouwen mogelijk reeds ondervertegenwoordigd zijn.
Zo zijn er tal van voorbeelden waar we kunnen waarnemen dat de man/vrouw verhouding ongelijk is. Maar wanneer wordt deze ongelijkheid discriminatie? Wanneer tolereren we deze ‘discriminatie’ niet meer? Hoe gaan we hiermee om als organisatie? En hoe leren we een algoritme welke ongelijkheid wel kan en welke ongelijkheid ‘discriminatie’ is? Lees in mijn volgende insights het antwoord op deze vragen.
Neem contact op met onze expert Sabine Steenwinkel-den Daas.
Senior Consultant