Bias in AI uitgelegd (deel 3): Hoe beperk ik de impact van bias?

Om de impact van bias te kunnen mitigeren is het belangrijk om altijd eerst te weten wat de bias in de data is en wat de versterkingsfactor van het algoritme is. Bijvoorbeeld door de verschillende soorten bias te meten als integraal onderdeel van kwaliteitscontroles tijdens de algoritmeontwikkeling. 

Heeft het algoritme gezorgd dat er meer bias is ontstaan dan gewenst? Eerder hebben we gekeken naar de sollicatieprocedure van het bedrijf ABC Engineering. Een fictieve onderneming in een 'mannenwereld' (95%). De suggestie van het algoritme in de selectieprocedure van ABC Engineering om voor 1 op de 10 vacatures vrouwen aan te nemen duidt enerzijds op (positieve) discriminatie ten op zichte van deze populatie, waar anderzijds sprake is van bias in de data zelf. Is werken met uitkomsten van dit algoritme is enkel gewenst wanneer kwalitatief vast te stellen is dat het hier gaat om kandidaten die betere of meer passende kwalificaties, ervaring en competenties hebben voor het vervullen van deze vacature? Wanneer de algoritmebias ongewenst is, moet je terug naar de tekentafel: de input.

Hieronder geef ik zes concrete acties waarmee je vandaag nog kunt starten om de input te verbeteren aan de hand van het algoritme van ABC Engineering. Uiteraard is dit niet alles wat je kunt ondernemen en is het verstandig om de acties die je hebt genomen vast te leggen en periodiek te beoordelen.

1. Zorg dat de variabele van ongewenst onderscheid niet direct meegenomen wordt door het algoritme. Om discriminatie bij het bepalen van geschiktheid van kandidaten op basis van geslacht te beperken, moet het algoritme geen direct onderscheid kunnen maken op deze variabele. Soortgelijke variabelen horen niet thuis in de input van AI-systemen.  
   
2. Vertaal de gegevens op zo’n manier dat de focus ligt op gedragselementen. Dit kan door bijvoorbeeld de behaalde certificaten, motivatie of nevenactiviteiten als input te gebruiken.
   
   Weliswaar zijn de gedragingen ook anders tussen mannen en vrouwen, maar met deze vertaling zullen mannen die zich meer gedragen als ‘vrouw’ en vrouwen die zich meer gedragen als ‘man’ door jouw algoritme in ieder geval hetzelfde beoordeeld worden op geschiktheid.
   
3. Maak een zo compleet mogelijk beeld met de data om confirmation bias te beperken. Vermijd hierbij het gebruik van zogeheten confounding variabelen. Dit zijn variabelen die gecorreleerd zijn met de uitkomst van jouw algoritme, maar die geen causaal verband hebben met deze uitkomst. Bijvoorbeeld: het aantal verkochte ijsjes per dag op het strand houdt indirect verband met het aantal verkochte kaartjes voor het zwembad. Neem niet het aantal ijsjes mee om het aantal verkochte kaartjes voor het zwembad te voorspellen, maar ga voor de directe factor: het weer.
   
   De recruiter bij ABC Engineering geeft aan nooit te kijken naar nevenactiviteiten om te bepalen of een kandidaat relevante competenties heeft voor de functie. Vooral omdat het het meest effectief is gebleken om alleen gesprekken te plannen met kandidaten met de juiste studieachtergrond en/of soort gelijke werkervaring. Door bijvoorbeeld informatie over de nevenactiviteiten van de kandidaten wel mee te nemen, geven de algoritmeontwikkelaars het algoritme de kans op basis van een vollediger beeld van gedragselementen kandidaten aan te bevelen.
   
   Een tip: verzand hierbij niet te veel in de details. Zo kunnen mijn aangeschafte boodschappen van het afgelopen jaar inzicht geven in wat mijn voorkeuren zijn, maar – zelfs als dit is toegestaan - moet dit echt een rol spelen in het selectiealgoritme van ABC Engineering?
   
4. Verken willekeurig observaties die niet uit het algoritme naar voren komen om verdere confirmation bias - en dus tunnelvisie - zoveel mogelijk te voorkomen. Naast het selectiealgoritme kan ABC Engineering ervoor kiezen om periodiek ook kandidaten te beoordelen met een lagere matchingsscore en hiervan ook een aantal kandidaten uit te nodigen voor een selectiegesprek.
   
5. Maak de benodigde keuzes voor het mitigeren van bias altijd bespreekbaar in jouw organisatie en zorg dat deze gedocumenteerd zijn. Door de keuzes te documenteren, heb je de kans om gemaakte keuzes tegen het licht te blijven houden en tijdig bij te sturen bij voortschrijdend inzicht.
   
6. Neem het initiatief om de bias in jouw populatie – bias in de data - te verminderen. ABC Engineering heeft gekozen voor het algoritme dat niet intrinsiek discrimineert. Daarnaast kan de organisatie ook een rol spelen om in de toekomst de oververtegenwoordiging van mannen onder sollicitanten te verlagen, bijvoorbeeld door jonge vrouwen te motiveren ook voor de benodigde opleidingspapieren te gaan en zij-instroom te stimuleren. En wat dacht je van onderwijsinstellingen die hun selectiealgoritme niet inzetten om te bepalen wie ze selecteren, maar om manieren te vinden om jongeren te ondersteunen hun kans op het behalen van een diploma te verhogen en jongeren selecteren op basis van de hoogste – daadwerkelijke - potentie?

Zijn deze 6 acties genoeg om verantwoord gebruik te maken van algoritmen? Welke bias is acceptabel? Je leest er meer over in de volgende insight.