Doorbraak in regulering van Artificiële Intelligentie: de AI Verordening

Met de komst van de AI Act worden burgers en bedrijven in de EU beter beschermd tegen onverantwoord gebruik van AI. Potentiële risico’s die gepaard gaan met het gebruik van AI-systemen worden zoveel mogelijk gemitigeerd, bijvoorbeeld door eisen te stellen aan risicovolle toepassingen en basisafspraken te maken over de werking hiervan. Transparantie over de wijze waarop en met welke techniek AI-systemen tot stand zijn gekomen en hoe deze worden gebruikt speelt daarbij een belangrijke rol. Met de komst van een Europees register voor hoog risico AI-systemen wordt hier ook ruchtbaarheid aan gegeven. Tegelijk biedt de AI Act ook ruimte om de mogelijkheden van AI zoveel mogelijk te benutten, bijvoorbeeld in de vorm van een gereguleerde sandbox voor innovatieve AI. Hiermee wordt geprobeerd om zowel de economische kansen van AI te benutten als de publieke waarden zoveel mogelijk te waarborgen. De verantwoorde ontwikkeling van AI krijgt hierdoor een belangrijke impuls.

De AI Act gaat uit van een risicogebaseerde aanpak. Dit houdt in dat afhankelijk van het domein waar deze ingezet wordt, een bepaalde risicocategorie en daarbij behorende set aan regels gelden. In totaal kent de verordening drie risiconiveaus: onacceptabel, hoog en laag. Het uitgangspunt hierbij is dat hoe groter het risico, des te strenger de regels zijn die hiervoor gelden.

Voor het risiconiveau ‘onacceptabel’ (onwenselijke AI-toepassingen) geldt dat deze verboden zijn. Hierbij kan gedacht worden aan AI-systemen die gebruikt worden voor social scoring. Dit zijn gevallen waarin een score verbonden wordt aan individuen gebaseerd op sociaal gedrag, socio-economische status of persoonlijke kenmerken. Het verbod geldt ook voor systemen die gebruik maken van gegevens die hierop lijken (zogeheten proxies).

De verordening richt zich met name op ‘hoog risico’-AI-systemen. Dat zijn toepassingen die worden ingezet in het domein van bijvoorbeeld kritieke infrastructuur, opleidingen en trainingen en toegang tot het onderwijs. 

Voor dergelijke 'hoog risico'-AI-systemen verplicht de AI Act onder meer tot het:

• Inrichten van een risico- en kwaliteitsmanagementsysteem (bijvoorbeeld ISO42001);
• Uitvoeren van een impact assessment op mensenrechten (bijvoorbeeld IAMA);
• Registreren in een Europees (algoritme)register en eigen administratie;
• Zorgdragen voor een goede data governance;
• Opstellen van technische documentatie;
• Implementeren van loggingsmogelijkheden en bewaartermijnen;
• Zorgdragen voor voldoende transparantie;
• Inrichten van 'human oversight';
• Treffen van beveiligingsmaatregelen;
• Uitvoeren van een conformiteitsbeoordeling.

Daarnaast wordt in de AI Act specifiek aandacht gegeven aan General Purpose AI-Systemen en Foundation-modellen. Aanbieders van chatbots, deepfake technieken of generatieve AI-systemen zoals het populaire ChatGPT moeten er onder andere voor zorgen dat het voor gebruikers duidelijk is waar generieke AI-systemen voor bedoeld zijn en waarvoor deze (beter) niet ingezet kunnen worden. Daarnaast geldt dat het voor eindgebruikers duidelijk moet zijn dat zij met AI communiceren of dat bepaalde content AI-gegenereerd is.

Voor AI-systemen die kwalificeren als risiconiveau laag gelden geen extra verplichtingen. Het is echter wel verplicht om bij het gebruik van dergelijke systemen verslaglegging bij te houden van de risicobeoordeling. Dit verslag bevat dan ten minste een afweging en toelichting over de vraag waarom een AI-systeem wel of geen ‘hoog risico'-systeem is. Verder geldt dat men verplicht is om transparant te zijn over de content die gegenereerd is door een AI-systeem.

De potentiële impact van deze verordening op organisaties in zowel de publieke als private sector is groot. Zo valt in de definitieve tekst onder meer te lezen dat AI-systemen die (semi-)publieke organisaties gebruiken bij het toekennen van bepaalde voor- of nadelen aan burgers als hoog risico classificeren. Dit betekent dat het veel van de AI-systemen die in gebruik zijn in de publieke sector als hoog risico gekwalificeerd zullen worden. Ook AI-systemen die worden gebruikt bij bijvoorbeeld opsporing vallen in deze categorie.

Op het moment dat je als organisatie door deze wetgeving geraakt wordt is het belangrijk om zicht te hebben op de AI-systemen die in gebruik zijn en welke risico’s en verplichtingen hiermee gepaard gaan. Wil je goed voorbereid zijn op de komst van de AI act, dan zijn er op dit moment zeker drie stappen die je nu al kunt zetten.

Start met het in kaart brengen welke algoritmen en AI-systemen er in jouw organisatie gebruikt worden. Verzamel vervolgens de benodigde informatie over deze algoritmen en stel vast wat het bijbehorende risiconiveau is (onacceptabel, hoog of laag). Relevante informatie die daarbij vastgelegd is kun je dan in het kader van transparant gebruik van AI publiceren het eigen of landelijke algoritmeregister.

Na het inventariseren van AI-systemen en algoritmen is de volgende stap om afspraken te maken over het (door)ontwikkelen en het inkopen van AI. Leg deze afspraken vervolgens vast in een werkwijze en maak deze onderdeel van je algoritme governance. Hierbij kan aansluiting gezocht worden bij bestaande structuren zoals voor IT, data, privacy en/of informatiebeveiliging.

Tot slot kun je naast het inventariseren en maken van goede afspraken een start maken met de inrichting van een AI-managementsysteem. Om de risico’s van het gebruik van AI-systemen zoveel mogelijk te beheersen en de kwaliteit hiervan te bewaken kan aansluiting gezocht worden bij internationale standaarden zoals de ISO-normen. Een voorbeeld hiervan is de ISO/IEC 42001-norm, die ervoor moet zorgen dat AI-systemen op een verantwoorde manier ontwikkeld en gebruikt worden.

De AI Act treedt in het tweede kwartaal van 2024 in werking, 20 dagen na de definitieve publicatie. Het verbod op onacceptabele AI gaat zes maanden daarna in. Voor general purpose AI en hoog risico AI-toepassingen gaat een overgangstermijn van één jaar gelden. Voor zowel nieuwe systemen als bij wijzigingen aan huidige AI-systemen gelden de bepalingen vanaf 2026. Voor overige gereguleerde systemen zullen vanaf 2027 moeten voldoen aan de vereisten uit de AI Act. 

Organisaties doen er goed om tijdig te starten met de benodigde voorbereidingen. Een goed vertrekpunt hiervoor is het in kaart te brengen van (vormen van) AI-systemen en algoritmes die reeds in gebruik zijn of momenteel ontwikkeld worden. Het ligt voor de hand om hier dan vervolgens duidelijke beheer- en managementafspraken over te maken en hiervoor een AI-managementsysteem in te richten.