Van innovatie naar regulering: de impact van de AI-Verordening op financiële instellingen

24 januari 2025 11 minuten

Om de komst van AI kan niemand meer heen. Dit onderwerp staat bij de financiële toezichthouders dan ook hoog op de agenda. Zo blijkt uit de AFM Agenda van 2025 dat de AFM onder meer onderzoek gaat doen naar AI-gebruik bij verschillende marktpartijen en in de retailmarkten (zie ook ons nieuwsbericht over de AFM agenda).[1]

Dat AI een belangrijk onderwerp is voor toezichthouders is niet verassend, nu veel financiële instellingen AI inzetten bij hun dienstverlening. Denk bijvoorbeeld aan het gebruik daarvan in de communicatie met klanten (i.e. chatbots), bij identiteitsverificatie of bij kredietbeoordelingen. Om het toezicht en de regulering van AI te harmoniseren is op 13 juni 2024 het voorstel van de Europese Commissie gericht op geharmoniseerde regels betreffende artificiële intelligentie (AI-Verordening) aangenomen.

Vorig jaar stond mijn collega Mascha Advan al stil bij het gebruik van AI binnen de financiële sector met haar blog “De paradox van artificiële intelligentie en de betekenis ervan voor het toezicht”. Zij ging onder meer in op het rapport van de AFM en DNB “De impact van AI op de financiële sector en het toezicht” met uitgangs- en aandachtspunten voor het vormgeven van het toezicht op AI.

In deze blog zal de nadruk echter worden gelegd op de verplichtingen die volgen uit de AI-Verordening, voor zover deze verplichtingen relevant zijn voor financiële instellingen. Daarvoor zal eerst worden ingegaan op de scope van de AI-Verordening, gevolgd door de risicoklassen die worden toegekend aan verschillende AI-systemen. Vervolgens zal worden afgesloten met de relevante verplichtingen die volgen uit de AI-Verordening en de relevante to do’s.

Deze blog is daarmee een goede eerste intro voor financiële ondernemingen die zich in de AI-Verordening moeten gaan verdiepen. Voornamelijk voor kredietaanbieders en verzekeraars die levens- en ziektekostenverzekeringen aanbieden, is het belangrijk om op te letten of er aanvullende verplichtingen gaan gelden indien er gebruik wordt gemaakt van AI-systemen.

De scope van de AI-Verordening

De AI-Verordening is van toepassing op systemen die kwalificeren als “AI-systeem”. Dit is een op een machine gebaseerd systeem dat is ontworpen om met verschillende niveaus van autonomie te werken. Dit systeem kan zich aanpassen en op basis van input bepalen welke output nodig is om expliciete of impliciete doelstellingen te bereiken.

De AI-Verordening heeft een brede scope, waardoor financiële instellingen hier vaak onder zullen vallen.

De AI-Verordening ziet namelijk op:

aanbieders die AI-systemen in de EU in de handel brengen of in gebruik stellen, ongeacht waar de aanbieder gevestigd is.
gebruiksverantwoordelijken (i.e. degene die een AI-systeem onder eigen verantwoordelijkheid gebruikt) van AI-systemen die in de EU gevestigd zijn.
aanbieders en gebruiksverantwoordelijken van AI-systemen die in een derde land zijn gevestigd, indien de output van het AI-systeem in de EU wordt gebruikt.

Risicoklassen AI-systemen

Indien een financiële instelling binnen de scope van de AI-Verordening valt, is de risicoklasse van het AI-systeem dat wordt aangeboden of waar gebruik van wordt gemaakt van belang. Afhankelijk daarvan kan bepaald worden welke verplichtingen van toepassing zijn.

De AI-Verordening kent de volgende typen risicoklassen: 1) verboden AI-systemen, 2) hoog risico AI-systemen, 3) AI-systemen zonder hoog risico en 4) AI-modellen voor algemene doeleinden. AI-modellen voor algemene doeleinden zien onder meer op systemen zoals OpenAI (i.e. ChatGPT), waarvoor in de AI-Verordening verplichtingen voor aanbieders worden geïntroduceerd. In deze blog gaan we op deze groep verder niet in.

Verboden AI-systemen

Bepaalde AI-systemen worden als een onaanvaardbaar risico beschouwd en vanaf 2 februari 2025 is het daarom verboden om deze systemen aan te bieden of te gebruiken. Dit ziet onder meer op AI-systemen die:

subliminale, manipulatieve of misleidende technieken gebruiken die het gedrag van personen wezenlijk verstoren en hun vermogen om een geïnformeerd besluit te nemen merkbaar belemmeren. Hierdoor nemen personen een besluit dat zij anders niet hadden genomen, wat waarschijnlijk zal leiden tot aanzienlijke schade.
personen evalueren of classificeren op basis van hun sociale gedrag of persoonlijke kenmerken om een “sociale score” te creëren die leidt tot nadelige of ongunstige behandeling.
een risicobeoordeling maken van personen om strafbaar gedrag te voorspellen op basis van profilering of persoonlijkheidskenmerken.

Hoog risico AI-systemen

Daarnaast worden verschillende AI-systemen als hoog risico aangemerkt, onder meer de AI-systemen zoals opgenomen in Bijlage III bij de AI-Verordening (de Europese Commissie is bevoegd deze Bijlage III onder voorwaarden te wijzigen en uit te bereiden).

De volgende AI-systemen zijn voor financiële instellingen van belang:

AI-systemen waarbij gebruik wordt gemaakt van biometrie, namelijk 1) biometrische identificatie op afstand, 2) biometrische categorisering op basis van gevoelige of beschermde eigenschappen of kenmerken of op basis van wat uit die eigenschappen of kenmerken wordt afgeleid, of 3) die bedoeld zijn om te worden gebruikt voor emotieherkenning. Een belangrijke uitzondering voor financiële instellingen ziet op het gebruik van biometrische verificatie met als enig doel het bevestigen dat een persoon daadwerkelijk is wie hij of zij beweert te zijn.
AI-systemen die gebruikt worden voor het werven of selecteren van natuurlijke personen, met name voor het plaatsen van gerichte vacatures, het analyseren en filteren van sollicitaties en het beoordelen van kandidaten.
AI-systemen die bedoeld zijn om te worden gebruikt voor het nemen van besluiten die van invloed zijn op de voorwaarden van arbeidsgerelateerde betrekkingen, de bevordering of beëindiging van arbeidsgerelateerde contractuele betrekkingen, voor het toewijzen van taken op basis van individueel gedrag of persoonlijke eigenschappen of kenmerken of voor het monitoren en evalueren van prestaties en gedrag van personen in dergelijke betrekkingen.
AI-systemen die worden gebruikt voor het beoordelen van de kredietwaardigheid of het vaststellen van de kredietscore van natuurlijke personen, met uitzondering van AI-systemen die gebruikt worden om financiële fraude op te sporen.
AI-systemen die bedoeld zijn om te worden gebruikt voor risicobeoordeling en prijsstelling met betrekking tot natuurlijke personen in het geval van levens- en ziektekostenverzekeringen.

Indien een AI-systeem kwalificeert als hoog risico AI-systeem, maar geen significant risico op schade voor de gezondheid, veiligheid of de grondrechten van natuurlijke personen inhoudt dan is het mogelijk om niet als hoog risico AI-systeem te worden beschouwd.[2] Een aanbieder kan deze beoordeling geheel zelf uitvoeren, waarbij de beoordeling gedocumenteerd moet worden. Er hoeft bij deze beoordeling dus geen toezichthouder betrokken te worden.

AI-systemen zonder hoog risico

De restgroep ziet op AI-systemen die niet verboden zijn en geen hoog risico vormen. Deze AI-systemen worden in de AI-Verordening niet gedefinieerd.

Verplichtingen aanbieders en gebruiksverantwoordelijken

De meeste verplichtingen uit de AI-Verordening zien op de aanbieders en gebruiksverantwoordelijken van AI-systemen met een hoog risico. Indien het AI-systeem dat door een financiële instelling wordt aangeboden of wordt gebruikt geen hoog risico kent, zijn de verplichtingen in principe dus beperkt. De AI-Verordening kent echter ook een aantal algemene verplichtingen.

Algemene verplichtingen

Aanbieders en gebruiksverantwoordelijken van AI-systemen moeten zorgen voor een toereikend niveau van het zogenaamde begrip “AI-geletterdheid” bij hun personeel en andere personen die namens hen AI-systemen exploiteren en gebruiken.[3] AI-geletterdheid ziet op de vaardigheden, kennis en begrip die de betrokken personen in staat stellen geïnformeerd AI-systemen in te zetten en zich bewuster te worden van de kansen en risico’s van AI en de mogelijke schade die zij kan veroorzaken. De lat waaraan werknemers worden gemeten zal afhangen van het AI-systeem dat gebruikt wordt en de kennis van de werknemer zelf. Kortom: iedereen die met een AI-systeem werkt, dus ook financiële instellingen, zal dit geïnformeerd moeten kunnen inzetten. Deze verplichting geldt al vanaf 2 februari 2025.

Daarnaast bestaat er een aantal transparantieverplichtingen voor bepaalde AI-systemen. Zo moeten aanbieders ervoor zorgen dat het voor natuurlijke personen die directe interactie heeft met een AI-systeem (denk aan chatbots), daadwerkelijk weet dat er wordt gecommuniceerd via een AI-systeem.[4]

Hoog risico AI-systemen

Aan aanbieders van hoog risico AI-systemen worden de meeste verplichtingen opgelegd.[5] Denk hierbij aan vereisten omtrent risico- en kwaliteitsbeheer, datavereisten en toezicht op het AI-systeem. De belangrijkste verplichting ziet op een vorm van zelfregulering. Aanbieders moeten namelijk een zogenaamde conformiteitsbeoordeling uitvoeren en opstellen en daarnaast moet er een CE-markering op het AI-systeem worden aangebracht. Ook is vereist dat het AI-systeem wordt ingeschreven in de daarvoor bestemde Europese databank.

Maar ook voor financiële instellen die van deze systemen gebruik gaan maken als gebruiksverantwoordelijken gaan verplichtingen gelden.[6] Zo moeten maatregelen worden genomen zodat het AI-systeem wordt gebruikt in overeenstemming met de gebruiksaanwijzingen, moet het menselijk toezicht worden opgedragen aan personen die over de nodige bekwaamheid, opleiding en autoriteit beschikken en daarnaast is monitoring vereist. Voor bepaalde AI-systemen geldt daarbij de verplichting om een beoordeling uit te voeren omtrent de gevolgen voor grondrechten, voordat het systeem in gebruik wordt genomen.

Zowel aanbieders als gebruiksverantwoordelijken voldoen automatisch aan bepaalde vereisten, mits zij als financiële instelling onderworpen zijn aan vergelijkbare eisen op grond van het Unierecht en aan deze eisen voldoen.

AI-systemen zonder hoog risico

Voor aanbieders en gebruiksverantwoordelijken van AI-systemen zonder hoog risico bestaan er (naast de algemene verplichtingen) geen verplichtingen die direct volgen uit de AI-Verordening. Wel faciliteert het AI-bureau en de lidstaten de opstelling van gedragscodes door aanbieders en/of gebruiksverantwoordelijkheden.[7] De AFM en DNB hebben al aangegeven dat deze gedragscodes door financiële instellingen zelf of bracheorganisaties worden ontwikkeld, waarbij AFM en DNB zich ook aansluiten.[8] Uiteindelijk kunnen deze gedragscodes vrijwillig worden toegepast.

Wanneer en waarom relevant?

Op financiële instellingen die AI-systemen inzetten, gelden de bestaande vereisten en doelstellingen van het toezicht en de normen waaraan deze instellingen moeten voldoen onverkort. Met de AI-Verordening zal daarbij een aanvullend raamwerk van toepassing zijn.

De meeste verplichtingen die volgen uit de AI-Verordening zijn over minder dan twee jaar van toepassing, namelijk vanaf 2 augustus 2026. Enkele verplichtingen zijn op een ander moment van toepassing. Zo geldt de verplichting van AI-geletterdheid bij werknemers al bijna: vanaf 2 februari 2025.

To do

De AI-Verordening brengt nieuwe verplichtingen met zich mee, maar wat betekent dit nu echt voor een financiële instelling?

Daarvoor moet worden nagegaan of de financiële instelling een aanbieder of gebruiksverantwoordelijke is van een AI-systeem dat een verboden is of een hoog risico kent. Zet een financiële instellingen een verboden AI-systeem in, dan moet deze activiteit onmiddellijk gestaakt worden. De vraag is wel in hoeverre financiële instellingen hier nu überhaupt gebruik van maken, omdat deze systemen binnen het huidige kader over het algemeen ook niet toegestaan zijn. Denk hierbij aan de Algemene wet op gelijke behandeling, de Wet oneerlijke handelspraktijken of de vereisten die volgen uit de Wet op het financieel toezicht, zoals de verplichting informatie te verstrekken die correct, duidelijk en niet misleidend is.

Maakt de financiële instelling gebruik van AI-systemen waarbij gebruik wordt gemaakt van biometrie (zonder dat dit enkel gebruikt wordt ter verificatie van de identificatie van een persoon)?
Wordt AI gebruikt tijdens de werving van potentiële werknemers of tijdens de arbeidsrelatie?
Of zet een aanbieder van krediet of levens- en ziektekostenverzekeringen AI in tijdens de dienstverlening?

Dan is het wel belangrijk om na te gaan of een AI-systeem met een hoog risico wordt gebruikt. In dat geval is de boodschap: wacht niet met de voorbereiding op de verplichtingen die volgen uit de AI-Verordening.

Maar indien je als financiële instelling een AI-systemen zonder hoog risico aanbiedt of gebruikt, dan zijn de verplichtingen – voor nu – in ieder geval beperkt. De boodschap voor deze financiële instellingen is dan ook: zorg dat het personeel een toereikend niveau van AI-geletterdheid kent en ga na of de transparantieverplichtingen van toepassing zijn. Als financiële instelling kun je je verder vrijwillig aansluiten bij gedragscodes, die nu worden ontwikkeld, maar nu nog niet bestaan. Hoe vrijblijvend deze gedragscodes in de praktijk zullen zijn, zal de toekomst uiteraard wel nog moeten uitwijzen.

[1] AFM, ‘Agenda 2025’.

[2] Artikel 6 lid 3 AI-Verordening.

[3] Artikel 4 AI-Verordening

[4] Artikel 50 AI-Verordening.

[5] Zie onder meer artikel 16 AI-Verordening.

[6] Zie onder meer artikel 26 AI-Verordening.

[7] Artikel 95 AI-Verordening.

[8] AFM en DNB, ‘De impact van AI op de financiële sector en het toezicht’, p. 29