De paradox van artificiële intelligentie en de betekenis ervan voor het toezicht

In het steeds evoluerende technologische landschap duiken vaak ontwikkelingen op die onze conventionele ideeën in twijfel trekken en ons begrip van vooruitgang hervormen. Onder de talloze ontwikkelingen valt kunstmatige of artificiële intelligentie (“AI”) op als zowel een baken van innovatie als een bron van onzekerheid door de inherente beperkingen ervan. Ook de financiële sector loopt tegen dit paradoxale karakter van AI aan. Of het nou ziet op de interne bedrijfsvoering of op het aanbieden van producten of diensten, de complexiteit van het integreren van AI in activiteiten is een uitdaging voor zowel marktdeelnemers als voor toezichthouders. Tegen deze achtergrond hebben de AFM en DNB vorige maand het rapport ‘De impact van AI op de financiële sector en het toezicht’ gepubliceerd met uitgangs- en aandachtspunten voor het vormgeven van het toezicht op AI.[1] Hiermee willen zij graag een dialoog aangaan met de sector.

Het gebruik van AI door financiële instellingen

Uit het rapport volgt dat financiële instellingen al langere tijd AI gebruiken voor allerlei toepassingen, waaronder fraudepreventie en -detectie, het tegengaan van witwassen en terrorismefinanciering, kredietbeoordelingen en identiteitsverificatie. Ook experimenteren financiële instellingen steeds meer met wat de toezichthouders ‘geavanceerde AI-modellen’ noemen. Enkele partijen gaan zelfs verder en zetten generatieve AI (AI waarbij nieuwe inhoud kan worden gecreëerd) in voor ondersteunende processen. Het gebruik van AI zal in de financiële sector de komende jaren waarschijnlijk alleen maar verder toenemen.

Een en al rozengeur en maneschijn is het niet. Zoals gezegd, de paradox van AI ligt in de opmerkelijke capaciteiten ervan, in contrast met de inherente beperkingen. In het rapport waarschuwen toezichthouders de markt. Ondanks de substantiële kansen brengt AI ook risico’s met zich mee die onder meer tot uitdrukking komen op het gebied van datakwaliteit, transparantie, incorrecte resultaten, discriminatie en een hogere mate van afhankelijkheid van enkele grote partijen. Aangezien deze risico’s een impact kunnen hebben op financiële instellingen en klanten, vallen deze risico’s binnen het toezichtdomein van de AFM en DNB.

Toezicht op AI

Het inzetten van AI door financiële instellingen brengt in principe geen verschil mee voor wat betreft het naleven van bestaande regelgeving, nu deze ook onverkort geldt als AI wordt toegepast. De doelstellingen van het toezicht en de normen waaraan instellingen moeten voldoen zijn onafhankelijk van de gehanteerde technologie (‘technologie-neutraal’). Het gebruik van AI in dit kader maakt onderdeel uit van bestaande processen en dienstverlening waar de AFM en DNB toezicht op houden op grond van geldende financiële wet- en regelgeving. Een tekenend voorbeeld hiervan uit de praktijk is de uitspraak van het College van Beroep voor het bedrijfsleven (het “CBb”) van 18 oktober 2022. Hierin heeft het CBb geoordeeld dat DNB niet heeft kunnen aantonen dat de door een bank gehanteerde manier van screenen – wat gebaseerd was op kunstmatige intelligentie – strijdig zou zijn met de wet. In dit geval kende de wet open normen en was niet exact voorgeschreven op welke wijze banken hun klanten moeten screenen.[2] Van belang is dat gehanteerde methode van screenen daadwerkelijk bijdraagt aan de doelstellingen van de desbetreffende wet.

Alhoewel het wettelijk kader niet anders is bij het gebruik van AI, heeft het wel gevolgen voor de wijze waarop financiële instellingen wettelijke bepalingen uit hoofde van de Wet op het financieel toezicht (“Wft”) nader inkleuren. Denk bijvoorbeeld aan de verplichting om zorg te dragen voor een beheerste en integere bedrijfsuitoefening en de uitbestedingsregels. Op grond van deze verplichtingen moeten financiële ondernemingen (onder meer) tegengaan dat wetsovertredingen worden begaan of maatschappelijke normen worden overschreden, waardoor het vertrouwen in de financiële onderneming of in de financiële markten kan worden geschaad. Dit vereist bij het inzetten van AI het inrichten van een adequaat risicomanagement systeem dat ook de risico’s van het gebruik van AI omvat. Hetzelfde geldt voor normen ten behoeve van het klantbelang, zoals de zorgplicht en normen ter voorkoming van overkreditering. Adequaat risicomanagement en klantbelang bieden aangrijpingspunten om het toezicht op AI vorm te geven.

Hoe het risicomanagement moet worden ingevuld hangt af van de aard van de desbetreffende onderneming. Europese sectorale wetgeving geven doorgaans in algemene zin een nadere invulling hieraan. Bijvoorbeeld de regels voor beleggingsondernemingen uit hoofde van MiFID II. In dit kader heeft de European Securities and Markets Authority (“ESMA”) een statement uitgebracht met guidance ten aanzien van het gebruik van AI bij het verlenen van beleggingsdiensten.[3] Ook de ESMA verwacht dat bedrijven bij het gebruik van AI voldoen aan de relevante MiFID II-vereisten, vooral als het gaat om organisatorische aspecten, bedrijfsvoering en de wettelijke verplichting om in het beste belang van de klant te handelen.

Aangenomen kan worden dat wanneer AI wordt gebruikt, de risico’s die daarmee gepaard gaan binnen ditzelfde kader adequaat dienen te worden beheerst door de instelling, net zoals dat voor ieder ander risico geldt.

De Al-verordening

Met de komst  van een compleet nieuw Europees juridisch raamwerk in de vorm van de Artificiële Intelligentie verordening (de “AI-verordening”) wordt het belang van dit onderwerp benadrukt.[4] Op 21 mei jl. is de AI-verordening door de Europese Raad aangenomen en zal halverwege juni 2024 inwerkingtreden.[5] De AI-verordening heeft een cross-sectoraal karakter en beoogt door middel van duidelijke verplichtingen aan iedereen die AI ontwikkelt, op de markt brengt of inzet (waaronder producenten, importeurs en gebruikers) handvatten te bieden om de risico’s van AI aan te pakken. De verordening kent een risico gebaseerde aanpak, waarbij de toepasselijkheid ervan is gebaseerd op de definitie van AI en het onderscheid tussen “onaanvaardbare risico’s”, “hoge risico’s” en “lage of minimale risico’s”.

De AI-verordening vormt een aanvulling op de bestaande sectorale wetgeving en moet in haar toepassing zoveel mogelijk hierbij aansluiten. Voor zover AI wordt ingezet voor financiële dienstverlening, zullen de AFM en DNB daarom ook het toezicht op de regels van de verordening op zich nemen.[6] Met de AI-verordening wordt een stevige grondslag gevormd voor de toezichthouder om handhavend op te treden waarbij tevens forse bestuurlijke boetes kunnen worden opgelegd.[7] De Europese wetgever geeft een duidelijk signaal af: er wordt veel waarde gehecht aan het beschermen van de markt tegen AI-toepassingen met een onaanvaardbaar risico.

Het zal nog zo’n 2 jaar duren voordat de wet daadwerkelijk van toepassing is en waarmee de AFM en DNB kunnen handhaven. Dat geeft de markt de tijd om zich bekend te maken met de nieuwe wet voordat die daadwerkelijk ingaat. Ondertussen gaan  toezichthouders natuurlijk door met het toezicht op instellingen en of ze verantwoord omgaan met het gebruik van AI, uit hoofde van reeds geldende wet- en regelgeving.

Aandachtspunten voor financiële instellingen

Aankomend jaar hebben financiële instellingen de tijd om zich bekend te maken met de AI-verordening en de implicaties ervan op de bedrijfsvoering. Iedere onderneming die een AI-toepassing inzet zal op de eerste plaats moeten nagaan of het op grond van de AI-verordening verboden is. De verordening kwalificeert AI-toepassingen die gebruikt worden voor kredietwaardigheidstoetsen van natuurlijke personen en voor premiebepaling en risicobeoordeling voor levens- en ziektekostenverzekeringen, aan als ‘hoog risico’. Voor deze AI-toepassingen zullen dus nadere vereisten gelden wat betreft de ontwikkeling en het beheerst en verantwoord gebruik hiervan.[8]

De meeste vormen van AI die inmiddels breed worden ingezet in de financiële sector, waaronder het behandelen van verzekeringsclaims, het uitvoeren van beleggingstransacties en het detecteren van fraude en witwassen, kwalificeren onder de verordening niet als hoog risico. De AFM en DNB moedigen instellingen desondanks aan om zoveel mogelijk aansluiting te zoeken bij de regels voor hoog risico toepassingen.

Voorts vergt de AI-verordening van financiële instellingen bijzondere aandacht voor goede bescherming van grondrechten, met name het discriminatieverbod en de bescherming van persoonsgegevens. Voor hoog risico AI-toepassingen wordt het zelfs verplicht voor instellingen om een beoordeling te maken van het mogelijke effect op grondrechten van personen of groepen.

En de aandachtspunten voor de toezichthouder?

Tot slot wil ik stilstaan bij de aandachtspunten voor de toezichthouder – want ook die zijn er. AI heeft verregaande gevolgen voor de manier waarop de AFM en DNB toezicht houden. Van toezichthouders wordt bij het beoordelen van AI-toepassingen gespecialiseerde kennis op dit terrein verwacht. Dit heeft tot gevolg dat de AFM en DNB deze kennis doorlopend moeten uitbreiden en in bepaalde gevallen toezichtmethoden en procedures moeten ontwikkelen of aanpassen.

Het toezicht van de AFM en DNB is dus onderworpen aan verandering. Maar de uitdagingen van de toezichthouder zien niet slechts op de toepassing van AI door onder toezicht staande instellingen, maar ook op haar eigen inzet van AI. Het is goed voor te stellen dat de toezichthouder zelf gebruik maakt van AI. De ECB gebruikt bijvoorbeeld al verschillende tools voor het toezichthouden, waaronder een algoritmische tool voor geschiktheids- en betrouwbaarheidsbeoordelingen.[9]

Hier kleven evengoed risico’s aan. Bovendien behoort de toezichthouder uit hoofde van de Algemene Wet bestuursrecht (“Awb”) altijd de waarborgen van de algemene beginselen van goed bestuur in acht te nemen, zoals het zorgvuldigheidsbeginsel en motiveringsbeginsel. Deze waarborgen gelden onverkort bij de inzet van AI door de toezichthouder. Juist hier ligt een stuk rechtsbescherming voor burgers en ondernemingen bij de inzet van AI door de overheid. De aandachtspunten van het toezicht op AI gaan aldus twee richtingen op.

Conclusie

Kortom, in het rapport doen de AFM en DNB een oproep aan de sector om mee te denken over AI in de financiële sector. De toezichthouders geven aan dat de hieraan gerelateerd thema’s de komende tijd prioriteit krijgen. Vooralsnog lijkt het toezicht op de inzet van AI goed te passen binnen het wettelijk kader. Daarbij biedt de AI-verordening een unierechtelijk kader die extra bescherming zal gaan bieden. Niettemin geven de toezichthouders aan dat met de permanente evolutie van AI in het achterhoofd, het in de toekomst wellicht nodig is om meer specifieke spelregels op te stellen. De tijd zal het leren.

 

 

 

[1] https://www.dnb.nl/nieuws-voor-de-sector/toezicht-2024/afm-en-dnb-publiceren-rapport-over-de-impact-van-ai-in-de-financiele-sector-en-het-toezicht-daarop/.

[2] College van Beroep voor het bedrijfsleven 18 oktober 2022 ECLI:NL:CBB:2022:707.

[3] Te raadplegen op: https://www.esma.europa.eu/sites/default/files/2024-05/ESMA35-335435667-5924__Public_Statement_on_AI_and_investment_services.pdf.

[4] VERORDENING VAN HET EUROPEES PARLEMENT EN DE RAAD tot vaststelling van geharmoniseerde regels betreffende artificiële intelligentie en tot wijziging van de Verordeningen (EG) nr. 300/2008, (EU) nr. 167/2013, (EU) nr. 168/2013, (EU) 2018/858, (EU) 2018/1139 en (EU) 2019/2144 en de Richtlijnen 2014/90/EU, (EU) 2016/797 en (EU) 2020/1828 (verordening artificiële intelligentie), te raadplegen op: https://data.consilium.europa.eu/doc/document/PE-24-2024-INIT/nl/pdf.

[5] https://www.consilium.europa.eu/nl/press/press-releases/2024/05/21/artificial-intelligence-ai-act-council-gives-final-green-light-to-the-first-worldwide-rules-on-ai/.

[6] Zie randnummer 158 bij de AI-verordening. De handhaving ten aanzien van Nederlandse banken zal worden belegd bij DNB en ECB.

[7] Voor de niet-naleving van het verbod op de in artikel 5 bedoelde AI-praktijken gelden administratieve geldboeten tot 35 000 000 EUR of, indien de overtreder een onderneming is, tot 7 % van haar totale wereldwijde jaarlijkse omzet voor het voorafgaande boekjaar, indien dat hoger is.

[8] Voor kredietinstellingen zullen bijvoorbeeld de conformiteitsbeoordeling en veel van de andere ‘hoog risico verplichtingen’ worden opgenomen in de bestaande procedures en interne controlemechanismen in het kader van CRD4.

[9]https://www.bankingsupervision.europa.eu/press/publications/newsletter/2023/html/ssm.nl231115_2.en.html.