Wat zijn verboden AI‑systemen onder de AI Act?
- Hanjo Mastenbroek
- 27 sep
- 4 minuten om te lezen
Bijgewerkt op: 10 okt
Dat zijn AI-toepassingen die zó ingrijpend zijn voor mensenrechten en veiligheid, dat ze in de EU helemaal niet meer mogen worden gebruikt. Het gaat bijvoorbeeld om AI die mensen ongemerkt beïnvloedt, misbruik maakt van kwetsbare groepen, of burgers rangschikt op basis van gedrag of persoonlijke kenmerken.
De Europese AI-wet noemt dat “onaanvaardbaar risico”. Het klinkt zwaar, en dat is het ook. De wet wil voorkomen dat technologie mensen controleert, in plaats van andersom. Daarom zijn dit soort toepassingen straks verboden. De regels staan in Artikel 5 van de AI Act, en gaan deels in vanaf februari 2025. Zowel ontwikkelaars als organisaties die zulke systemen gebruiken, kunnen erop worden aangesproken.
Waarom zijn sommige AI‑systemen verboden onder de AI Act?
De AI Act maakt onderscheid tussen verschillende risiconiveaus, maar op het hoogste niveau gaat het om systemen die helemaal niet zijn toegestaan. Deze AI‑toepassingen worden verboden vanwege de mogelijke aantasting van:
Autonomie van mensen
Grondrechten zoals privacy en non-discriminatie
Transparantie en vertrouwen in technologie
Het gaat hier niet alleen om techniek, maar om ethiek en rechtsbescherming. De wetgever wil misbruik voorkomen van kwetsbare situaties, machtsongelijkheid en asymmetrische beïnvloeding.
Overzicht van verboden AI‑praktijken
De AI Act noemt acht expliciete categorieën van verboden systemen. Hieronder staan ze op een rij:
AI die subliminale of manipulatieve technieken gebruikt om gedrag onbewust te beïnvloeden
AI die misbruik maakt van kwetsbaarheden (zoals leeftijd, handicap of sociale positie)
Social scoring op basis van gedrag of persoonlijke kenmerken
AI die voorspelt dat iemand crimineel gedrag gaat vertonen op basis van profiling
Ongerichte scraping van beelden voor gezichtsherkenning
Emotieherkenning in werkomgevingen of onderwijs
AI die mensen classificeert op basis van biometrie, zoals ras, religie of geaardheid
Realtime gezichtsherkenning in openbare ruimtes (door overheden)
Verdieping per verbod
1. Manipulatie buiten het bewustzijn AI die mensen aanstuurt zonder dat zij het merken, bijvoorbeeld via subtiele nudging in advertenties, is verboden als het leidt tot schadelijk gedrag.
2. Misbruik van kwetsbaarheid Toepassingen die gebruik maken van iemands mentale, fysieke of sociale zwakte, zoals targeting van kinderen of mensen met schulden, zijn niet toegestaan.
3. Social scoring Burgers rangschikken op betrouwbaarheid of gedrag, zoals in sommige autoritaire modellen, is expliciet verboden.
4. Criminele voorspellingen zonder feiten AI mag niet zelfstandig voorspellen wie mogelijk een misdrijf zal plegen, tenzij er concrete feiten en menselijke controle aanwezig zijn.
5. Ongereguleerde scraping
Het verzamelen van miljoenen gezichtsafbeeldingen via openbare bronnen om een herkenningssysteem te trainen is verboden zonder expliciete toestemming.
6. Emotieherkenning bij werk of school Systemen die medewerkers of leerlingen scannen op ‘emotionele staat’ zijn verboden, tenzij er een medisch of veiligheidsdoel is.
7. Biometrische classificatie AI die op basis van fysieke kenmerken probeert iemands overtuiging, geloof of ras te herleiden is niet toegestaan.
8. Realtime gezichtsherkenning in de publieke ruimte
Overheden mogen dit alleen inzetten bij zware misdrijven, met strikte waarborgen en voorafgaande toestemming.
Wat is het juridisch kader?
De verboden zijn opgenomen in Artikel 5 van de AI Act. Dit artikel stelt duidelijke grenzen aan het soort AI dat in de EU mag worden gebruikt. De wet is gebaseerd op:
Het Handvest van de Grondrechten van de EU
Non-discriminatie en mensenrechtenverdragen
Het voorzorgsbeginsel in technologiegebruik
De Europese Commissie heeft daarnaast richtsnoeren gepubliceerd om de interpretatie van deze verboden te verduidelijken.
Voorbeelden uit de praktijk
Voorbeeld 1: Gezichtsherkenning op een druk plein
Een gemeente test realtime gezichtsherkenning in een drukke winkelstraat, met als doel winkeldieven sneller te herkennen. Burgers weten hier niets van. Gevolg: Dit valt onder verboden AI. Er is geen voorafgaande toestemming en geen transparante waarborgen.
Voorbeeld 2: Emotieanalyse tijdens teamoverleg
Een groot bedrijf laat AI inzetten tijdens videocalls om te ‘scannen’ hoe betrokken of gestrest medewerkers zijn. De output wordt gebruikt in beoordelingsgesprekken. Gevolg: Deze vorm van emotieherkenning is verboden, tenzij er sprake is van een medische of veiligheidsreden, wat hier niet het geval is.
Wat zijn de gevolgen bij overtreding?
Als een organisatie verboden AI gebruikt, zijn de gevolgen fors:
Gebruik of distributie wordt direct verboden
Boetes tot €35 miljoen of 7% van de wereldwijde omzet
Aansprakelijkheid voor zowel ontwikkelaar als gebruiker
Controle door instanties zoals de AP of ACM
De ernst van de overtreding, opzet en herhaling kunnen leiden tot verzwarende omstandigheden. Ook een onbewuste inzet van verboden AI kan leiden tot sancties.
Wat moet je als organisatie doen?
Stappenplan voor compliancecheck:
Breng AI-toepassingen in kaart Inventariseer welke systemen je inzet, en waarvoor.
Evalueer op verboden kenmerken Toets of het systeem kenmerken bevat van de verboden categorieën.
Documenteer uitkomsten Leg vast waarom een systeem wel of niet binnen de grenzen valt.
Vraag juridisch of ethisch advies Bij twijfel over grensgevallen of uitzonderingen.
Blijf up-to-dateVolg updates van de Europese Commissie of je sectorale toezichthouder.
Een goed complianceproces is essentieel. Veel organisaties hebben geen kwaad in de zin, maar nemen onbewust risico’s door gebrek aan kennis of toetsing.
FAQ over verboden AI-systemen
Wat is een verboden AI-systeem? Een toepassing die volgens de AI Act onaanvaardbare risico’s oplevert, zoals manipulatie, social scoring of ongerechtvaardigde surveillance.
Gaat het ook om kleine toepassingen of alleen grote systemen? Alle AI-systemen kunnen vallen onder het verbod, ongeacht schaal of impact.
Hoe weet ik of mijn toepassing verboden is? Gebruik de categorieën in Artikel 5 als toetsingskader. Bij twijfel: laat het juridisch of ethisch beoordelen.
Zijn er uitzonderingen? Ja, met name voor openbare orde en veiligheid, mits vooraf goedgekeurd en transparant uitgevoerd.
Kun je aansprakelijk zijn zonder opzet? Ja. Ook bij onbewuste inzet van verboden AI kunnen boetes en handhaving volgen.