Verboden AI-praktijken onder de AI Act (artikel 5)
- Hanjo Mastenbroek
- 29 sep
- 4 minuten om te lezen
Bijgewerkt op: 10 okt
De Europese AI Act heeft een duidelijk uitgangspunt: kunstmatige intelligentie mag geen schade veroorzaken aan mensen. En als een technologie zó ingrijpend is dat het onze vrijheid, privacy of gelijkheid ondermijnt? Dan wordt deze simpelweg verboden.
In artikel 5 staat precies welke AI-toepassingen in Europa verboden zijn. Het gaat om toepassingen die eigenlijk nooit verenigbaar zijn met de fundamentele rechten van mensen.
Wat zegt artikel 5 van de AI Act eigenlijk?
Stel je voor dat je door een algoritme wordt beoordeeld zonder dat je het weet. Of dat een school AI gebruikt om te analyseren of jij zenuwachtig bent tijdens een toets. In zulke situaties loop je het risico om verkeerd begrepen of zelfs benadeeld te worden. Precies dat soort toepassingen wil de wet voorkomen.
In artikel 5 worden zes hoofdvormen van verboden AI benoemd. Deze mogen niet worden ontwikkeld, verkocht of gebruikt in de EU. En ja, dat geldt ook voor toepassingen die je misschien al ergens op een beurs of in een app hebt gezien.
Manipulatie buiten ons bewustzijn
AI die inspeelt op ons onderbewuste is verboden. Het gaat dan bijvoorbeeld om systemen die gebruikmaken van subliminale signalen. Denk aan beeldflitsen of subtiele geluidsprikkels die je niet bewust waarneemt, maar die wél je gedrag beïnvloeden. In reclames kan dat subtiel gebeuren, maar bij AI gebeurt het vaak slimmer en stiekemer.
Voorbeelden:
Een app die stilletjes visuele cues toont om aankopen te stimuleren.
Een digitale assistent die je gedrag stuurt via woordkeuze of intonatie, zonder dat je het merkt.
Het gevaar? Je maakt keuzes die je anders misschien niet had gemaakt. En dat druist in tegen de vrije wil, vindt de wetgever.
Misbruik van kwetsbaarheden
Sommige mensen zijn extra kwetsbaar voor beïnvloeding. Kinderen bijvoorbeeld. Of mensen met een mentale beperking. Of wie zich in een afhankelijke positie bevindt, financieel of sociaal. AI die dat misbruikt om gedrag te sturen dat schade veroorzaakt, is verboden.
Je kunt hierbij denken aan:
Een game die speciaal op kinderen gericht is en hen aanzet tot risicogedrag.
Een chatbot die ouderen subtiel manipuleert tot aankopen.
In de praktijk zie je dat technologie zich makkelijk aanpast aan het niveau en gedrag van gebruikers. Maar precies daar schuilt het gevaar: het is niet altijd zichtbaar wie kwetsbaar is.
Social scoring door overheden
China kreeg wereldwijd kritiek op zijn sociaal kredietsysteem. De Europese wetgever wil absoluut voorkomen dat zoiets in de EU gebeurt. Daarom is het verboden dat overheden burgers rangschikken op basis van gedrag of persoonlijke kenmerken, wanneer dat tot nadelige of onrechtvaardige behandeling leidt.
Stel je voor dat je minder kans krijgt op sociale huur, alleen omdat je in het verleden een verkeersboete hebt gehad. Of omdat je sociale mediagedrag als 'ongewenst' wordt gezien. Dat soort scenario’s mogen in Europa geen werkelijkheid worden.
Real-time gezichtsherkenning op straat
AI die mensen in real time herkent op straat is in principe verboden. Geen continue monitoring, geen automatische identificatie op stations of pleinen. Waarom? Omdat het leidt tot een samenleving waarin je voortdurend gevolgd kunt worden. En dat wringt met het recht op privacy en bewegingsvrijheid.
Er zijn uitzonderingen, maar die zijn strikt beperkt tot:
Het zoeken naar vermiste personen,
Het voorkomen van een directe, ernstige dreiging (zoals een aanslag),
Het opsporen van zware criminelen.
En zelfs dan alleen met toestemming van een rechter of bevoegde autoriteit. Geen ruimte dus voor een 'voor de zekerheid'-aanpak.
Categoriseren op gevoelige kenmerken
AI mag mensen niet indelen op basis van zaken als ras, politieke voorkeur of seksuele geaardheid. Zeker niet als dat gebeurt zonder hun medeweten. En al helemaal niet als dat leidt tot discriminatie of uitsluiting.
Voorbeelden:
Een systeem dat mensen automatisch indeelt op etniciteit op basis van foto's.
AI die bepaalt of je bij een bepaalde doelgroep hoort op basis van religieuze symbolen.
De achterliggende gedachte is simpel: mensen zijn méér dan hun uiterlijk of overtuiging. AI mag dat niet versmallen tot een statistiek.
Emoties herkennen op school of werk
AI die emoties herkent en die info gebruikt om mensen te beoordelen of controleren is verboden in scholen en op werkvloeren. Want stel je voor dat je tijdens een functioneringsgesprek automatisch wordt geanalyseerd op 'frustratie', terwijl je je gewoon concentreert. Of dat een leerling als 'onrustig' wordt gelabeld omdat hij wiebelt tijdens een toets.
Technologie die zo intiem probeert binnen te dringen in ons gevoelsleven, is simpelweg te risicovol. Ook omdat emotieherkenning nog lang niet betrouwbaar is.
Scrapen van biometrische data
Zonder dat we het doorhebben, worden er foto's van onze gezichten online verzameld. Via sociale media, bewakingscamera’s, of zelfs oude schoolfoto’s. Sommige bedrijven gebruiken die data om AI te trainen, zonder toestemming. Dat heet scraping. En dat is verboden in de AI wetgeving.
Voorbeelden:
Een startup die zonder toestemming gezichten van YouTube-filmpjes analyseert.
AI die beelden van straatcamera’s gebruikt om gezichtsprofielen te maken.
Je gezicht is uniek. Het mag niet zomaar als databron worden gebruikt, vindt de wet.
Kort samengevat: deze AI is verboden
Manipulatie buiten je bewustzijn om die leidt tot schade
AI die kwetsbare mensen beïnvloedt ten nadele van henzelf
Social scoring door overheden die leidt tot discriminatie
Gezichtsherkenning op straat, met uitzondering van acute opsporing
Categorisatie op basis van gevoelige kenmerken zoals geloof of geaardheid
Emotiedetectie op school en op de werkvloer
Massaal verzamelen van gezichtsdata zonder grondslag
En wat als je toch zo’n systeem gebruikt?
Dan kunnen toezichthouders ingrijpen. Boetes opleggen. Of het systeem verbieden. In ernstige gevallen moet de technologie van de markt worden gehaald. Wie AI wil inzetten, moet dus vooraf goed nagaan of er risico’s zijn. Of beter nog: zich laten adviseren.
Veelgestelde vragen
Mag je experimenteren met verboden AI als onderzoek?
Zolang het alleen onderzoek is en je het systeem niet op de markt brengt, mag het vaak wel. Maar zodra je de grens overgaat naar publiek gebruik, gelden de verboden.
Mogen bedrijven gezichtsherkenning inzetten bij de ingang?
Dat kan, maar alleen als het niet in de openbare ruimte gebeurt én als mensen expliciet toestemming hebben gegeven.
Wat is het verschil tussen identificatie en categorisatie?
Identificatie zegt wie je bent. Categorisatie zegt in welk 'hokje' je hoort. De laatste is vooral riskant als het over gevoelige kenmerken gaat.
Mogen scholen AI gebruiken om leerlingen te monitoren? Alleen als het gaat om educatieve ondersteuning. Niet om emoties te analyseren of gedrag automatisch te beoordelen.