Gaat de EU ons eindelijk beschermen tegen datamisbruik en onverantwoorde AI-algoritmes? Als er iets is wat we van de Toeslagenaffaire hebben geleerd, is het hoe ingrijpend algoritmes kunnen zijn op onze levens. Om deze reden werkt Brussel aan nieuwe wetgeving om AI-toepassingen te reguleren en in deze blog bestuderen we het eerste voorstel! [1]

Wat is Artificiële Intelligentie (AI)?

Aangezien er vele definities voor AI bestaan is het goed om eerst te begrijpen wat de EU hier überhaupt onder verstaat. De EU heeft bewust gekozen voor een brede en algemene definitie. Zodra een systeem is gebaseerd op machine learning, deep learning, statistiek of logica, wordt het gezien als AI. Dit betekent dat vrijwel alle algoritmes onder deze regelgeving zullen vallen.

In de grote lijnen

Het voorstel maakt onderscheid tussen AI-toepassingen op basis van drie risiconiveaus. Zo zijn er verboden toepassingen, hoog risico toepassingen en minimaal risico toepassingen. Onder verboden toepassingen vallen AI-systemen die op schadelijke wijze mensen onbewust proberen te beïnvloeden. Ook zijn sociale scoring (bv. Chinees social kredietsysteem) en real-time biometrische identificatie systemen door overheden expliciet niet toegestaan.
De focus van het voorstel ligt voornamelijk op regelgeving voor AI-toepassingen met een hoog risico. Dit zijn toepassingen die geassocieerd zijn met producten of diensten die onder specifieke EU-wetgeving vallen. Denk bijvoorbeeld aan voertuigen, speelgoed, en medisch apparatuur. Daarnaast worden AI-systemen op het gebied van o.a. onderwijs, werkgelegenheid, essentiële diensten, rechtshandhaving, migratie en rechtsbedeling automatisch bestempeld als hoog risico.
Voor AI-toepassingen met een minimaal risico worden er geen directe eisen gesteld. Wel gaan de EU en de lidstaten AI-ontwikkelaars in deze categorie stimuleren om de dwingende voorschriften voor AI-systemen met een hoog risico vrijwillig toe te passen middels een kader van gedragscodes.

Waar moeten AI-systemen aan voldoen?

AI-systemen die zijn gecategoriseerd als hoog risico zullen aan een waslijst van eisen moeten gaan voldoen. Deze systemen moeten verplichte keuringen (conformiteitsbeoordelingen) doorstaan voordat het op de markt gebracht mag worden. Belangrijke evaluatie criteria hiervoor zijn o.a. risicomanagement, documentatie, datakwaliteit, transparantie en menselijk overzicht en het bijhouden van logs. Ook gaat de EU een centrale database van hoog risico AI-system bijhouden en wordt registratie een vereiste.
Ontwikkelaars van AI-applicaties moeten herhaaldelijk risicoanalyses uitvoeren en onderbouwen hoe ontwerpbesluiten risico's minimaliseren. Middels documentatie en verslaglegging moet je als ontwikkelaar kunnen aantonen dat jouw AI-systeem voldoet aan de gestelde eisen. De data die gebruikt bij het maken van een AI-systeem moet kritisch geëvalueerd worden op mogelijke biases. Informatievoorziening naar gebruikers moet voor transparantie zorgen en van dusdanige kwaliteit zijn dat gebruikers uitkomsten van het systeem kunnen interpreteren. Verder vereist de EU ook dat er altijd menselijk ogen betrokken blijven bij hoog risico AI-toepassingen.

Conclusie

Al met al komen er dus grote veranderingen aan voor de wetgeving rondom AI-systemen. Bedrijven en ontwikkelaars zullen niet meer vrij staan in manier waarop ze AI-applicaties ontwikkelen en moeten aan strengere eisen gaan voldoen. Hoewel de invoering van deze wetgeving nog een paar jaar kan duren, zal er nu al rekening mee moeten worden gehouden. Hopelijk kan dit bijdragen aan betere praktijken in de data science wereld en zo toekomstige schandalen zoals de Toeslagenaffaire voorkomen.

[1] Artificial Intelligence Act gepubliceerd door de Europese Commissie