re-ai-gov Op de wachtlijst

Kennisbank

Wat menselijk toezicht op AI in de praktijk betekent

Menselijk toezicht wordt vaak vastgelegd als een rol: iemand die verantwoordelijk is, een naam in een register, een vakje dat is aangevinkt. Dat is het startpunt, niet het mechanisme zelf. Toezicht ontstaat pas als er een moment is waarop een mens de uitkomst van een AI-toepassing kan zien, kan begrijpen en kan bijsturen voordat die uitkomst ergens terechtkomt. Zonder dat moment is de naam onder de classificatie een formaliteit.

Waar toezicht van afhangt

Of toezicht in de praktijk werkt, hangt af van een aantal dingen die niet vanzelf samenkomen. Er moet iemand zijn die de bevoegdheid heeft om een uitkomst tegen te houden, niet alleen de taak om ernaar te kijken. Er moet tijd zijn om te kijken, wat betekent dat het proces niet zo is ingericht dat de AI-uitkomst al is verwerkt voordat de controle plaatsvindt. En er moet voldoende begrip zijn van wat de toepassing doet om een afwijking te herkennen. Een controleur die de uitkomst niet kan beoordelen, oefent geen toezicht uit, ook niet als de rol formeel is toegewezen.

Dit hangt samen met wat AI-geletterdheid betekent voor uw medewerkers: toezicht zonder begrip van de onderliggende toepassing is toezicht op papier.

Wat de methode niet oplevert

Een governance-structuur kan vastleggen wie waarvoor verantwoordelijk is, welk risiconiveau een toepassing heeft en welke stappen daarbij horen. Wat de structuur niet doet, is garanderen dat die persoon de uitkomst ook daadwerkelijk beoordeelt op het moment dat het telt. Dat is een organisatorisch gegeven, geen technisch gegeven. Een classificatie kan correct zijn en het toezicht kan alsnog leeg zijn, omdat de persoon die op papier verantwoordelijk is, de tijd, de toegang of de kennis niet heeft om de uitkomst te toetsen.

De inventaris en de classificatie leggen bloot waar dit risico het grootst is: bij toepassingen met een hoger risiconiveau, of bij toepassingen die buiten het reguliere IT-traject zijn binnengekomen. Die laatste groep is vaak het lastigst, want wie toezicht wil organiseren op iets wat niet in de administratie staat, moet het eerst vinden. Dat raakt de vraag wat u doet met medewerkers die een tool gebruiken die niemand heeft goedgekeurd: toezicht op schaduw-AI begint met erkennen dat die toepassing bestaat, niet met een sanctie op het gebruik ervan.

Toezicht is geen momentopname

Een toepassing die vandaag onder toezicht staat, kan morgen zijn veranderd. Een model wordt bijgewerkt, de invoerdata verschuift, of het gebruik binnen de organisatie groeit van een eenvoudige taak naar iets met meer gewicht. Toezicht dat is ingericht op de situatie van een jaar geleden, sluit niet meer aan op wat er nu gebeurt. Dat is een van de redenen dat classificatie geen eenmalige exercitie is; hoe vaak dat opnieuw moet gebeuren hangt af van het risiconiveau en de mate waarin de toepassing verandert, zoals uitgewerkt in hoe vaak u opnieuw moet classificeren.

Dit betekent ook dat een register alleen waarde heeft als het wordt onderhouden. Een inventaris die bij de eerste scan is opgesteld en daarna niet meer wordt bijgewerkt, geeft een steeds onnauwkeuriger beeld van waar toezicht nodig is. De vraag hoe een organisatie dat register actueel houdt, staat los van de vraag hoe het register is opgebouwd, en verdient eigen aandacht: zie hoe u een AI-register actueel houdt.

Wie het aantoont, en wat dat oplevert

Een bestuur dat wordt gevraagd aan te tonen dat er toezicht is op AI-gebruik, kan niet volstaan met een rollenlijst. Aantoonbaarheid vraagt om een spoor: wie heeft welke uitkomst bekeken, op welk moment, met welke bevoegdheid om bij te sturen. Dat spoor is ook relevant op het moment dat er iets misgaat. De vraag wie verantwoordelijk is als een AI-toepassing een fout maakt, wordt niet beantwoord door de classificatie alleen, maar door het aantoonbare toezicht dat daarop is gevolgd. Die twee zaken worden gemakkelijk verward, terwijl de scheiding relevant is; zie wie verantwoordelijk is als een AI-toepassing een fout maakt.

Toezicht raakt ook aan wat er in een toepassing wordt ingevoerd. Een medewerker die bedrijfsdata plakt in een gratis chatvenster, plaatst die data buiten elk toezicht dat de organisatie heeft ingericht, ongeacht hoe goed het toezicht op de goedgekeurde toepassingen is georganiseerd. Dat is een apart aandachtsgebied binnen het bredere vraagstuk, uitgewerkt onder wat u doet met bedrijfsdata in een gratis chatvenster.

De grens van dit mechanisme

Deze pagina beschrijft hoe toezicht werkt als mechanisme: wie kijkt, wanneer, met welke bevoegdheid, en hoe dat aantoonbaar wordt gemaakt. De inhoudelijke normen die bepalen wanneer toezicht verplicht is, hoe streng dat toezicht moet zijn per risicocategorie, en binnen welke termijnen dat moet zijn ingericht, staan niet hier. Die regelinhoud verandert en wordt elders actueel gehouden.

De volgende vraag

Toezicht organiseren op een taak is alleen zinvol als duidelijk is wat die taak precies inhoudt en welk deel ervan door een AI-toepassing wordt gedaan. Dat is een andere vraag dan welke rol of welk risiconiveau een toepassing heeft; het gaat over de taak zelf, opgesplitst in de stappen die een AI-toepassing kan overnemen en de stappen die daar niet voor in aanmerking komen. De werkscan van FTE TO AI rekent dat per taak uit, zodat zichtbaar wordt welk deel van het werk over te nemen is en welk deel binnen het bereik van menselijk toezicht moet blijven.

Andrewde assistent van de Responsible AI Scan

Vraag maar. Governance begint bij weten wat er draait — ook wat niemand heeft goedgekeurd.

Antwoorden komen uit de kennisbank van deze site. Geen advies op maat, en geen scan van uw bedrijf.