re-ai-gov Op de wachtlijst

Kennisbank

Monitoring die daadwerkelijk gebruikt wordt

Het probleem is niet het ontbreken van monitoring

De meeste organisaties hebben al iets dat monitoring heet. Een dashboard, een rapportageformat, een periodiek overleg waarin risico's worden besproken. Het probleem is niet dat dit ontbreekt. Het probleem is dat AI-monitoring er als los onderdeel naast wordt gezet, met een eigen ritme, een eigen eigenaar en een eigen sjabloon. Wie al drie processen heeft om risico te volgen, gaat geen vierde proces trouw invullen. Het wordt een verplichting die één keer per kwartaal wordt afgeraffeld, of helemaal niet.

Dat is de reden waarom monitoring van AI-gebruik zo vaak niets oplevert. Niet omdat de vragen verkeerd zijn, maar omdat het proces zelf een vreemd lichaam blijft binnen een organisatie die al processen heeft voor risico, compliance en interne controle.

Wat er in werkelijke monitoring hoort

Monitoring die iets oplevert, begint niet met een format maar met een vraag: wat verandert er, en wie merkt dat als eerste? Voor AI-systemen betekent dit drie lagen.

De eerste laag is gebruik: wordt een systeem nog gebruikt zoals bedoeld, of is de toepassing verschoven zonder dat iemand dat heeft gemeld? Een tool die begon als tekstcontrole en nu wordt gebruikt om conceptbesluiten te formuleren, is een ander risico dan bij de start werd vastgesteld.

De tweede laag is herkomst: is het systeem nog hetzelfde als toen het werd geclassificeerd? Onderliggende modellen worden vervangen, leveranciers wijzigen hun voorwaarden, een los tool wordt geïntegreerd in een groter platform. Elke wijziging kan de risico-inschatting van destijds ongeldig maken zonder dat iemand dat opnieuw beoordeelt.

De derde laag is signaal: zijn er klachten, foutmeldingen of afwijkingen die erop wijzen dat iets niet werkt zoals verondersteld? Dit is de laag die het vaakst ontbreekt, omdat niemand belang heeft bij het melden van een probleem met een systeem dat officieel niet bestaat.

Waarom een tweede proces wordt genegeerd

Een organisatie die al een risicocyclus heeft voor operationele risico's, financiële risico's of gegevensbescherming, gaat geen nieuwe cyclus starten voor AI. Dat is geen onwil; het is een kwestie van capaciteit. Wie het probeert, ziet twee dingen gebeuren. Of de nieuwe monitoring loopt leeg, omdat niemand tijd vindt om een systeem te voeden dat niemand vraagt. Of de nieuwe monitoring wordt overgenomen door dezelfde mensen die de bestaande cyclus al draaien, en dan verdwijnt het onderscheid vanzelf.

De vraag is dus niet of er een apart AI-monitoringproces moet komen. De vraag is hoe AI-signalen in de bestaande cyclus terechtkomen, zodat ze in dezelfde vergadering, met dezelfde eigenaar en op hetzelfde ritme worden besproken als andere risico's. Hoe dat precies wordt ingericht, hangt af van hoe die bestaande cyclus nu al werkt: sommige organisaties hebben een kwartaalrapportage aan de auditcommissie, andere een maandelijks risico-overleg op directieniveau, weer andere een continue log die per incident wordt bijgewerkt. Meer over hoe u monitoring inbedt in wat er al draait in plaats van er iets naast te zetten staat op een aparte pagina, omdat dat mechanisme per organisatie anders wordt ingevuld.

Het document dat er ligt als iemand ernaar vraagt

Wat er wel universeel in past, is een vaste vorm waarin de status van AI-systemen wordt vastgelegd: wat draait er, in welke rol, met welk risiconiveau, en wanneer is dat laatst bevestigd. Niet als los AI-document, maar als bijlage of vast onderdeel van de rapportage die al bestaat. Dat kan aansluiten op een board-rapportage van één pagina die risico's samenvat zonder ze te verdoezelen, zodat monitoring niet een aparte stroom van informatie wordt, maar een regel in een tabel die de bestuurder al leest.

Deze vorm werkt alleen als de onderliggende classificatie zelf actueel blijft, en die classificatie moet weer aansluiten op de risicostructuur die er al is. Zonder die aansluiting blijft monitoring een tweede taal naast de eerste, en die tweede taal wordt vergeten zodra de druk toeneemt. Hoe die aansluiting eruitziet, hangt af van hoe risicostructuur en AI-classificatie samenkomen in wat een organisatie al gebruikt, en is niet in algemene termen te beschrijven zonder de bestaande structuur te kennen.

Wat monitoring vindt, gaat verder dan een document

Monitoring die goed werkt, signaleert niet alleen risico maar ook verschuiving: systemen die anders worden gebruikt dan bedoeld, of taken die stilletjes zijn overgenomen zonder dat iemand dat heeft vastgelegd. Diezelfde signalen zijn ook informatie over waar mensen daadwerkelijk tijd aan besteden, en waar AI feitelijk al werk overneemt zonder dat dat ergens is opgeschreven. Wie die vraag concreter wil maken dan een risicoclassificatie toestaat, kan bij de werkscan van FTE TO AI zien welk deel van het werk per taak voor AI in aanmerking komt, los van de vraag of dat al gebeurt of nog moet worden besloten. Die scan rekent niet in risico, maar in taken en uren, en sluit daarmee aan op wat monitoring signaleert zonder het te verklaren.

Andrewde assistent van de Responsible AI Scan

Vraag maar. Governance begint bij weten wat er draait — ook wat niemand heeft goedgekeurd.

Antwoorden komen uit de kennisbank van deze site. Geen advies op maat, en geen scan van uw bedrijf.