Kennisbank

Hvornår ændrer Deres rolle sig, og hvad afhænger det af

Mange organisationer går ud fra, at deres rolle ligger fast: de er bruger af et system, som en leverandør har bygget, og de forpligtelser, der hører dertil, er tydelige og blivende. Denne antagelse er ofte korrekt, men ikke altid. Den rolle, en organisation har i forhold til et AI-system, er ikke et fast label. Det er et resultat af, hvad der faktisk sker med systemet, og dette resultat kan skifte uden at der underskrives en ny kontrakt eller foretages et nyt indkøb.

Hvad indplaceringen afhænger af

Indplaceringen af en rolle afhænger af en række faktiske elementer, ikke af hvad en leverandør kalder systemet, eller hvordan en intern afdeling positionerer systemet internt. Relevant er blandt andet, hvem der har bragt systemet på markedet, hvem der faktisk bruger systemet i en egen proces, og hvem der har ændret systemet efter levering. Det tæller også, under hvilket navn systemet bringes ud eksternt, og om en organisation videreleverer systemet til andre uden selv at bruge det. Disse elementer bestemmer sammen, om en organisation optræder som udbyder, som bruger, eller som en part, der falder et sted imellem.

Grunden til, at dette er relevant for governance, er, at rollen bestemmer, hvilke forpligtelser der ligger hos hvilken part. En organisation, der alene er bruger, har andre ansvar end en organisation, der faktisk handler som udbyder. Hvad der præcist forventes af hver rolle, er beskrevet et andet sted; her handler det om den mekanisme, der bestemmer, hvilken rolle der gælder, og om at opfange det øjeblik, hvor denne mekanisme giver et andet resultat end tidligere.

Hvad der ændrer sig, når situationen ændrer sig

En rolle er ikke knyttet til et system for hele dets levetid. Den er knyttet til, hvad der faktisk sker på et givet tidspunkt. Det betyder, at samme organisation for samme system på to forskellige tidspunkter kan falde ind under en anden rolle. Nogle situationer, hvor det sker: et team, der finjusterer en indkøbt model på egne data, en afdeling, der ommærker et system og udbyder det under eget navn til andre afdelinger, eller en organisation, der videreleverer et system, som oprindeligt var tiltænkt intern brug, til en kunde eller partner. I hvert af disse tilfælde skifter den faktiske rolle, selv om der udadtil ændres lidt.

Hvad der ændrer sig i praksis, er ikke abstrakt. Det bestemmer, hvem der er ansvarlig for dokumentation, hvem der skal kunne påvise, at et system gør, hvad det påstår at gøre, og hvem der skal reagere, hvis noget går galt. Mere om, hvad der præcist ændrer sig, når en model ændres, er beskrevet på siden om ændringer af en model. Dette skift er et af de tydeligste eksempler på, hvordan en rolle vender uden at der er en bevidst beslutning forud for den.

Hvorfor dette er relevant for governance

Grunden til, at dette emne ikke kun er juridisk, men også organisatorisk relevant, er, at en rolleændring ofte sker ubemærket. Et team, der ændrer en model, tænker på en teknisk forbedring, ikke på en ændring i ansvar. En afdeling, der videresender et værktøj til en anden afdeling, tænker på bekvemmelighed, ikke på en ny rolle som leverandør. Governance, der kun ser på hvad der er indkøbt, overser disse forskydninger systematisk.

Dette hænger sammen med spørgsmålet om, hvilke anvendelser der præcist falder ind under en regulering, og hvilke der ikke gør; denne grænse behandles på siden om anvendelsers anvendelsesområde. Et system, der lå uden for anvendelsesområdet, da det blev indkøbt, kan komme inden for anvendelsesområdet, så snart organisationens rolle skifter. Det gør det ikke tilstrækkeligt at vurdere en gang for alle ved indkøb; vurderingen skal følge med, hvad der faktisk sker med et system.

Også risikoniveauet for en anvendelse kan skifte i takt med en rolleændring. Hvad et højt risikoniveau præcist betyder for en organisations forpligtelser, og hvad det afhænger af, er forklaret på siden om konsekvenserne af et højt risikoniveau. En organisation, der på grund af en rolleændring pludselig gælder som udbyder af et system med et højt risikoniveau, bærer andre ansvar end da den kun var bruger af samme system.

Hvordan en organisation opfanger dette

For at opfange rolleændringer, før de bliver et problem, skal en organisation vide, hvilke systemer der findes, hvem der ændrer dem, og hvem der videresender dem til hvem. Det kræver en oversigt, der går videre end den liste, IT har godkendt, og et fast sted, hvor beslutninger om ændring, videresendelse og ommærkning registreres. Et sådant fast sted, og de spørgsmål der hører dertil, er beskrevet på siden om en oversight-beslutningsliste.

Responsible AI Scan er bygget til at synliggøre disse forskydninger: hvilke systemer der faktisk kører, hvem der bruger dem, hvem der har ændret dem, og hvilken rolle det for øjeblikket medfører. Værktøjet, der understøtter dette, er under opbygning; den, der ønsker at bruge dette, kan tilmelde sig ventelisten.

En rolleændring rammer ikke kun governance. Når et system skifter fra et løst hjælpemiddel til noget, der strukturelt overtager en del af en opgave, ændres også spørgsmålet om, hvor meget arbejde dette system egentlig udfører, og hvor meget der stadig ligger hos mennesker. Arbejdsscanningen fra FTE TO AI beregner for hver opgave, hvilken del af arbejdet der kan overtages af AI, og synliggør dermed, hvor en rolleændring i governance falder sammen med en faktisk forskydning i fordelingen af arbejde.