Kennisbank

När er roll förändras, och vad det beror på

Många organisationer utgår från att deras roll är fastställd: de är användare av ett system som en leverantör har byggt, och de skyldigheter som hör därtill är tydliga och bestående. Det antagandet stämmer ofta, men inte alltid. Den roll som en organisation har i förhållande till ett AI-system är ingen fast etikett. Det är ett resultat av vad som faktiskt sker med systemet, och det resultatet kan förskjutas utan att ett nytt avtal undertecknas eller ett nytt inköp görs.

Vad indelningen beror på

Indelningen av en roll beror på ett antal faktiska element, inte på hur en leverantör benämner systemet eller hur en intern avdelning positionerar systemet internt. Relevant är bland annat vem som har marknadsfört systemet, vem som faktiskt använder systemet inom en egen process, och vem som har anpassat systemet efter leverans. Det spelar även roll under vilket namn systemet lanseras externt, och om en organisation vidareförmedlar systemet till andra utan att själv använda det. Dessa element avgör tillsammans om en organisation agerar som leverantör, som användare, eller som en part som hamnar någonstans mittemellan.

Anledningen till att detta är relevant för governance är att rollen avgör vilka skyldigheter som ligger hos vilken part. En organisation som endast är användare har andra ansvarsområden än en organisation som faktiskt agerar som leverantör. Vad som exakt förväntas av varje roll beskrivs på annan plats; här handlar det om den mekanism som avgör vilken roll som är tillämplig, och om att signalera det ögonblick då den mekanismen ger ett annat resultat än tidigare.

Vad som förändras när situationen förändras

En roll är inte kopplad till ett system under hela dess livstid. Den är kopplad till vad som faktiskt sker vid ett givet ögonblick. Det innebär att samma organisation för samma system kan hamna i en annan roll vid två olika tidpunkter. Några situationer där detta sker: ett team som finjusterar en inköpt modell med egen data, en avdelning som omvarumärker ett system och erbjuder det under eget namn till andra avdelningar, eller en organisation som vidareförmedlar ett system som ursprungligen var avsett för internt bruk till en kund eller partner. I vart och ett av dessa fall förskjuts den faktiska rollen, även om lite förändras på utsidan.

Vad som förändras i praktiken är inte abstrakt. Det avgör vem som ansvarar för dokumentation, vem som måste kunna visa att ett system gör vad det påstår sig göra, och vem som måste reagera om något går fel. Mer om vad som exakt förändras när en modell anpassas beskrivs på sidan om anpassningar av en modell. Den förskjutningen är ett av de tydligaste exemplen på hur en roll skiftar utan att ett medvetet beslut föregår det.

Varför detta är relevant för governance

Anledningen till att detta ämne inte bara är juridiskt utan även organisatoriskt relevant är att en rollförändring ofta sker obemärkt. Ett team som anpassar en modell tänker på en teknisk förbättring, inte på en förändring i ansvar. En avdelning som vidarebefordrar ett verktyg till en annan avdelning tänker på bekvämlighet, inte på en ny roll som tillhandahållare. Governance som endast tittar på vad som har köpts in missar dessa förskjutningar systematiskt.

Detta hänger samman med frågan om exakt vilka tillämpningar som omfattas av en reglering och vilka som inte gör det; den gränsen behandlas på sidan om tillämpningarnas omfattning. Ett system som föll utanför tillämpningsområdet när det köptes in kan komma att omfattas så snart organisationens roll förskjuts. Det gör att det inte räcker att pröva detta en gång vid inköp; prövningen måste följa med vad som faktiskt sker med ett system.

Även risknivån för en tillämpning kan förskjutas med en rollförändring. Vad en hög risknivå exakt innebär för en organisations skyldigheter, och vad det beror på, förklaras på sidan om konsekvenserna av en hög risknivå. En organisation som genom en rollförändring plötsligt betraktas som leverantör av ett system med hög risknivå bär andra ansvarsområden än när den bara var användare av samma system.

Hur en organisation signalerar detta

För att signalera rollförändringar innan de blir ett problem måste en organisation veta vilka system som finns, vem som anpassar dem, och vem som vidarebefordrar dem till vem. Det kräver en inventering som går längre än den lista IT har godkänt, och en fast plats där beslut om anpassning, vidarebefordran och omvarumärkning registreras. En sådan fast plats, och de frågor som hör därtill, beskrivs på sidan om en oversight-beslutslista.

Responsible AI Scan är byggd för att göra dessa förskjutningar synliga: vilka system som faktiskt körs, vem som använder dem, vem som har anpassat dem, och vilken roll som följer av det just nu. Verktyget som stöder detta är under uppbyggnad; den som vill använda det kan anmäla sig till väntelistan.

En rollförändring påverkar inte bara governance. När ett system förskjuts från löst hjälpmedel till något som strukturellt tar över en del av en uppgift, förändras även frågan om hur mycket arbete det systemet egentligen utför och hur mycket som fortfarande ligger hos människor. Arbetsanalysen från FTE TO AI räknar per uppgift ut vilken del av arbetet som kan tas över av AI, och synliggör därmed var en rollförändring i governance sammanfaller med en faktisk förskjutning i fördelningen av arbete.