Kennisbank

Kdaj se spremeni vaša vloga in od česa je to odvisno

Veliko organizacij predpostavlja, da je njihova vloga fiksna: so uporabnik sistema, ki ga je zgradil ponudnik, in obveznosti, ki iz tega izhajajo, so jasne in trajne. Ta predpostavka je pogosto pravilna, vendar ne vedno. Vloga, ki jo ima organizacija glede na AI-sistem, ni fiksna oznaka. Je izid dejanskega dogajanja s sistemom, in ta izid se lahko spremeni, brez da bi bila podpisana nova pogodba ali opravljen nov nakup.

Od česa je razvrstitev odvisna

Razvrstitev vloge je odvisna od nekaterih dejanskih elementov, ne od tega, kako ponudnik imenuje sistem ali kako ga interno umesti neki notranji oddelek. Relevantno je med drugim, kdo je sistem dal na trg, kdo sistem dejansko uporablja znotraj lastnega procesa, in kdo je sistem prilagodil po dobavi. Prav tako je pomembno, pod katerim imenom se sistem trži navzven, in ali organizacija sistem posreduje naprej drugim, ne da bi ga sama uporabljala. Ti elementi skupaj določajo, ali organizacija nastopa kot ponudnik, kot uporabnik, ali kot stranka, ki spada nekje vmes.

Razlog, da je to relevantno za governance, je, da vloga določa, katere obveznosti pripadajo kateri stranki. Organizacija, ki je samo uporabnik, ima druge odgovornosti kot organizacija, ki dejansko deluje kot ponudnik. Kaj natančno se pričakuje od vsake vloge, je opisano na drugem mestu; tukaj gre za mehanizem, ki določa, katera vloga velja, in za zaznavanje trenutka, ko ta mehanizem prinese drugačen izid kot prej.

Kaj se spremeni, ko se situacija spremeni

Vloga ni vezana na sistem za celotno njegovo življenjsko dobo. Vezana je na to, kaj se dejansko dogaja v določenem trenutku. To pomeni, da lahko ista organizacija za isti sistem v dveh trenutkih pade v drugo vlogo. Nekaj situacij, v katerih se to zgodi: ekipa, ki dodatno uri (finetune) kupljen model na lastnih podatkih, oddelek, ki sistem preoznači in ga pod lastnim imenom ponudi drugim oddelkom, ali organizacija, ki sistem, ki je bil prvotno namenjen notranji uporabi, posreduje naprej stranki ali partnerju. V vsakem od teh primerov se dejanska vloga premakne, tudi če se na zunaj malo spremeni.

Kar se v praksi spremeni, ni abstraktno. Določa, kdo je odgovoren za dokumentacijo, kdo mora dokazljivo izkazati, da sistem počne, kar trdi, da počne, in kdo mora ukrepati, če gre kaj narobe. Več o tem, kaj se natančno spremeni, ko se model prilagodi, je opisano na strani o prilagoditvah modela. Ta premik je eden od najbolj jasnih primerov, kako se vloga spremeni, ne da bi ji predhodila zavestna odločitev.

Zakaj je to relevantno za governance

Razlog, da je ta tema relevantna ne le pravno, ampak tudi organizacijsko, je, da se sprememba vloge pogosto zgodi neopaženo. Ekipa, ki prilagodi model, razmišlja o tehnični izboljšavi, ne o spremembi odgovornosti. Oddelek, ki orodje posreduje drugemu oddelku, razmišlja o priročnosti, ne o novi vlogi kot ponudnik. Governance, ki gleda samo na to, kaj je bilo kupljeno, sistematično zgreši te premike.

To je povezano z vprašanjem, katere aplikacije natančno spadajo pod določeno ureditev in katere ne; ta meja je obravnavana na strani o obsegu aplikacij. Sistem, ki je bil izven obsega, ko je bil kupljen, lahko pride v obseg, ko se vloga organizacije spremeni. To pomeni, da ni dovolj enkratno preveriti stanje ob nakupu; preverjanje se mora prilagajati temu, kaj se dejansko dogaja s sistemom.

Tudi raven tveganja aplikacije se lahko spremeni s spremembo vloge. Kaj natančno pomeni visoka raven tveganja za obveznosti organizacije, in od česa je to odvisno, je pojasnjeno na strani o posledicah visoke ravni tveganja. Organizacija, ki zaradi spremembe vloge nenadoma velja za ponudnika sistema z visoko ravnjo tveganja, nosi drugačne odgovornosti, kot jih je nosila, ko je bila samo uporabnik istega sistema.

Kako organizacija to zazna

Za zaznavanje sprememb vlog, preden postanejo problem, mora organizacija vedeti, kateri sistemi obstajajo, kdo jih prilagaja, in kdo jih posreduje komu. To zahteva popis, ki gre dlje kot seznam, ki ga je odobril IT, in fiksno mesto, kjer se zapisujejo odločitve o prilagoditvi, posredovanju in preoznačevanju. Takšno fiksno mesto, in vprašanja, ki mu pripadajo, so opisana na strani o seznamu odločitev za nadzor (oversight).

Responsible AI Scan je zgrajen za to, da te premike naredi vidne: kateri sistemi dejansko delujejo, kdo jih uporablja, kdo jih je prilagodil, in katera vloga iz tega izhaja v tem trenutku. Orodje, ki to podpira, je v izdelavi; kdor ga želi uporabljati, se lahko prijavi na čakalno listo.

Sprememba vloge ne vpliva le na governance. Ko se sistem premakne od samostojnega pripomočka k nečemu, kar strukturno prevzame del naloge, se spremeni tudi vprašanje, koliko dela ta sistem dejansko opravi in koliko ga še ostane pri ljudeh. Delovna analiza (werkscan) FTE TO AI za vsako nalogo izračuna, kateri del dela je mogoče prenesti na AI, in tako razkrije, kje se sprememba vloge v governance ujema z dejanskim premikom v porazdelitvi dela.