Kennisbank

Kdy se změní vaše role a na čem to závisí

Mnoho organizací vychází z předpokladu, že jejich role je pevně daná: jsou uživatelem systému, který vytvořil dodavatel, a povinnosti s tím spojené jsou jasné a trvalé. Tento předpoklad je často správný, ale ne vždy. Role, kterou organizace zastává vůči systému AI, není pevný štítek. Je to výsledek toho, co se se systémem fakticky děje, a tento výsledek se může posunout bez toho, aby byla podepsána nová smlouva nebo provedena nová akvizice.

Na čem závisí zařazení

Zařazení role závisí na řadě faktických prvků, nikoli na tom, jak dodavatel systém nazývá nebo jak jej interně pozicuje nějaké oddělení. Relevantní je mimo jiné to, kdo systém uvedl na trh, kdo systém skutečně používá ve vlastním procesu a kdo systém upravil po jeho dodání. Rovněž se zohledňuje, pod jakým názvem je systém prezentován navenek, a zda organizace systém předává dál jiným, aniž by jej sama používala. Tyto prvky společně určují, zda organizace vystupuje jako poskytovatel, jako uživatel, nebo jako strana, která spadá někam mezi tyto dvě kategorie.

Důvod, proč je to relevantní pro governance, je ten, že role určuje, jaké povinnosti připadají které straně. Organizace, která je pouze uživatelem, má jiné povinnosti než organizace, která fakticky jedná jako poskytovatel. Co přesně se od každé role očekává, je popsáno jinde; zde se jedná o mechanismus, který určuje, jaká role se uplatňuje, a o rozpoznání okamžiku, kdy tento mechanismus dává jiný výsledek než dříve.

Co se změní, když se situace změní

Role není spojena se systémem po celou dobu jeho životnosti. Je spojena s tím, co se fakticky děje v daném okamžiku. To znamená, že stejná organizace může u téhož systému ve dvou různých okamžicích spadat do jiné role. Několik situací, kdy k tomu dochází: tým, který dolaďuje (finetunuje) zakoupený model na vlastních datech, oddělení, které systém přeznačí a nabídne jej pod vlastním názvem jiným oddělením, nebo organizace, která systém původně určený pro vnitřní použití předá dál klientovi nebo partnerovi. V každém z těchto případů se faktická role posune, i když se navenek mění jen málo.

Co se v praxi mění, není abstraktní. Určuje to, kdo je odpovědný za dokumentaci, kdo musí prokázat, že systém dělá to, co tvrdí, že dělá, a kdo musí zasáhnout, pokud se něco pokazí. Více o tom, co přesně se změní, když je model upraven, je popsáno na stránce o úpravách modelu. Tento posun je jedním z nejjasnějších příkladů toho, jak se role překlopí bez toho, aby tomu předcházelo vědomé rozhodnutí.

Proč je to relevantní pro governance

Důvod, proč toto téma není relevantní pouze právně, ale i organizačně, je ten, že ke změně role často dochází nepovšimnutě. Tým, který upraví model, myslí na technické zlepšení, nikoli na změnu odpovědnosti. Oddělení, které nástroj přeposílá jinému oddělení, myslí na pohodlí, nikoli na novou roli poskytovatele. Governance, která se dívá pouze na to, co bylo pořízeno, tyto posuny systematicky přehlíží.

Toto souvisí s otázkou, které aplikace přesně spadají pod danou regulaci a které nikoli; touto hranicí se zabývá stránka o rozsahu působnosti aplikací. Systém, který spadal mimo rozsah působnosti v okamžiku pořízení, se může dostat do jejího rozsahu, jakmile se role organizace posune. To znamená, že nestačí provést posouzení jednorázově při pořízení; posouzení se musí přizpůsobovat tomu, co se se systémem fakticky děje.

Rovněž úroveň rizika dané aplikace se může s posunem role měnit. Co přesně vysoká úroveň rizika znamená pro povinnosti organizace a na čem to závisí, je vysvětleno na stránce o důsledcích vysoké úrovně rizika. Organizace, která se v důsledku změny role najednou stane poskytovatelem systému s vysokou úrovní rizika, nese jiné povinnosti, než když byla pouze uživatelem téhož systému.

Jak organizace tuto změnu rozpozná

Aby organizace rozpoznala změny role dříve, než se stanou problémem, musí vědět, jaké systémy existují, kdo je upravuje a kdo je komu předává dál. To vyžaduje inventarizaci, která přesahuje seznam schválený IT oddělením, a pevné místo, kde se zaznamenávají rozhodnutí o úpravách, předávání a přeznačování. Takové pevné místo a související otázky jsou popsány na stránce o seznamu rozhodnutí v rámci dohledu.

Responsible AI Scan je vytvořen právě proto, aby tyto posuny zviditelnil: jaké systémy fakticky běží, kdo je používá, kdo je upravil a jaká role z toho v danou chvíli vyplývá. Nástroj, který to podporuje, se právě vyvíjí; kdo by jej chtěl využít, může se přihlásit na pořadník.

Změna role se netýká jen governance. Pokud se systém posune z pouhého pomocného nástroje na něco, co strukturálně převezme část úkolu, změní se i otázka, kolik práce daný systém skutečně odvádí a kolik zůstává na lidech. Werkscan od FTE TO AI vypočítá u každého úkolu, jakou část práce lze převést na AI, a tím zpřehledňuje, kde se změna role v governance shoduje s faktickým posunem v rozdělení práce.