Kennisbank

Kedy sa zmení vaša rola a od čoho to závisí

Mnohé organizácie predpokladajú, že ich rola je pevne stanovená: sú používateľom systému, ktorý postavil dodávateľ, a povinnosti, ktoré s tým súvisia, sú jasné a trvalé. Tento predpoklad je často správny, ale nie vždy. Rola, ktorú má organizácia vo vzťahu k AI-systému, nie je fixný štítok. Je výsledkom toho, čo sa so systémom skutočne deje, a tento výsledok sa môže zmeniť bez toho, aby sa podpísala nová zmluva alebo urobil nový nákup.

Od čoho závisí zaradenie

Zaradenie roly závisí od viacerých faktických prvkov, nie od toho, ako dodávateľ systém nazýva alebo ako ho interne pozicionuje určité oddelenie. Relevantné je okrem iného, kto systém uviedol na trh, kto systém skutočne používa v rámci vlastného procesu, a kto systém upravil po jeho dodaní. Počíta sa aj pod akým názvom sa systém prezentuje navonok, a či organizácia systém ďalej poskytuje iným bez toho, aby ho sama používala. Tieto prvky spolu určujú, či organizácia vystupuje ako poskytovateľ, ako používateľ, alebo ako strana, ktorá sa nachádza niekde medzi tým.

Dôvod, prečo je to relevantné pre governance, je, že rola určuje, ktoré povinnosti pripadajú ktorej strane. Organizácia, ktorá je len používateľom, má iné povinnosti než organizácia, ktorá fakticky koná ako poskytovateľ. Čo sa presne očakáva od každej roly, je popísané inde; tu ide o mechanizmus, ktorý určuje, ktorá rola sa uplatňuje, a o zaznamenanie momentu, kedy tento mechanizmus prináša iný výsledok než predtým.

Čo sa zmení, keď sa zmení situácia

Rola nie je viazaná na systém počas celej jeho životnosti. Je viazaná na to, čo sa v danom okamihu skutočne deje. To znamená, že tá istá organizácia môže pri tom istom systéme v dvoch rôznych momentoch spadať do inej roly. Niekoľko situácií, kedy k tomu dochádza: tím, ktorý finetunuje zakúpený model na vlastných dátach, oddelenie, ktoré systém prelabeluje a ponúka ho pod vlastným názvom iným oddeleniam, alebo organizácia, ktorá systém pôvodne určený na interné použitie ďalej poskytuje klientovi alebo partnerovi. V každom z týchto prípadov sa faktická rola posúva, hoci navonok sa mení len málo.

Čo sa v praxi zmení, nie je abstraktné. Určuje, kto je zodpovedný za dokumentáciu, kto musí preukázateľne dokázať, že systém robí to, čo tvrdí, a kto musí reagovať, keď sa niečo pokazí. Viac o tom, čo presne sa zmení, keď sa model upraví, je popísané na stránke o úpravách modelu. Tento posun je jedným z najjasnejších príkladov toho, ako sa rola zmení bez toho, aby jej predchádzalo vedomé rozhodnutie.

Prečo je to relevantné pre governance

Dôvod, prečo je táto téma relevantná nielen z právneho, ale aj z organizačného hľadiska, je, že zmena roly sa často udeje bez povšimnutia. Tím, ktorý upraví model, myslí na technické zlepšenie, nie na zmenu zodpovednosti. Oddelenie, ktoré presunie nástroj na iné oddelenie, myslí na pohodlie, nie na novú rolu poskytovateľa. Governance, ktorá sleduje len to, čo bolo zakúpené, tieto posuny systematicky prehliada.

Toto súvisí s otázkou, ktoré aplikácie presne spadajú pod danú úpravu a ktoré nie; táto hranica je rozobraná na stránke o rozsahu pôsobnosti aplikácií. Systém, ktorý spočiatku pri nákupe nepatril do rozsahu pôsobnosti, sa doňho môže dostať v okamihu, keď sa zmení rola organizácie. To znamená, že nestačí posúdiť to jednorazovo pri nákupe; posudzovanie sa musí prispôsobovať tomu, čo sa so systémom skutočne deje.

Aj úroveň rizika aplikácie sa môže zmeniť spolu so zmenou roly. Čo presne znamená vysoká úroveň rizika pre povinnosti organizácie a od čoho to závisí, je vysvetlené na stránke o dôsledkoch vysokej úrovne rizika. Organizácia, ktorá sa v dôsledku zmeny roly zrazu stane poskytovateľom systému s vysokou úrovňou rizika, nesie iné povinnosti než keď bola len jeho používateľom.

Ako to organizácia rozpozná

Aby organizácia rozpoznala zmeny roly skôr, než sa stanú problémom, musí vedieť, aké systémy existujú, kto ich upravuje a kto ich komu ďalej posúva. To si vyžaduje inventár, ktorý ide ďalej než zoznam schválený oddelením IT, a pevné miesto, kde sa zaznamenávajú rozhodnutia o úpravách, ďalšom poskytovaní a prelabelovaní. Takéto pevné miesto, a otázky, ktoré s tým súvisia, sú popísané na stránke o zozname rozhodnutí v rámci dohľadu.

Responsible AI Scan je vytvorený tak, aby tieto posuny zviditeľnil: aké systémy skutočne bežia, kto ich používa, kto ich upravil, a aká rola z toho v danom okamihu vyplýva. Nástroj, ktorý to podporuje, sa pripravuje; kto ho chce využiť, môže sa prihlásiť na čakaciu listinu.

Zmena roly sa netýka len governance. Keď sa systém posunie od samostatného pomocného nástroja k niečomu, čo štruktúrovane prevezme časť úlohy, zmení sa aj otázka, koľko práce tento systém vlastne vykonáva a koľko jej ešte zostáva na ľuďoch. Pracovný scan FTE TO AI vypočíta pre každú úlohu, akú časť práce je možné preniesť na AI, a tak zviditeľní, kde sa zmena roly v governance zhoduje s faktickým posunom v rozdelení práce.