Kennisbank

Monitoring, ktorý sa skutočne používa

Problémom nie je chýbajúci monitoring

Väčšina organizácií už má niečo, čo sa volá monitoring. Dashboard, formát reportovania, periodické stretnutie, na ktorom sa preberajú riziká. Problémom nie je, že toto chýba. Problémom je, že AI-monitoring sa postaví vedľa toho ako samostatná súčasť, s vlastným rytmom, vlastným vlastníkom a vlastnou šablónou. Kto už má tri procesy na sledovanie rizika, nebude verne vyplňovať štvrtý proces. Stane sa z toho povinnosť, ktorá sa raz za štvrťrok odbaví narýchlo, alebo vôbec.

Toto je dôvod, prečo monitoring používania AI tak často nič neprináša. Nie preto, že by boli otázky nesprávne, ale preto, že samotný proces zostáva cudzím telesom v organizácii, ktorá už má procesy pre riziko, compliance a interné kontroly.

Čo patrí do skutočného monitoringu

Monitoring, ktorý niečo prináša, nezačína formátom, ale otázkou: čo sa mení a kto si to všimne prvý? Pri AI-systémoch to znamená tri vrstvy.

Prvou vrstvou je používanie: používa sa systém ešte tak, ako bolo zamýšľané, alebo sa jeho použitie posunulo bez toho, aby to niekto nahlásil? Nástroj, ktorý začal ako kontrola textu a teraz sa používa na formulovanie konceptov rozhodnutí, predstavuje iné riziko, než bolo stanovené na začiatku.

Druhou vrstvou je pôvod: je systém ešte rovnaký ako v čase, keď bol klasifikovaný? Podkladové modely sa nahrádzajú, dodávatelia menia podmienky, samostatný nástroj sa integruje do väčšej platformy. Každá zmena môže znehodnotiť pôvodné posúdenie rizika bez toho, aby to niekto znovu preskúmal.

Tretia vrstva je signál: existujú sťažnosti, chybové hlásenia alebo odchýlky, ktoré naznačujú, že niečo nefunguje tak, ako sa predpokladalo? Táto vrstva chýba najčastejšie, pretože nikto nemá záujem nahlásiť problém so systémom, ktorý oficiálne neexistuje.

Prečo sa druhý proces ignoruje

Organizácia, ktorá už má cyklus riadenia rizík pre operačné riziká, finančné riziká alebo ochranu údajov, nezačne nový cyklus pre AI. Nejde o neochotu; je to otázka kapacity. Kto sa o to pokúsi, uvidí dve veci. Buď nový monitoring ostane prázdny, pretože nikto nenájde čas napĺňať systém, o ktorý sa nikto nezaujíma. Alebo nový monitoring prevezmú tí isté ľudia, ktorí už riadia existujúci cyklus, a potom rozdiel sám o sebe zmizne.

Otázkou teda nie je, či treba vytvoriť samostatný proces AI-monitoringu. Otázkou je, ako sa AI-signály dostanú do existujúceho cyklu, aby sa prebrali na tom istom stretnutí, s tým istým vlastníkom a v tom istom rytme ako ostatné riziká. Ako sa to presne nastaví, závisí od toho, ako už teraz funguje existujúci cyklus: niektoré organizácie majú štvrťročné reportovanie pre audítorský výbor, iné majú mesačné stretnutie o rizikách na úrovni vedenia, ďalšie majú kontinuálny log, ktorý sa aktualizuje pri každom incidente. Viac o tom, ako zabudovať monitoring do toho, čo už funguje, namiesto toho, aby stál vedľa neho sa nachádza na samostatnej stránke, pretože tento mechanizmus sa v každej organizácii nastavuje inak.

Dokument, ktorý je k dispozícii, keď sa naň niekto spýta

Čo do toho zapadá univerzálne, je pevná forma, v ktorej sa zaznamenáva stav AI-systémov: čo je v prevádzke, v akej role, s akou úrovňou rizika, a kedy to bolo naposledy potvrdené. Nie ako samostatný AI-dokument, ale ako príloha alebo pevná súčasť reportovania, ktoré už existuje. To môže naväzovať na board-report na jednu stranu, ktorý zhŕňa riziká bez toho, aby ich zahaľoval, takže monitoring sa nestane samostatným prúdom informácií, ale riadkom v tabuľke, ktorú riaditeľ už tak či tak čita.

Táto forma funguje len ak samotná podkladová klasifikácia zostáva aktuálna, a táto klasifikácia musí zase naväzovať na štruktúru riadenia rizík, ktorá už existuje. Bez tohto naviazania zostáva monitoring druhým jazykom vedľa prvého, a tento druhý jazyk sa zabudne, hneď ako tlak vzrastie. Ako toto naviazanie vypadá, závisí od toho, ako sa štruktúra riadenia rizík a klasifikácia AI stretávajú v tom, čo organizácia už používa, a nie je to možné popísať vo všeobecných pojmoch bez toho, aby sme poznali existujúcu štruktúru.

To, čo monitoring nájde, ide ďalej než dokument

Monitoring, ktorý dobre funguje, signalizuje nielen riziko, ale aj posun: systémy, ktoré sa používajú inak, než bolo zamýšľané, alebo úlohy, ktoré boli ticho prevzaté bez toho, aby to niekto zaznamenal. Tieto isté signály sú aj informáciou o tom, čomu ľudia skutočne venujú čas, a kde AI fakticky už preberá prácu bez toho, aby to bolo niekde zapísané. Kto chce túto otázku konkretizovať viac, než umožňuje klasifikácia rizika, môže sa pozrieť na pracovnú analýzu (werkscan) FTE TO AI, ktorá ukazuje, aká časť práce podľa jednotlivých úloh prichádza do úvahy pre AI, nezávisle od toho, či sa to už deje, alebo sa o tom ešte musí rozhodnúť. Táto analýza nepočíta v riziku, ale v úlohách a hodinách, a tým naväzuje na to, čo monitoring signalizuje, bez toho, aby to vysvetľovala.