Otázka, zda je aplikace AI klasifikována jako vysoce riziková, zní jako technická kvalifikace. V praxi jde o zařazení, které závisí na řadě konkrétních faktorů, a toto zařazení následně určuje, kolik dohledu, dokumentace a prokazatelnosti se od vás očekává. Aktuální právní definice a prahové hodnoty nejsou na této stránce; ty najdete jinde. Zde vysvětlujeme, na čem toto zařazení závisí a co se ve vaší organizaci změní, pokud se toto zařazení změní.
Neexistuje jediný znak, který by aplikaci učinil vysoce rizikovou. Jde o kombinaci faktorů, které společně tvoří celkový obraz: oblast, ve které je aplikace nasazena, míra, do jaké má rozhodnutí přímý dopad na jednotlivce, a otázka, zda existuje člověk, který může doporučení nebo výsledek AI skutečně posoudit a případně opravit, než dojde k jeho účinku. Aplikace, která pouze shrnuje text, se v tomto zařazení obvykle liší od aplikace, která se podílí na rozhodnutí o jednotlivci. Roli hraje i kontext, ve kterém je aplikace používána: stejná podkladová technologie může být v jedné oblasti klasifikována jako nízkoriziková a v jiné jako vysoce riziková, v závislosti na tom, co se s výsledkem dále děje.
Toto je jeden z důvodů, proč seznam schváleného softwaru nestačí. Zařazení nezávisí na označení na obalu, ale na tom, jak je software skutečně používán a jaké místo zaujímá v rozhodovacím procesu.
Pokud je aplikace posouzena jako vysoce riziková, změní se to, co se od organizace očekává: více dokumentace o tom, jak aplikace funguje a jak byla testována, jasnější mechanismus dohledu nad výsledky a způsob, jak dodatečně prokázat, kdo na co dohlížel. Nejde o jednorázový úkon, ale o trvalou povinnost: dokumentace a dohled musí zůstat aktuální po celou dobu, kdy je aplikace používána.
Zařazení také není statické. Aplikace, která dnes platí za omezeně rizikovou, může být zítra nasazena jinak — v jiné oblasti, s větším dopadem na jednotlivce nebo s menším lidským zásahem než dříve. Kdo zařazení stanoví jednou a poté ho již nepřehodnocuje, riskuje, že klasifikace již neodpovídá skutečnému používání. Totéž platí pro aplikace, které jsou upravovány po jejich pořízení; to, co přesně se změní, pokud model sami upravíte, závisí na povaze této úpravy, jak je popsáno na stránce o úpravách modelu.
Klasifikace aplikace má smysl pouze tehdy, pokud se vztahuje na to, co se skutečně používá. Velká část používání v organizaci probíhá mimo oficiální evidenci: týmy, které nasazují jazykový model pro koncept e-mailu, analytik, který používá externí model pro první verzi zprávy, oddělení, které pořídilo nástroj, aniž by to nahlásilo. Toto používání nevzniká ze zlé vůle. Vzniká proto, že oficiální cesta je pomalejší než potřeba, nebo proto, že nikdo nevěděl, že je třeba nějakou cestu absolvovat.
Důsledkem je, že seznam IT oddělení zřídka podává úplný obraz. Kdo chce vědět, co je skutečně potřeba pro klasifikaci rizik, musí zmapovat samotné používání — a to vyžaduje pokládání otázek lidem, kteří danou práci vykonávají, aniž by to pro ně měla nějaké následky. Kdo už při prvním rozhovoru cítí, že upřímná odpověď bude mít následky, neodpovídá upřímně. To činí evidenci nepoužitelnou dříve, než je dokončena.
Ne každá aplikace AI spadá do rámce, ve kterém je klasifikace rizik relevantní. Některé aplikace svou povahou nebo účelem spadají mimo rozsah regulace, a je rozumné toto rozlišení provést včas, dříve než věnujete čas klasifikaci, která není potřebná; kterých aplikací se to týká, je popsáno na stránce o aplikacích, které spadají mimo rozsah povinností. Také role, kterou vaše organizace zastává — jako poskytovatel systému nebo jako jeho uživatel — ovlivňuje, jaké povinnosti jsou s klasifikací rizik spojeny, a tato role není vždy zřejmá předem; co je při tom rozhodující, si můžete přečíst na stránce o rozdílu mezi poskytovatelem a uživatelem. Tatáž role se mimochodem může změnit, jakmile systém upravíte nebo jej nabízíte pod vlastním jménem, což je dále vysvětleno na stránce o okolnostech, za kterých se vaše role změní.
Zařazení podle úrovně rizika téměř vždy vyvolává následující otázku, co je z toho naléhavé a co lze ještě naplánovat. Toto rozlišení není pro každou organizaci stejné a závisí na tom, které aplikace jsou již v provozu a které se stále vyvíjejí. Přehled toho, co obvykle vyžaduje pozornost jako první a co může následovat později, najdete na stránce o tom, co je nutné udělat nyní a co lze naplánovat.
Jakmile je jasné, které aplikace ve vaší organizaci platí za vysoce rizikové, vyvstává přirozeně další otázka: kolik z podkladové práce skutečně provádí AI a kolik lidé, kteří výsledek kontrolují nebo doplňují. Tato otázka nespadá do rozsahu tohoto skenu, ale je zodpovězena pracovním skenem FTE TO AI, který pro každý úkol vypočítá, jakou část práce lze rozumně převést na AI.
Vraag maar. Governance begint bij weten wat er draait — ook wat niemand heeft goedgekeurd.
Answers come from this site’s knowledge base. Not tailored advice, and not a scan of your company.