Odpovědnost za chybu aplikací AI

Aplikace AI udělá chybu. Rozhodnutí není správné, doporučení je zavádějící, klient je neoprávněně odmítnut. Otázka, která pak následuje, není jen technická. Kdo to měl předvídat, kdo systém provozoval a kdo umí vysvětlit, proč byl nasazen tak, jak byl nasazen.

Tato odpověď neexistuje odděleně od registru. Odpovědnost předpokládá, že někdo ví, že aplikace existuje, k čemu slouží a kdo za ni odpovídá. Bez tohoto základu je otázka odpovědnosti řečnická: nikdo to neví, takže to nikdo nemůže vysvětlit.

Co inventář řeší a co ne

Responsible AI Scan mapuje, co je v provozu, kdo to používá a s jakou úrovní rizika je to spojeno. To je výchozí bod, ne výrok o vině. Scan klasifikuje aplikaci podle role a rizika; nehodnotí, zda bylo konkrétní rozhodnutí správné. Toto hodnocení patří k samotnému incidentu, ne k inventáři, který mu předcházel.

Co scan skutečně dělá, je poskytnutí struktury, v rámci které je toto hodnocení později možné provést. Pokud je známo, kdo aplikaci pořídil, kdo ji provozuje a pro jaký účel byla schválena, existuje linie, na kterou se lze odvolat. Pokud tato struktura chybí, otázka odpovědnosti se změní na dodatečné hádání.

Seznam IT není praxe

Většina organizací má přehled schváleného softwaru. Tento přehled je téměř nikdy úplný. Zaměstnanci používají nástroje, které nikdo nenahlásil, často proto, že práce jde rychleji a nikdo se na to nezeptal. To nemusí být nezodpovědné chování; je to to, co se stane, když organizace nenabídne jinou cestu.

Kdo chce vědět, co se skutečně používá, musí se zeptat. A to funguje jen tehdy, když se ptaní neváže na následky. Jakmile zaměstnanec předpokládá, že upřímná odpověď vede k nápravnému pohovoru, odpověď se zastaví. Co dělat se zaměstnanci, kteří používají nástroj, jenž nikdo neschválil se věnuje přesně tomuto mechanismu: inventář je tak dobrý, jako je důvěra, se kterou je shromažďován.

S tím souvisí i otázka, co se stane s firemními informacemi, jakmile jsou napsány do externího okna. Co dělat s firemními daty v bezplatném chatovacím okně popisuje riziko, které nesouvisí se zlým úmyslem: někdo prostě chce zkontrolovat text a při tom napíše i to, co nemělo být napsáno.

Prokazatelnost, ne záruka

Soubor pravidel řízení (governance), který následuje po inventáři, upravuje, kdo aplikaci schvaluje, kdo nad ní dohlíží a jak se to zaznamenává. To navazuje na strukturu řízení rizik, kterou organizace již má pro jiné oblasti: stejné výbory, stejné linie reportování, stejné cesty eskalace. Nevzniká nový aparát vedle stávajícího; ke stávajícímu se přidává nová kategorie.

Toto přináší prokazatelnost: představenstvo může ukázat, že se prověřilo, klasifikovalo a zavedl se dohled. Nepřináší to záruku, že aplikace už nikdy neudělá chybu. Tyto dvě věci jsou odlišné a scan se k druhé nevyjadřuje. Co poskytuje, je základ, na kterém může představenstvo vysvětlit, co bylo uděláno, ne pojistku proti tomu, co se ještě může stát.

Proč druhý proces obvykle nepřežije

Častou chybou je zavést samostatný proces pro AI, oddělený od stávající struktury řízení rizik a compliance. Tento proces zpočátku dostává pozornost a poté mizí do pozadí, protože nikdo nezůstává u udržování druhého systému vedle prvního. Proč je druhý proces vedle stávajícího ignorován vysvětluje, proč napojení na stávající struktury není otázkou efektivity, ale podmínkou pro to, aby něco přežilo.

K tomu patří i to, že inventář je okamžik, ne konečný bod. Přibývají nové aplikace, stávající mění funkci a klasifikace, která platila při zavedení, neplatí automaticky o rok později. Jak často je třeba znovu klasifikovat a jak udržet register AI aktuální popisují, co tato údržba v praxi vyžaduje, a proč register, který byl sestaven jen jednou, během krátké doby už neodpovídá skutečnosti.

Lidé, kteří s těmito aplikacemi pracují, jsou navíc součástí řešení, ne jen rizikem, které je třeba řídit. To, co zaměstnanci chápou a co nechápou o systémech, které používají, určuje, zda soubor pravidel řízení v praxi něco znamená. Co znamená gramotnost v oblasti AI pro vaše zaměstnance se věnuje tomuto aspektu.

Následující otázka

Kdo jednou ví, jaké aplikace AI jsou v provozu a kdo za ně odpovídá, přirozeně naráží na navazující otázku: která část práce, jež se dnes dělá manuálně, je vlastně vhodná k tomu, aby ji přebrala aplikace AI. To je jiná otázka než odpovědnost, ale opírá se o stejný inventář. Pracovní scan (werkscan) FTE TO AI počítá za každý úkol, jakou část práce lze převést na AI, jako další krok poté, co je jasné, co už je v provozu a kdo o tom rozhoduje.