re-ai-gov Na čekací listinu

Kennisbank

Na čem závisí úroveň rizika AI aplikace

Zařazení není nálepka, je to výsledek

Otázka, zda AI aplikace ve vaší organizaci platí za vysoce rizikovou, není otázka, kterou zodpovíte jednou a pak odškrtnete. Je to výsledek řady faktorů, které společně určují, jak závažně aplikace váží. Změní-li se jeden z těchto faktorů, může se změnit i zařazení. To dělá z klasifikace rizika méně otázku vyplňování a více otázku sledování.

Tato stránka popisuje mechanismus za tímto zařazením: na čem závisí a co se stane, když se situace změní. Aktuální zákonné definice a prahové hodnoty jsou uvedeny jinde; zde jde o to, co musíte umět ve vlastní organizaci vidět a prokázat.

Co ovlivňuje zařazení

Při posuzování, zda aplikace váží závažně, hraje strukturálně roli řada faktorů.

Prvním je oblast, ve které je aplikace nasazena. Některé oblasti — pomyslete na rozhodnutí o lidech, jejich příležitostech nebo jejich právech — váží závažněji než aplikace, které jsou výhradně vnitřní a podpůrné. To, co aplikace v rámci této oblasti přesně dělá, přitom hraje rozdíl: systém, který radí, váží jinak než systém, který automaticky rozhoduje.

Druhým faktorem je role, kterou vaše organizace hraje vůči systému. Vytváříte jej sami, nakupujete jej, nebo používáte službu, v níž je AI zapracována, aniž byste ji jako takovou nakoupili? Role, kterou zastáváte — poskytovatel nebo uživatel — mimo jiné určuje, jaké povinnosti na vás leží a jaká část odpovědnosti zůstává u dodavatele.

Třetím faktorem je to, co se s modelem děje po prvním nasazení. Systém, který se používá nezměněný tak, jak byl dodán, je jiná situace než systém, který doladíte, překonfigurujete nebo necháte učit se na vlastních datech. Co se změní, když model sami upravíte je tedy otázka, kterou je třeba zodpovědět samostatně — úprava může způsobit, že systém přejde do jiné kategorie.

Čtvrtým faktorem je rozsah: kolik lidí je zasaženo, s jakou frekvencí a jak vratná je chyba. Aplikace, která se používá příležitostně malým týmem, váží jinak než aplikace, která denně ovlivňuje rozhodnutí pro tisíce klientů.

Proč se zařazení stejné aplikace může změnit

Tyto faktory nejsou statické. Aplikace, která dnes platí za omezené riziko, jím zítra už nemusí být — nikoli proto, že se změnila pravidla, ale proto, že se změnila samotná aplikace. Pilotní projekt, který se rozšíří na celou organizaci, vnitřní pomůcka, která začne ovlivňovat proces zákazníka, model, který se dodatečně trénuje na nových datech: každý z těchto kroků může zařazení převrátit.

To znamená, že klasifikace není jednorázové cvičení. Je to otázka, kterou je třeba znovu a znovu klást, jakmile se něco změní na tom, co systém dělá, koho zasahuje nebo kdo jej správuje. Struktura řízení, která to nesleduje, zaostává za praxí.

Co do tohoto zařazení nespadá

Nemusí každá AI aplikace absolvovat celý tento proces. Část toho, co v organizaci běží, spadá mimo rozsah klasifikace rizika — například proto, že se nedotýká rozhodnutí o lidech nebo má výhradně podpůrnou, nikoli rozhodující funkci. Kde přesně tato hranice leží a jaké aplikace spadají mimo rozsah, závisí na stejných faktorech, jak je popsáno výše: oblast, role, úprava a rozsah. Není to tedy samostatný seznam, ale druhá strana téhož posouzení.

Od zařazení k jednání

Zařazení samo o sobě nic nezmění. Určuje pouze to, jaké následné kroky jsou na místě a s jakou naléhavostí. Některé úkony jsou nutné okamžitě, jiné lze naplánovat — a co je třeba udělat nyní a co lze naplánovat opět souvisí s tím, jak závažně aplikace váží a kolik lidí zasahuje.

Aby byly tyto kroky viditelné a dohledatelné, musí být rozhodnutí o klasifikaci a navazujících opatřeních někde zaznamenána — nikoli jako jednotlivé poznámky, ale jako součást seznamu rozhodnutí dohledu, který ukazuje, kdo co rozhodl a na základě jakých informací. Bez tohoto záznamu je zařazení pouze momentkou, kterou už nikdo nedokáže zpětně zrekonstruovat.

Proč to nelze bez úplného přehledu

Na tuto otázku zařazení lze dobře odpovědět pouze tehdy, je-li známo, co se skutečně provozuje. IT seznam schválených nástrojů k tomu nestačí: velká část používání vzniká mimo tento seznam, v týmech, které začaly nástroj používat, aniž by to kdekoli nahlásily. Kdo chce toto používání zmapovat, musí se na něj zeptat — a to udělat pouze tehdy, když s tím není spojeno žádné vyúčtování, jinak odpověď nepřijde.

Další otázka: kolik je to práce a kde

Jakmile je jasné, jaké aplikace existují a jak váží, vzniká navazující otázka, která se již netýká rizika, ale práce: jakou část úkolu může převzít systém AI a jaká část zůstává lidskou prací. Na tuto otázku odpovídá pracovní skenování FTE TO AI, které pro každý úkol vypočítává, jakou část práce lze převzít — jiný úhel pohledu než klasifikace rizika, ale ten, který navazuje na stejný inventář.

Tato stránka popisuje mechanismus za zařazením. Samotný Responsible AI Scan je ve vývoji; kdo chce jeho výsledky použít, jakmile budou k dispozici, může se přihlásit na čekací listinu.

Andrewde assistent van de Responsible AI Scan

Vraag maar. Governance begint bij weten wat er draait — ook wat niemand heeft goedgekeurd.

Answers come from this site’s knowledge base. Not tailored advice, and not a scan of your company.