re-ai-gov Na čekací listinu

Kennisbank

AI-governance u bank, pojišťoven a správců aktiv

Sektor, který je na dohled už zvyklý

Finanční služby znají řízení rizik jako obor. Existují už rámce pro úvěrové riziko, operační riziko, modelové riziko a compliance. Právě proto je AI-governance zde odlišná od sektorů, které začínají s čistým štítem: otázka není, zda existuje riziková struktura, ale zda do ní byla AI již zahrnuta, nebo zda vyrostla vedle ní. Modely pro úvěrové skórování, detekci podvodů nebo segmentaci klientů často existují déle, než na ně bylo nalepeno označení 'AI'. Otázka governance tedy nezní: stavíme něco nového, ale: pokrývá stávající dohled ještě to, co je nyní v provozu.

Vztah mezi tím, co je známo komisi pro modelové riziko nebo compliance oddělení, a tím, co je skutečně v provozu, se u jednotlivých institucí značně liší. U jedné instituce prošlo prakticky vše validačním procesem, u jiné běží vedle schválených modelů i nástroje, které si jednotliví zaměstnanci nebo týmy začali sami používat, aniž by je někdo dal posoudit. Jaký poměr platí pro konkrétní organizaci, nelze určit, aniž by se to prověřilo.

Modelové riziko a riziko AI nejsou automaticky totéž

Instituce se zralým rámcem modelového rizika někdy předpokládá, že tím je AI již pokryta. Řízení modelového rizika je postaveno na statistických modelech s pevným vstupem a výstupem. Jazykový model, který shrnuje dotazy klientů, nástroj, který generuje koncept textu pro doporučující dopis, nebo systém, který prohledává smlouvy, nespadá vždy do této definice a proklouzne tak stávající sítí. Otázka governance tedy nezní jen, jaké modely existují, ale i které nástroje jsou rozpoznány jako AI a které nikoli.

Kromě toho je rozhodující role AI v procesu. Nástroj, který podporuje poradce při sestavování doporučení, je něco jiného než nástroj, který doporučení sám generuje nebo ovlivňuje rozhodnutí o akceptaci. Stejná technologie může být v jedné aplikaci pomůckou a v jiné článkem, který přímo souvisí s rozhodnutím vůči klientovi. Klasifikace podle role a úrovně rizika je proto nutná, než může instituce určit, jaká úroveň dohledu se hodí k jaké aplikaci.

Stínová AI v sektoru s důvěrnými údaji

IT seznam schválených aplikací není totéž, co se skutečně používá. Zaměstnanci ve finančních službách pracují s klientskými dossiers, transakčními údaji a důvěrnými informacemi o poradenství, a právě tato skupina není imunní vůči vložení textu do bezplatného chatovacího okna, aby rychleji získala shrnutí nebo koncept odpovědi. Jak se toto riziko konkrétně projevuje a co proti němu lze podniknout, je popsáno v postupu proti firemním datům v bezplatném chatovacím okně.

Důvod, proč toto používání zůstává neviditelné, je jen zřídka neochota. Častěji je to důsledek nejasnosti o tom, co je a co není povoleno, ve spojení s časovým tlakem. Kdo chce vědět, co se skutečně používá, musí se na to zeptat přímo, a to funguje jen tehdy, pokud se zaměstnanci nebojí sankce za svou odpověď. Přístup, který s tím počítá, je vysvětlen na stránce o zmapování nástrojů, které nikdo neschválil.

Prokazatelnost vůči dozorčímu orgánu a vedení

Co finanční služby rovněž odlišuje, je zvyk skládat účty. Risk manažer nebo General Counsel v tomto sektoru je zvyklý ukázat dozorčímu orgánu nebo dozorčí radě, jak bylo riziko posouzeno a jaká opatření z toho vyplývají. Pro AI to znamená, že inventura nemůže stát mimo stávající rizikový rámec; musí do něj zapadnout, se stejným rozdělením do rizikových tříd a stejnými linkami reportingu, které již platí pro jiné kategorie rizik. Sada governance, která je postavena vedle stávajícího rámce, místo aby do něj byla zahrnuta, přinese při dalším kole auditu jen víc práce, ne opěrný bod.

Obsah pravidel, která se na AI vztahují, se mění a je aktualizován jinde. Tato stránka popisuje mechanismus: zjistit, co je v provozu, klasifikovat podle role a rizika a výsledek zabudovat do stávajících struktur governance, aby instituce měla na dotaz dozorčího orgánu nebo vedení odpověď, která navazuje na to, jak je riziko již řízeno.

Co ukazují jiné sektory

Napětí mezi stávajícím dohledem a novým používáním AI není jedinečné pro finanční služby. Podobné vzorce lze vidět ve způsobu, jakým je governance kolem AI zaváděna v energetickém sektoru, ve způsobu, jak se stavebnictví vyrovnává s aplikacemi AI na pracovišti a v procesu návrhu, a v tom, jak se sektor nemovitostí dívá na AI v ocenění a správě. Liší se nikoli mechanismus, ale místo, kde riziko dopadá: u banky nebo pojišťovny je to často rozhodnutí, které přímo zasahuje klienta.

Od inventury k rozdělení práce

Inventura používání AI a odpovídající klasifikace rizik ukazují, co je v provozu a pod jakým dohledem by to mělo spadat. Neukazují, co toto používání znamená pro rozdělení práce samotné: která část úkolu, jako je sestavení doporučující zprávy, prověření dossieru nebo shrnutí rozhovoru s klientem, se hodí k převzetí AI a která část zůstává u zaměstnance. Tato otázka je mimo dosah governance skenu a odpovídá na ni pracovní sken FTE TO AI, který pro každý úkol vypočítá, jakou část práce lze převést na AI.

Andrewde assistent van de Responsible AI Scan

Vraag maar. Governance begint bij weten wat er draait — ook wat niemand heeft goedgekeurd.

Answers come from this site’s knowledge base. Not tailored advice, and not a scan of your company.