Ve zdravotnictví je vztah mezi tím, co je schváleno, a tím, co se skutečně používá, jiný než ve většině sektorů. Existuje zde už hustý systém posuzování: regulace zdravotnických prostředků, kvalitativní rámce, medicko-etické komise pro posuzování, pověřenci pro ochranu osobních údajů. Tento systém je vybudován kolem fyzických přístrojů, léčiv a léčebných protokolů. AI nástroje se přes něj často proplíží, protože nebyly zakoupeny jako pomocný prostředek, ale používají se jako pomocný prostředek. Jazykový model, který spolu-čte v pacientské dokumentaci, přepisovací nástroj během konzultace, algoritmus, který podporuje triáž: žádná z těchto aplikací nemusela projít stávající schvalovací trasou, aby se přesto denně používala.
K tomu přistupuje skutečnost, že zájmy ve zdravotnictví váží těžší než v mnoha jiných sektorech. Nejde jen o provoz podniku, ale o bezpečnost pacienta, medicko-etickou odpovědnost a důvěru pacientů, že to, co se děje s jejich údaji, probíhá pod kontrolou. To dělá otázku „co tady vlastně běží“ naléhavější než jinde, a zároveň těžší zodpovědět, protože zdravotničtí pracovníci pracují pod časovým tlakem a nástroj, který pomáhá, se nenahlásí rychle, pokud se hlášení pociťuje jako zajížďka.
IT oddělení zdravotnického zařízení má seznam schválených systémů. Tento seznam je výchozí bod, ne skutečnost. Lékař, který používá jazykový model k formulaci konceptu propouštěcí zprávy, zdravotní sestra, která konzultuje aplikaci pro lékové interakce, sekretariát, který nasazuje rozpoznávání řeči mimo oficiální systém dokumentace: tento druh používání vzniká, protože přináší výsledky práci, ne proto, že by byl požadován. Nikdo to nechtěl zatajovat. Prostě se na to nikdy nezeptalo, a kdo se zeptá, musí to udělat, aniž by mu hrozila sankce. Jen tak vznikne upřímná odpověď, a jen s upřímnou odpovědí může zařízení vědět, kde se rizika skutečně nacházejí.
Po inventarizaci následuje klasifikace: jakou roli zastává AI aplikace a jaká úroveň rizika k ní patří. Ve zdravotnictví je tento rozdíl ostrý. Nástroj, který shrnuje poznámky pro vlastní použití zdravotnického pracovníka, nese jinou váhu než systém, který se podílí na diagnóze nebo na rozhodnutí o kapacitě léčby. Klasifikaci samotnou určuje regulace, která přesahuje rámec této stránky a která se neustále vyvíjí; aktuální rozdělení a s ním spojené povinnosti jsou uvedeny jinde. Co zde platí, je mechanismus: každá aplikace získá místo v rozdělení podle funkce a dopadu, aby bylo jasné, které aplikace vyžadují pozornost a které nikoli.
Zdravotnická zařízení nezačínají od nuly. Existují už komise pro posuzování, systémy kvality, pověřenci pro ochranu osobních údajů a interní auditní trasy. Přístup ke governance AI, který je od toho odtržený, se stane další vrstvou, kterou nikdo neudržuje. Přístup, který navazuje na stávající strukturu, se stane součástí toho, co se už děje: stejná komise, která posuzuje nový pomocný prostředek, posuzuje i novou AI aplikaci; stejný registr rizik získá rubriku pro AI vedle rubrik, které tam už jsou. To nevyžaduje nové zařízení, ale rámec, který zapadá do toho, co zařízení už dělá.
Rada vedení, dohledový orgán nebo inspekce chtějí vidět, co se děje, ne předpokládat, že je to pod kontrolou. Prokazatelnost znamená, že existuje aktuální přehled o tom, jaké AI aplikace se používají, kdo je používá, jaká úroveň rizika k nim patří a jaké dohody kolem toho byly uzavřeny. Tento přehled není jednorázový dokument. Zdravotnická zařízení neustále mění systémy a personál přenáší nástroje z jednoho oddělení na druhé. Sada nástrojů governance, která to sleduje, je použitelná ve chvíli, kdy je vyžadováno vysvětlení, a ne jen ve chvíli, kdy byla sestavena.
Kombinace strogého stávajícího posuzování a rychle rostoucího neformálního používání není unikátní pro zdravotnictví, i když zde získává ostřejší náboj kvůli pacientovi, který stojí na konci řetězce. Zařízení, která chtějí vidět, jak se podobné otázky řeší v jiném kontextu, se mohou podívat na to, jak AI-governance ve vzdělávání zachází s podobným napětím mezi povinností péče a praktickým používáním, na způsob, jakým AI-governance v odborných službách hlídá důvěrnost a zájem klienta, nebo na to, jak AI-governance ve výrobním průmyslu zachází se systémy, které přímo zasahují do fyzického procesu.
Jakmile je jasné, jaké AI aplikace běží a pod jakou úroveň rizika spadají, zůstává otevřená jiná otázka: co toto používání znamená pro samotnou práci. Inventarizace governance ukazuje, co běží, ne kolik času to uvolňuje nebo jakou část úkolu lze skutečně převzít. Tato otázka leží mimo governance a v rámci pracovního skenu FTE TO AI, který pro každý úkol vypočítá, jakou část práce lze převzít pomocí AI. Pro zdravotnické zařízení, které chce nejprve přehled o tom, co se používá, a poté chce vědět, co toto používání znamená pro nasazení personálu, navazuje tato druhá otázka logicky na první.
Vraag maar. Governance begint bij weten wat er draait — ook wat niemand heeft goedgekeurd.
Answers come from this site’s knowledge base. Not tailored advice, and not a scan of your company.