V zdravotníctve je vzťah medzi tým, čo je schválené, a tým, čo sa skutočne používa, iný než vo väčšine sektorov. Existuje už hustý systém preverovania: regulácia zdravotníckych pomôcok, kvalitatívne rámce, medicko-etické komisie pre posudzovanie, zodpovedné osoby pre ochranu údajov. Tento systém je vybudovaný okolo fyzických zariadení, liekov a liečebných protokolov. AI-nástroje sa medzi ne často prešmyknú, pretože neboli obstarané ako pomôcka, ale používajú sa ako pomôcka. Jazykový model, ktorý sa spoluúčastní pri čítaní pacientskeho dokumentu, transkripčný nástroj počas konzultácie, algoritmus, ktorý podporuje triage: žiadna z týchto aplikácií nemusela prejsť existujúcim schvaľovacím procesom, a napriek tomu sa denne používa.
K tomu sa pridáva, že záujmy v zdravotníctve majú väčšiu váhu než v mnohých iných sektoroch. Nejde len o chod organizácie, ale o bezpečnosť pacientov, medicko-etickú zodpovednosť a dôveru pacientov, že to, čo sa deje s ich údajmi, prebieha kontrolovaným spôsobom. To robí otázku „čo tu vlastne beží“ naliehavejšou než inde, a zároveň ťažšie zodpovedateľnou, pretože zdravotnícki profesionáli pracujú pod časovým tlakom a nástroj, ktorý pomáha, sa nenahlási rýchlo, ak sa hlásenie javí ako zbytočná zachádzka.
IT oddelenie zdravotníckeho zariadenia má zoznam schválených systémov. Tento zoznam je východiskovým bodom, nie realitou. Lekár, ktorý používa jazykový model na koncept prepúšťacej správy, zdravotná sestra, ktorá si overuje liekové interakcie pomocou aplikácie, sekretariát, ktorý nasadzuje rozpoznávanie reči mimo oficiálneho systému dokumentácie: takéto používanie vzniká, pretože prináša výsledky v práci, nie preto, že bolo požadované. Nikto to nechcel zatajovať. Jednoducho sa na to nikdy nespýtali, a kto sa spýta, musí to urobiť bez toho, aby mu hrozila sankcia. Len tak vznikne pravdivá odpoveď, a len s pravdivou odpoveďou môže organizácia vedieť, kde sa riziká skutočne nachádzajú.
Po inventarizácii nasleduje klasifikácia: akú rolu zohráva daná AI-aplikácia a aká úroveň rizika k tomu patrí. V zdravotníctve je toto rozlíšenie výrazné. Nástroj, ktorý zhŕňa poznámky pre vlastné použitie zdravotníckeho pracovníka, má inú váhu než systém, ktorý sa spoluúčastní na diagnóze alebo na rozhodnutí o kapacite liečby. Samotnú klasifikáciu určuje regulácia, ktorá je nad rámec tejto stránky a ktorá sa neustále vyvíja; aktuálne zaradenie a súvisiace povinnosti sú uvedené inde. Dôležitý je tu mechanizmus: každá aplikácia získa miesto v rozdelení podľa funkcie a dopadu, aby bolo jasné, ktoré aplikácie si vyžadujú pozornosť a ktoré nie.
Zdravotnícke zariadenia nezačínajú od nuly. Existujú už komisie pre posudzovanie, systémy kvality, zodpovedné osoby pre ochranu údajov a interné audítorské procesy. Prístup k governance pre AI, ktorý s tým nesúvisí, sa stane ďalšou vrstvou, ktorú nikto neudržiava. Prístup, ktorý nadväzuje na existujúcu štruktúru, sa stane súčasťou toho, čo sa už deje: rovnaká komisia, ktorá posudzuje novú zdravotnícku pomôcku, posudzuje aj novú AI-aplikáciu; rovnaký register rizík získa rubriku pre AI vedľa rubrík, ktoré tam už sú. To si nevyžaduje nové zariadenie, ale rámec, ktorý zapadá do toho, čo organizácia už robí.
Predstavenstvo, dozorný orgán alebo inšpekcia chcú vidieť, čo sa deje, nie predpokladať, že je to pod kontrolou. Preukázateľnosť znamená, že existuje aktuálny prehľad toho, ktoré AI-aplikácie sú v používaní, kto ich používa, aká úroveň rizika k nim patrí a aké dohody boli okolo nich uzavreté. Tento prehľad nie je jednorazový dokument. Zdravotnícke zariadenia neustále menia systémy a personál preberá nástroje z jedného oddelenia na druhé. Súbor governance, ktorý toto sleduje, je použiteľný v okamihu, keď sa vyžaduje zodpovednosť, a nielen v okamihu, keď bol vytvorený.
Kombinácia strohého existujúceho preverovania a rýchlo rastúceho neformálneho používania nie je jedinečná pre zdravotníctvo, hoci tu získava naliehavejší náboj vzhľadom na pacienta, ktorý stojí na konci reťazca. Organizácie, ktoré chcú vidieť, ako sa podobné otázky riešia v inom kontexte, sa môžu pozrieť na to, ako sa AI-governance vo vzdelávaní vyrovnáva s podobným napätím medzi povinnosťou starostlivosti a praktickým používaním, na spôsob, akým AI-governance v obchodných službách chráni dôvernosť a záujmy klienta, alebo na to, ako AI-governance vo výrobnom sektore zaobchádza so systémami, ktoré priamo zasahujú do fyzického procesu.
Ako sa ozrejmí, ktoré AI-aplikácie sú v prevádzke a pod akou úrovňou rizika spadajú, zostáva iná otázka nezodpovedaná: čo toto používanie znamená pre samotnú prácu. Inventarizácia governance ukazuje, čo je v prevádzke, nie koľko času to uvoľňuje alebo ktorú časť úlohy je možné skutočne prevziať. Táto otázka leží mimo governance a v rámci pracovného skenu FTE TO AI, ktorý pre každú úlohu vypočíta, akú časť práce je možné previesť na AI. Pre zdravotnícke zariadenie, ktoré chce najprv získať prehľad o tom, čo sa používa, a potom chce vedieť, čo toto používanie znamená pre nasadenie personálu, táto druhá otázka logicky nasleduje po prvej.
Vraag maar. Governance begint bij weten wat er draait — ook wat niemand heeft goedgekeurd.
Answers come from this site’s knowledge base. Not tailored advice, and not a scan of your company.