re-ai-gov Na čekací listinu

Kennisbank

Pilot, který nikdy nebyl formálně ukončen

Jak zkušební instalace vzniká

Tým chtěl něco vyzkoušet. Chatbot pro dotazy klientů, skript, který shrnuje reporty, propojení s jazykovým modelem pro třídění e-mailů. Nebylo k tomu potřeba žádné velké rozhodnutí: někdo měl účet, API klíč nebo bezplatnou zkušební verzi, a během odpoledne to už běželo. Pilot fungoval, nebo fungoval dostatečně, a nikdo už neměl důvod ho vypnout.

Toto nejsou výjimka. Je to běžný způsob, jakým AI vstupuje do organizace. Ne prostřednictvím výběrového řízení nebo schváleného rozpočtu, ale prostřednictvím zkušební instalace, která přežije svůj vlastní zkušební status. Testovací fáze nebyla nikdy formálně uzavřena, protože nikdy neexistoval ani formální začátek, který by bylo možné uzavřít.

Proč to nezmizí samo

Pilot, který funguje, se používá. A co se používá, se stává závislostí. Tým, který vytvořil nástroj na shrnování reportů, možná už odešel, ale shrnutí přichází stále každý týden. Nikdo nemá za úkol to vypnout a nikdo nechce riskovat, že něco přestane fungovat, aniž by věděl, co to nahradí.

K tomu se přidává, že zkušební instalace obvykle nemá vlastníka v tom smyslu, jaký očekává struktura governance. Nebyla vytvořena žádná klasifikace rizik, nebyla provedena žádná analýza dat, nebylo přijato žádné rozhodnutí o tom, kdo je odpovědný, pokud se něco pokazí. Pilot existuje v mezeře: příliš používaný, aby se ignoroval, příliš neformální, aby se řídil. Je to přesně vzorec, který vede k situaci, kdy zaměstnanci používají nástroj, který nikdo neschválil — jen na úrovni týmu, ne jednotlivce.

Proč vyvozování viny problém zhoršuje

Reflex při odhalení neautorizované zkušební instalace je často: kdo tohle povolil a proč jsme o tom nevěděli. Tato otázka je pochopitelná, ale působí opačně. Kdo už při první rozhovoru cítí, že se blíží otázka viny, příště neřekne už nic. A další zkušební instalace — která nepochybně přijde — se pak stejně dobře ztratí z dohledu jako tato.

Inventarizace postavená na důvěře přináší více než audit postavený na kontrole. Ne proto, že by lidé nemuseli nic skrývat, ale protože informace, kterou hledáte, je u uživatele, a ten uživatel promluví jen tehdy, když nebude sankcionován za to, co si myslí.

Co lze se zkušební instalací udělat

Jakmile je zkušební instalace zjištěna, první otázkou není, zda může dál existovat, ale co přesně dělá. Jaká data do ní vstupují, kdo používá výstup a co se stane, pokud je výstup chybný. Jsou to stejné otázky, které platí pro jakoukoli jinou AI aplikaci, a odpověď určuje, zda se jedná o neformální pomůcku, nebo o riziko, které si zaslouží pozornost.

Poté následuje klasifikace: zapadá aplikace do kategorie rizika, která již existuje, nebo si vyžaduje nové posouzení. Následně: co je třeba zaznamenat, aby bylo prokazatelné, že organizace ví, co je v provozu a proč. Přesně tím se zabývá co je třeba zaznamenat u každé aplikace — nikoli jako další byrokracie, ale jako minimální dokumentace nutná k odlišení pilotu od rizika.

Zkušební instalace, která tuto zkoušku obstojí, může nadále existovat, nyní s vlastníkem a klasifikací. Zkušební instalace, která zkoušku neobstojí, musí být ukončena — ale je to řízený proces, ne propuštění osoby, která ji kdysi spustila.

Širší souvislosti: stínová AI je pravidlem, ne výjimkou

Zkušební instalace, kterou nikdo nikdy nevypnul, je jednou formou širšího vzorce. Vezměte si rozšíření prohlížeče s přístupem k vaší poště, které si někdo kdysi nainstaloval, aby ušetřil čas, nebo firemní data, která skončí v bezplatném chatovacím okně, protože to bylo rychlejší než oficiální nástroj. Všechny tyto situace mají společný rys: vznikly z praktické potřeby, ne z rozhodnutí v rámci politiky, a přetrvávají, dokud se na ně nikdo nezeptá.

Seznam IT oddělení se schválenými nástroji tedy není výchozím bodem inventáře — je výchozím bodem pátrání po tom, co se do tohoto seznamu nevejde. Kdo chce vědět, jak takové pátrání vypadá, najde postup v jak vybudovat inventář AI.

Od inventáře k pochopení práce samotné

Zkušební instalace, která vyjde na světlo, obvykle vyvolá následnou otázku, která přesahuje governance: proč to vlastně fungovalo tak dobře, že se to nikdo neodvážil zastavit? To je otázka o práci samotné, nejen o riziku. Pracovní scan od FTE TO AI vypočítá pro každou úlohu, jakou část práce lze přenést na AI, a tím zviditelní to, co zkušební instalace už implicitně ukazovala: že část práce lze uspořádat jinak. Zatímco Responsible AI Scan mapuje, co je v provozu a s jakým rizikem, pracovní scan ukazuje, odkud toto využití pochází a co strukturálně znamená pro rozdělení úkolů.

Aktuální stav této součásti

Responsible AI Scan, s inventarizací, klasifikací a sadou pro governance popsanými výše, je ve vývoji. Kdo se s tím již nyní setkává a chce být informován, jakmile bude nástroj k dispozici, se může přihlásit na čekací listinu.

Andrewde assistent van de Responsible AI Scan

Vraag maar. Governance begint bij weten wat er draait — ook wat niemand heeft goedgekeurd.

Answers come from this site’s knowledge base. Not tailored advice, and not a scan of your company.