re-ai-gov Na čakaciu listinu

Kennisbank

Čo môžete urobiť proti AI, ktorú dodávateľ potichu pridal

Zmluva bola podpísaná predtým, než funkcia existovala

Dodávateľ dodáva účtovný systém, HR systém alebo nástroj na zákaznícky servis. Existuje zmluva, sprostredkovateľská zmluva, možno bezpečnostný audit. Potom dodávateľ v rámci aktualizácie pridá funkciu AI: automatickú klasifikáciu, textové návrhy, chatbota, ktorého nasadili na vaše dáta. Poznámky k vydaniu to označujú ako vylepšenie. Nikto vo vašej organizácii sa k tomu nemal možnosť vyjadriť, pretože nikto nevedel, že to príde.

Toto nie je výnimka v spôsobe, akým sa softvér dodáva. Stal sa z toho štandard. Dodávatelia súťažia na základe funkcií AI a zabudovávajú ich čo najrýchlejšie, často ako súčasť predplatného, ktoré už platíte. Otázka, či to spadá pod vaše existujúce dohody, sa kladie len zriedka predtým, než funkcia ide do prevádzky.

Prečo to samo od seba nevyjde najavo

Nákupné oddelenie preverí dodávateľa pri obstarávaní. Potom sa pozornosť presunie na faktúru, dostupnosť a podporu. Funkčné aktualizácie prebiehajú mimo tohto procesu, pretože spadajú pod údržbu, nie pod nové obstaranie. Kto by to mal oznámiť? Dodávateľ to vníma ako vylepšenie produktu. Nákupca aktualizáciu nevidí, alebo ju vidí a myslí si, že sa to týka niekoho iného. Používateľ v organizácii si väčšinou všimne len to, že tlačidlo robí niečo šikovnejšie, a nezamýšľa sa nad tým, či za tým stojí jazykový model, ktorý spracúva dáta externe.

Tento vzorec sa podobá na to, čo sa deje pri rozšírení prehliadača s prístupom k vašej pošte: prístup sa udelí vo chvíli, keď nikto na AI ani nepomyslel, a potom zostáva nepovšimnuto aktívny. U dodávateľov je problém rozsahu väčší, pretože sa netýka jedného zamestnanca, ale celej organizácie, ktorá je vystavená prostredníctvom jednej zmluvy.

Doložka je začiatok, nie riešenie

Zmluvné ustanovenie, ktoré vynucuje oznamovaciu povinnosť pri funkciách AI, pomáha pri nových zmluvách. Pri existujúcich zmluvách toto ustanovenie chýba a nie je samozrejmé, že ho dodávateľ prijme so spätnou účinnosťou. Okrem toho doložka nerieši problém detekcie: ak nikto pravidelne nekontroluje, čo dodávateľ skutočne pridal, oznámenie zostáva závislé od ochoty dodávateľa oznámiť to sám.

Čo funguje, je pevný okamžitý prehľad: pravidelná inventarizácia toho, akú funkcionalitu AI aktuálne dodáva každý kľúčový dodávateľ, oddelene od toho, čo bolo posúdené pri obstaraní. Nie je to právny nástroj, ale vecný prehľad, ktorý sa následne dá porovnať s rizikovou kategóriou procesu, v ktorom dodávateľ pôsobí.

Bez vyvodenia dôsledkov sa na to nikto nepýta

Rovnaká dynamika, ktorá udržiava tieňové AI medzi zamestnancami, funguje aj tu, len na úrovni dodávateľov. Kto položí otázku „používate na toto AI?“, chce úprimnú odpoveď, nie obrannú reakciu account manažéra. To znamená, že otázka sa nesmie klásť ako predohra k ukončeniu zmluvy, ale ako súčasť pevného procesu, v ktorom odpoveď nemá žiadny dôsledok okrem klasifikácie. Pozrite sa, ako to funguje pri zamestnancoch, ktorí používajú nástroj, ktorý nikto neschválil: užitočná informácia sa uvoľní až vtedy, keď je kladenie otázok oddelené od trestania.

Čo s tým môže organizácia urobiť

Zoznam dodávateľov je začiatok, nie koniec. Pri každom dodávateľovi, ktorý má prístup k produkčným dátam, zákazníckym dátam alebo personálnym dátam, je relevantné, či už obsahuje funkcionalitu AI, čo táto funkcionalita s dátami robí a či toto použitie spadá do rovnakej rizikovej kategórie, pre ktorú bol dodávateľ pôvodne schválený. Dodávateľ, ktorý bol pred piatimi rokmi posúdený ako nízkorizikový, pretože iba fakturuje, môže teraz prevádzkovať modul, ktorý automaticky klasifikuje faktúry na základe jazykového modelu trénovaného externe. To je iná riziková kategória, aj keď na faktúre stojí to isté meno.

Táto inventarizácia by nemala stáť oddelene od zvyšku správy AI (governance) v organizácii. Rovnaká klasifikácia, ktorá sa uplatňuje na interne vybudované nástroje alebo na pilotné nastavenie, ktoré nikdy nebolo vypnuté, by sa mala uplatňovať aj na to, čo prinášajú dodávatelia. Jeden prehľad, jedna riziková stupnica, bez ohľadu na to, či bola AI vybudovaná interne, prinesená zamestnancom, alebo pridaná dodávateľom bez oznámenia.

Od inventarizácie k pohľadu na samotnú prácu

Hneď ako je jasné, aká AI prichádza prostredníctvom dodávateľov, vzniká nadväzujúca otázka, ktorá presahuje samotné riziko: čo táto AI skutočne robí s prácou, ktorú teraz vykonávajú ľudia, a kde sa to prekrýva s úlohami, ktoré tak či tak prichádzajú do úvahy na automatizáciu. Pracovný scan od FTE TO AI vypočíta pre každú úlohu, akú časť práce je možné previesť na AI, bez ohľadu na to, ktorý dodávateľ alebo systém to nakonec vykonáva. To robí inventarizáciu, ktorá začína pri riziku, použiteľnou aj pre otázku, ktorá prichádza potom: nielen čo je v prevádzke, ale akú hodnotu tá práca skutočne má.

Andrewde assistent van de Responsible AI Scan

Vraag maar. Governance begint bij weten wat er draait — ook wat niemand heeft goedgekeurd.

Answers come from this site’s knowledge base. Not tailored advice, and not a scan of your company.