Att köpa in ett AI-system och använda det som det levereras är en annan situation än att anpassa en modell till er egen data eller ert eget syfte. Den anpassningen kan förändra indelningen av er organisation — och därmed de frågor ni måste kunna besvara. Om det sker, och hur tungt det väger, beror på vad som exakt anpassas och till vad systemet används.
Indelningen beror inte på frågan om ni själva skrev källkoden. Den beror på vad som faktiskt sker med en modell efter att den kommer in hos er. Några faktorer som spelar in:
Dessa faktorer samverkar. Det finns ingen fast tröskel som gäller i alla fall; den aktuella regleringen med de exakta kriterierna finns på annat håll, och den texten kan ändras. Vad som förblir gällande på denna sida är mekanismen: en anpassning kan innebära ett byte av roll, och rollen avgör skyldigheten.
Den roll er organisation intar vid ett AI-system är inte fast. Den som endast använder en modell som levererad har i regel en annan position än den som ändrar modellen och därefter själv för ut den på marknaden eller använder den internt i stor skala. Frågan om när den övergången sker, och vad som vid det tillfället förändras i vad ni måste kunna visa, behandlas på när er roll förändras och var den gränsen ligger. För organisationer som är osäkra på om de är leverantör eller användare — en fråga som förekommer oftare än man tror så snart det görs interna anpassningar — finns en separat förklaring på skillnaden mellan leverantör och användare av ett AI-system.
Anledningen till att detta spelar roll är inte formell. En förändring av roll förändrar vad ni måste kunna visa: vilken dokumentation ni för, vem inom organisationen som ansvarar för tillsynen, och vilka steg som togs innan det anpassade systemet togs i bruk. En modell som ni själva har anpassat är en modell där ni själva kan bli ombedda att redogöra för hur den anpassningen kom till.
Anpassning kan även påverka risknivån för en tillämpning. En modell som ursprungligen var avsedd för en lätt tillämpning kan genom anpassning hamna i en tyngre kategori — till exempel när den efter anpassning används för beslut om människor. Vad en hög risknivå konkret innebär för kraven på er organisation finns på vad en hög risknivå innebär för kraven på er organisation. Även här gäller: indelningen följer av användningen, inte av avsikten med vilken modellen en gång byggdes.
Detta berör direkt kärnan av skugg-AI. En anpassning som inte går via IT — ett team som själva finjusterar en modell på ett eget dataset, eller en avdelning som kopplar en extern modell till interna system utan att detta har rapporterats — förändrar organisationens indelning utan att styrelsen är medveten om det. IT-listan visar inte den anpassningen. Den som vill veta om detta sker måste fråga de team som arbetar med det dagligen, och det samtalet ger bara resultat om det förs utan avräkning.
När en anpassning ändrar rollen eller risknivån för en tillämpning förändras flera saker samtidigt: dokumentationen som måste föras, frågan om vem inom organisationen som äger den tillämpningen, och tidpunkten för när något fortfarande kan planeras jämfört med vad som redan kräver uppmärksamhet. Den distinktionen — mellan vad som redan nu är brådskande och vad som kan planeras — hänger samman med faktorer som förklaras på vad som redan nu kräver uppmärksamhet och vad som kan planeras. En mer utförlig genomgång av själva indelningsfrågan, inklusive de gränsfall som i praktiken förekommer mest, finns på den fullständiga förklaringen av vad som förändras vid anpassning av en modell.
En anpassad modell är i praktiken ofta även en modell som tar över en del av arbetet från personer som tidigare utförde en uppgift helt själva. Om det är så, och hur stor del av arbetet det gäller, är en fråga som är fristående från indelningsfrågan men som ofta följer på den: så snart det är klart att en modell har anpassats och till vad den används, blir det också synligt vilken del av en uppgift den faktiskt utför. Arbetsanalysen från FTE TO AI räknar ut detta per uppgift och visar vilken del av arbetet som kan övertas av AI, oberoende av frågan om hur den underliggande modellen kom till.
Vraag maar. Governance begint bij weten wat er draait — ook wat niemand heeft goedgekeurd.
Answers come from this site’s knowledge base. Not tailored advice, and not a scan of your company.