Kennisbank

Monitoring, który faktycznie jest wykorzystywany

Problemem nie jest brak monitoringu

Większość organizacji ma już coś, co nazywa się monitoringiem. Dashboard, format raportowania, okresowe spotkanie, na którym omawiane są ryzyka. Problemem nie jest to, że tego nie ma. Problemem jest to, że monitoring AI zostaje dodany jako osobny element, z własnym rytmem, własnym właścicielem i własnym szablonem. Kto ma już trzy procesy do śledzenia ryzyka, nie będzie wiernie wypełniał czwartego. Staje się to obowiązkiem, który jest odklepywany raz na kwartał, albo wcale.

To powód, dla którego monitoring wykorzystania AI tak często niczego nie przynosi. Nie dlatego, że pytania są niewłaściwe, ale dlaczego sam proces pozostaje ciałem obcym w organizacji, która już ma procesy dotyczące ryzyka, zgodności i kontroli wewnętrznej.

Co powinno znaleźć się w rzeczywistym monitoringu

Monitoring, który przynosi efekty, nie zaczyna się od formatu, lecz od pytania: co się zmienia i kto pierwszy to zauważy? W przypadku systemów AI oznacza to trzy warstwy.

Pierwsza warstwa to wykorzystanie: czy system jest jeszcze używany zgodnie z przeznaczeniem, czy zastosowanie przesunęło się bez zgłoszenia tego przez kogokolwiek? Narzędzie, które zaczynało jako kontrola tekstu, a teraz jest używane do formułowania projektów decyzji, stanowi inne ryzyko niż to, które określono na początku.

Druga warstwa to pochodzenie: czy system jest wciąż taki sam jak w momencie, gdy został sklasyfikowany? Modele bazowe są wymieniane, dostawcy zmieniają warunki, samodzielne narzędzie zostaje zintegrowane w większej platformie. Każda zmiana może unieważnić dawną ocenę ryzyka, bez ponownej oceny przez kogokolwiek.

Trzecia warstwa to sygnał: czy są skargi, komunikaty o błędach lub odchylenia wskazujące, że coś nie działa tak, jak zakładano? To warstwa, która najczęściej jest nieobecna, ponieważ nikt nie ma interesu w zgłaszaniu problemu z systemem, który formalnie nie istnieje.

Dlaczego drugi proces jest ignorowany

Organizacja, która już ma cykl ryzyka dla ryzyk operacyjnych, finansowych lub związanych z ochroną danych, nie zacznie nowego cyklu dla AI. To nie jest niechęć; to kwestia zasobów. Kto próbuje, widzi jedno z dwóch. Albo nowy monitoring wygasa, ponieważ nikt nie znajduje czasu, by zasilać system, o który nikt nie pyta. Albo nowy monitoring zostaje przejęty przez te same osoby, które prowadzą już istniejący cykl, i wtedy rozróżnienie samo znika.

Pytanie więc nie brzmi, czy powinien powstać odrębny proces monitoringu AI. Pytanie brzmi, jak sygnały dotyczące AI trafiają do istniejącego cyklu, tak by były omawiane na tym samym spotkaniu, przez tego samego właściciela i w tym samym rytmie co inne ryzyka. Jak to zostanie dokładnie zorganizowane, zależy od tego, jak ten istniejący cykl już teraz działa: niektóre organizacje mają kwartalne raportowanie do komisji audytu, inne miesięczne spotkanie ryzyka na poziomie zarządu, jeszcze inne prowadzą ciągły rejestr aktualizowany przy każdym incydencie. Więcej o tym, jak wbudować monitoring w to, co już działa, zamiast dodawać go osobno znajduje się na osobnej stronie, ponieważ ten mechanizm jest w każdej organizacji inaczej wypełniany.

Dokument, który jest dostępny, gdy ktoś o niego zapyta

Co natomiast pasuje uniwersalnie, to stała forma, w której zapisywany jest status systemów AI: co działa, w jakiej roli, z jakim poziomem ryzyka i kiedy było to ostatnio potwierdzone. Nie jako osobny dokument AI, lecz jako załącznik lub stały element raportowania, które już istnieje. Może to nawiązywać do raportu dla zarządu na jedną stronę, który podsumowuje ryzyka bez ich maskowania, tak aby monitoring nie stał się osobnym potokiem informacji, lecz wierszem w tabeli, którą zarządzający już czyta.

Ta forma działa tylko wtedy, gdy sama klasyfikacja pozostaje aktualna, a ta klasyfikacja musi z kolei nawiązywać do struktury ryzyka, która już istnieje. Bez tego połączenia monitoring pozostaje drugim językiem obok pierwszego, a ten drugi język jest zapominany, gdy narasta presja. Jak to połączenie wygląda, zależy od tego, jak struktura ryzyka i klasyfikacja AI łączą się z tym, co organizacja już wykorzystuje, i nie można tego opisać w ogólnych terminach bez znajomości istniejącej struktury.

To, co znajduje monitoring, wykracza poza dokument

Monitoring, który dobrze działa, sygnalizuje nie tylko ryzyko, ale też przesunięcie: systemy używane inaczej niż zamierzano, lub zadania, które zostały po cichu przejęte, bez zapisania tego przez kogokolwiek. Te same sygnały są też informacją o tym, na co ludzie faktycznie poświęcają czas i gdzie AI już faktycznie przejmuje pracę, bez zapisania tego gdziekolwiek. Kto chce uczynić to pytanie bardziej konkretnym, niż pozwala na to klasyfikacja ryzyka, może za pomocą skanu pracy FTE TO AI sprawdzić, jaka część pracy w podziale na zadania kwalifikuje się do AI, niezależnie od tego, czy to już się dzieje, czy jeszcze wymaga decyzji. Ten skan liczy nie w ryzyku, lecz w zadaniach i godzinach, i tym samym nawiązuje do tego, co sygnalizuje monitoring, bez wyjaśniania tego.