Viele Organisationen gehen davon aus, dass ihre Rolle feststeht: Sie sind Nutzer eines Systems, das ein Anbieter entwickelt hat, und die damit verbundenen Verpflichtungen sind klar und dauerhaft. Diese Annahme trifft oft zu, aber nicht immer. Die Rolle, die eine Organisation in Bezug auf ein KI-System hat, ist kein feststehendes Etikett. Sie ist das Ergebnis dessen, was tatsächlich mit dem System geschieht, und dieses Ergebnis kann sich verschieben, ohne dass ein neuer Vertrag unterzeichnet oder ein neuer Kauf getätigt wird.
Die Einordnung einer Rolle hängt von einer Reihe faktischer Elemente ab, nicht davon, wie ein Anbieter das System nennt oder wie eine interne Abteilung das System intern positioniert. Relevant ist unter anderem, wer das System auf den Markt gebracht hat, wer das System tatsächlich innerhalb eines eigenen Prozesses nutzt, und wer das System nach der Lieferung angepasst hat. Ebenfalls zählt, unter welchem Namen das System nach außen gebracht wird, und ob eine Organisation das System an andere weiterliefert, ohne es selbst zu nutzen. Diese Elemente bestimmen zusammen, ob eine Organisation als Anbieter, als Nutzer, oder als Partei auftritt, die irgendwo dazwischen liegt.
Der Grund, warum dies für Governance relevant ist, liegt darin, dass die Rolle bestimmt, welche Verpflichtungen bei welcher Partei liegen. Eine Organisation, die nur Nutzer ist, hat andere Verantwortlichkeiten als eine Organisation, die faktisch als Anbieter handelt. Was genau von jeder Rolle erwartet wird, ist an anderer Stelle beschrieben; hier geht es um den Mechanismus, der bestimmt, welche Rolle zutrifft, und um das Erkennen des Moments, in dem dieser Mechanismus ein anderes Ergebnis liefert als zuvor.
Eine Rolle ist nicht für die gesamte Lebensdauer eines Systems daran gekoppelt. Sie ist an das gekoppelt, was zu einem bestimmten Zeitpunkt tatsächlich geschieht. Das bedeutet, dass dieselbe Organisation für dasselbe System zu zwei Zeitpunkten in eine andere Rolle fallen kann. Einige Situationen, in denen das geschieht: ein Team, das ein eingekauftes Modell mit eigenen Daten feinabstimmt, eine Abteilung, die ein System neu kennzeichnet und unter eigenem Namen anderen Abteilungen anbietet, oder eine Organisation, die ein System, das ursprünglich für den internen Gebrauch gedacht war, an einen Kunden oder Partner weiterliefert. In jedem dieser Fälle verschiebt sich die faktische Rolle, auch wenn sich nach außen wenig ändert.
Was sich in der Praxis ändert, ist nicht abstrakt. Es bestimmt, wer für die Dokumentation verantwortlich ist, wer nachweisen muss, dass ein System das tut, was es zu tun behauptet, und wer reagieren muss, wenn etwas schiefgeht. Mehr darüber, was sich genau ändert, wenn ein Modell angepasst wird, ist beschrieben auf der Seite über Anpassungen an einem Modell. Diese Verschiebung ist eines der deutlichsten Beispiele dafür, wie sich eine Rolle verändert, ohne dass eine bewusste Entscheidung vorausgeht.
Der Grund, warum dieses Thema nicht nur rechtlich, sondern auch organisatorisch relevant ist, liegt darin, dass eine Rollenänderung oft unbemerkt geschieht. Ein Team, das ein Modell anpasst, denkt an eine technische Verbesserung, nicht an eine Veränderung in der Verantwortung. Eine Abteilung, die ein Tool an eine andere Abteilung weiterreicht, denkt an Bequemlichkeit, nicht an eine neue Rolle als Bereitsteller. Governance, die nur betrachtet, was eingekauft wurde, übersieht diese Verschiebungen systematisch.
Dies hängt mit der Frage zusammen, welche Anwendungen genau unter eine Regelung fallen und welche nicht; diese Grenze wird behandelt auf der Seite über den Anwendungsbereich. Ein System, das außerhalb des Anwendungsbereichs lag, als es eingekauft wurde, kann in den Anwendungsbereich fallen, sobald sich die Rolle der Organisation verschiebt. Das macht es unzureichend, beim Kauf einmalig zu prüfen; die Prüfung muss sich mit dem bewegen, was faktisch mit einem System geschieht.
Auch das Risikoniveau einer Anwendung kann sich mit einer Rollenänderung mitbewegen. Was ein hohes Risikoniveau genau für die Verpflichtungen einer Organisation bedeutet, und wovon das abhängt, ist erläutert auf der Seite über die Folgen eines hohen Risikoniveaus. Eine Organisation, die durch eine Rollenänderung plötzlich als Anbieter eines Systems mit hohem Risikoniveau gilt, trägt andere Verantwortlichkeiten als damals, als sie nur Nutzer desselben Systems war.
Um Rollenänderungen zu erkennen, bevor sie zu einem Problem werden, muss eine Organisation wissen, welche Systeme es gibt, wer sie anpasst, und wer sie an wen weiterreicht. Das erfordert eine Bestandsaufnahme, die über die von der IT genehmigte Liste hinausgeht, sowie einen festen Ort, an dem Entscheidungen über Anpassung, Weitergabe und Neukennzeichnung festgehalten werden. Ein solcher fester Ort, und die dazugehörigen Fragen, sind beschrieben auf der Seite über eine Oversight-Entscheidungsliste.
Der Responsible AI Scan wurde entwickelt, um diese Verschiebungen sichtbar zu machen: welche Systeme faktisch laufen, wer sie nutzt, wer sie angepasst hat, und welche Rolle sich daraus im Moment ergibt. Das Tool, das dies unterstützt, befindet sich im Aufbau; wer dies nutzen möchte, kann sich für die Warteliste anmelden.
Eine Rollenänderung betrifft nicht nur Governance. Wenn sich ein System von einem losen Hilfsmittel zu etwas verschiebt, das strukturell einen Teil einer Aufgabe übernimmt, ändert sich auch die Frage, wie viel Arbeit dieses System eigentlich leistet und wie viel noch bei Menschen liegt. Der Werkscan von FTE TO AI berechnet pro Aufgabe, welcher Teil der Arbeit durch KI übernommen werden kann, und macht so sichtbar, wo sich eine Rollenänderung in der Governance mit einer faktischen Verschiebung in der Arbeitsverteilung deckt.
Vraag maar. Governance begint bij weten wat er draait — ook wat niemand heeft goedgekeurd.
Answers come from this site’s knowledge base. Not tailored advice, and not a scan of your company.