Die Frage, ob eine KI-Anwendung als Hochrisiko gilt, klingt wie eine technische Qualifikation. In der Praxis handelt es sich um eine Einordnung, die von einer Reihe konkreter Faktoren abhängt, und diese Einordnung bestimmt anschließend, wie viel Oversight, Dokumentation und Nachweisbarkeit von Ihnen erwartet wird. Die aktuellen gesetzlichen Definitionen und Schwellenwerte stehen nicht auf dieser Seite; die finden Sie anderswo. Hier erklären wir, wovon die Einordnung abhängt und was sich in Ihrer Organisation ändert, wenn sich diese Einordnung ändert.
Es gibt nicht ein einziges Merkmal, das eine Anwendung zu Hochrisiko macht. Es ist eine Kombination von Faktoren, die zusammen das Bild ergeben: der Bereich, in dem die Anwendung eingesetzt wird, das Ausmaß, in dem eine Entscheidung unmittelbare Folgen für eine Person hat, und die Frage, ob es einen Menschen gibt, der die Empfehlung oder das Ergebnis der KI tatsächlich beurteilen und bei Bedarf korrigieren kann, bevor es Wirkung entfaltet. Eine Anwendung, die lediglich Text zusammenfasst, ist in dieser Einordnung in der Regel anders positioniert als eine Anwendung, die in eine Entscheidung über eine Einzelperson einfließt. Auch der Kontext, in dem eine Anwendung genutzt wird, spielt eine Rolle: dieselbe zugrunde liegende Technik kann in einem Bereich als geringes Risiko gelten und in einem anderen als Hochrisiko, abhängig davon, was mit dem Ergebnis geschieht.
Das ist einer der Gründe, warum eine Liste zugelassener Software nicht ausreicht. Die Einordnung hängt nicht vom Label auf dem Paket ab, sondern davon, wie es tatsächlich genutzt wird und wo es im Entscheidungsprozess steht.
Wenn eine Anwendung als höheres Risiko eingestuft wird, ändert sich etwas in dem, was von der Organisation erwartet wird: mehr Dokumentation darüber, wie die Anwendung funktioniert und getestet wurde, ein klarerer Überwachungsmechanismus für die Ergebnisse, und eine Möglichkeit, im Nachhinein zeigen zu können, wer worauf geachtet hat. Das ist keine einmalige Handlung, sondern eine fortlaufende Verpflichtung: die Dokumentation und die Überwachung müssen aktuell bleiben, solange die Anwendung in Gebrauch ist.
Die Einordnung ist auch nicht statisch. Eine Anwendung, die heute als begrenztes Risiko gilt, kann morgen anders eingesetzt werden — in einem anderen Bereich, mit größerer Wirkung auf Einzelpersonen, oder mit weniger menschlichem Eingreifen als zuvor. Wer die Einordnung einmalig festlegt und danach nicht mehr überprüft, läuft Gefahr, dass die Klassifizierung nicht mehr mit der tatsächlichen Nutzung übereinstimmt. Das gilt ebenso für Anwendungen, die angepasst werden, nachdem sie angeschafft wurden; was genau sich ändert, wenn Sie ein Modell selbst anpassen, hängt von der Art dieser Anpassung ab, wie beschrieben auf der Seite über Anpassungen an einem Modell.
Die Klassifizierung einer Anwendung ist nur dann bedeutsam, wenn sie auf das angewendet wird, was tatsächlich genutzt wird. Ein großer Teil der Nutzung in einer Organisation läuft außerhalb des offiziellen Inventars: Teams, die ein Sprachmodell für eine Konzept-E-Mail einsetzen, ein Analyst, der ein externes Modell für eine erste Version eines Berichts nutzt, eine Abteilung, die ein Tool angeschafft hat, ohne dies zu melden. Diese Nutzung entsteht nicht aus Unwillen. Sie entsteht, weil der offizielle Weg langsamer ist als der Bedarf, oder weil niemand wusste, dass ein Weg beschritten werden musste.
Die Konsequenz ist, dass die IT-Liste selten ein vollständiges Bild liefert. Wer wissen möchte, was tatsächlich an Risikoklassifizierung nötig ist, muss die Nutzung selbst erfassen — und das erfordert, den Menschen, die die Arbeit tatsächlich verrichten, Fragen zu stellen, ohne dass darauf eine Abrechnung folgt. Wer schon beim ersten Gespräch spürt, dass eine ehrliche Antwort Konsequenzen hat, antwortet nicht ehrlich. Das macht das Inventar unbrauchbar, noch bevor es abgeschlossen ist.
Nicht jede Anwendung von KI fällt in den Rahmen, in dem Risikoklassifizierung relevant ist. Manche Anwendungen fallen aufgrund ihrer Art oder ihres Zwecks außerhalb des Anwendungsbereichs der Regulierung, und es ist sinnvoll, diese Unterscheidung frühzeitig zu treffen, bevor Sie Zeit auf eine Klassifizierung verwenden, die nicht nötig ist; welche Anwendungen das betrifft, ist beschrieben auf der Seite über Anwendungen, die außerhalb des Anwendungsbereichs der Verpflichtungen fallen. Auch die Rolle, die Ihre Organisation spielt — als Anbieter eines Systems oder als dessen Nutzer — beeinflusst, welche Verpflichtungen mit einer Risikoklassifizierung verbunden sind, und diese Rolle ist nicht immer von vornherein klar; was dabei den Ausschlag gibt, lesen Sie auf der Seite über die Unterscheidung zwischen Anbieter und Nutzer. Diese Rolle kann sich übrigens ändern, sobald Sie ein System anpassen oder unter eigenem Namen anbieten, was näher erläutert wird auf der Seite über die Umstände, unter denen sich Ihre Rolle ändert.
Eine Einordnung nach Risikoniveau wirft nahezu immer die Folgefrage auf, was davon dringend ist und was noch geplant werden kann. Diese Unterscheidung ist nicht für jede Organisation gleich und hängt davon ab, welche Anwendungen bereits in Produktion sind und welche sich noch in der Entwicklung befinden. Einen Überblick darüber, was in der Regel zuerst Aufmerksamkeit erfordert und was später folgen kann, finden Sie auf der Seite über was jetzt geschehen muss und was Sie planen können.
Sobald einmal klar ist, welche Anwendungen in Ihrer Organisation als Hochrisiko gelten, folgt von selbst eine andere Frage: wie viel von der zugrunde liegenden Arbeit tatsächlich von KI erledigt wird, und wie viel von Menschen, die das Ergebnis kontrollieren oder ergänzen. Diese Frage liegt außerhalb des Anwendungsbereichs dieses Scans, wird aber durch den Arbeitsscan von FTE TO AI beantwortet, der pro Aufgabe berechnet, welcher Teil der Arbeit vernünftigerweise von KI übernommen werden kann.
Vraag maar. Governance begint bij weten wat er draait — ook wat niemand heeft goedgekeurd.
Answers come from this site’s knowledge base. Not tailored advice, and not a scan of your company.