Hochrisiko-KI

Eine begrenzte Anzahl der in der KI-Verordnung definierten KI-Systeme wird als Hochrisiko-KI-Systeme eingestuft. Grundsätzlich haben diese KI-Systeme ein großes Potential, durch ihre Nutzung einen Mehrwert zu bringen. Da ihr Einsatz aber in einem regulierten Produktbereich oder in einem sensiblen Anwendungsbereich erfolgt, muss sichergestellt werden, dass sie keine negativen Auswirkungen auf die Sicherheit, Gesundheit der Menschen und die Grundrechte haben. Für die Einstufung eines KI-Systems als ein Hochrisiko-KI-System ist sein Verwendungszweck entscheidend.

Nachfolgend stellen wir die wichtigsten Informationen zu Hochrisiko-KI aus der KI-Verordnung dar.

Hochrisiko-KI nach Anhang I

KI-System ist Teil eines regulierten Produkts oder gilt als reguliertes Produkt (siehe Artikel 6(1) a) und b), KI-Verordnung).

Ein KI-System ist eine Hochrisiko-KI, wenn beide Bedingungen (a) und (b) erfüllt sind:

a) Es ist selbst ein Produkt, das unter die in Anhang I aufgeführten EU-Rechtsvorschriften fällt

ODER

es wird als Sicherheitsbauteil eines Produktes (z. B. KI-Sicherheitsbauteil in Maschinen) verwendet, das unter die in Anhang I aufgeführten EU-Rechtsvorschriften fällt.

UND

b) Nach dem EU-Rechtsakt ist eine Konformitätsbewertung durch Dritte erforderlich, bevor das Produkt auf den EU-Markt eingeführt wird

Beispiele

Zwanzig Produktgesetze werden in Anhang I gelistet, z. B. die Funkanlagen-Richtlinie, die Richtlinie über die Sicherheit von Spielzeug, die Maschinenrichtlinie oder die Verordnung über Medizinprodukte.

Hochrisiko-KI nach Anhang III

KI-System soll in einem sensiblen Anwendungsbereich eingesetzt werden (siehe Artikel 6(2), KI-Verordnung).
Ein KI-System ist eine Hochrisiko-KI, wenn es in den bestimmten Bereichen aus Annex III für einen dort bestimmten Anwendungsfall verwendet wird.

Acht Bereiche sind in Anhang III gelistet:

Biometrie
Kritische Infrastruktur
Allgemeine und berufliche Bildung
Beschäftigung, Personalmanagement und Zugang zur Selbstständigkeit
Zugang und Inanspruchnahme grundlegender privater und öffentlicher Dienste und Leistungen
Strafverfolgung
Migration, Asyl und Grenzkontrolle
Rechtspflege und demokratische Prozesse

Ausnahmen

Ein KI-System, das in eine der Kategorien des Anhang III fällt, gilt nicht als Hochrisiko-KI-System, wenn es kein erhebliches Risiko für die Gesundheit, Sicherheit oder Grundrechte natürlicher Personen birgt. Dies ist dann der Fall, wenn:

a) für die Ausführung einer engen verfahrenstechnischen Aufgabe bestimmt ist,

b) nur das Ergebnis einer zuvor ausgeführten menschlichen Tätigkeit verbessert,

c) Entscheidungsmuster oder Abweichungen von früheren Entscheidungsmustern aufdeckt und nicht die zuvor durchgeführte menschliche Bewertung ersetzt oder beeinflusst, ohne dass eine angemessene menschliche Überprüfung stattfindet, oder

d) eine vorbereitende Aufgabe für eine Bewertung übernimmt, die für die in Anhang III aufgeführten Anwendungsfälle relevant ist.

Ungeachtet dieser Ausnahmen gilt Profiling natürlicher Personen immer als hochriskant.

Für Hochrisiko-KI-Systeme gelten Anforderungen, die in den Artikeln 8 bis 15 der KI-Verordnung geregelt sind. Diese Anforderungen umfassen die Einrichtung eines Risikomanagementsystems, Qualitätskriterien für Daten, die Erstellung einer technischen Dokumentation, die Einrichtung von Protokollierungsfunktionen, die Bereitstellung von Informationen zur transparenten Verwendung des KI-Systems, die Umsetzung von Aufsichtsmaßnahmen sowie die Einhaltung eines angemessenen Maßes an Genauigkeit, Robustheit und Cybersicherheit.

Anforderungen

Zusammenfassung der Anforderungen
Anforderung	Beschreibung
Risikomanagementsystem	Das Risikomanagementsystem versteht sich als ein kontinuierlicher iterativer Prozess, der während des gesamten Lebenszyklus eines Hochrisiko-KI-Systems geplant und durchgeführt wird und eine regelmäßige systematische Überprüfung und Aktualisierung erfordert, Artikel 9(2) Satz 1 KI-Verordnung. Nähere Details siehe gesamter Artikel 9 KI-Verordnung.
Datenqualität	Hochrisiko-KI-Systeme, in denen Techniken eingesetzt werden, bei denen KI-Modelle mit Daten trainiert werden, müssen mit Trainings-, Validierungs- und Testdatensätzen entwickelt werden, die den in Artikel 10 KI-Verordnung genannten Qualitätskriterien entsprechen. Nähere Details siehe Artikel 10 KI-Verordnung.
Technische Dokumentation	Die technische Dokumentation wird erstellt, bevor das Hochrisiko-KI-System in Verkehr gebracht oder in Betrieb genommen wird. Sie dient zum Nachweis der Erfüllung der Anforderungen an Hochrisiko KI. Nähere Details siehe Artikel 11 KI-Verordnung.
Protokollierungsfunktion	Um eine Rückverfolgbarkeit zu ermöglichen, müssen Ereignisse während des Lebenszyklus der Hochrisiko-KI automatisch aufgezeichnet werden. Nähere Details siehe Artikel 12 KI-Verordnung.
Bereitstellung von Informationen	Der Betrieb des Hochrisiko-KI-Systems soll transparent sein und Betreiber sollen die Ausgaben angemessen interpretieren können. Zudem soll für jedes Hochrisiko-KI-System eine Betriebsanleitung bereitgestellt werden. Nähere Details siehe Artikel 13 KI-Verordnung.
Aufsichtsmaßnahmen	Zur Verhinderung oder Minimierung von Risiken sollen Hochrisiko-KI-Systeme durch natürliche Personen wirksam beaufsichtigt werden können, z. B. durch die Integration einer geeigneten Mensch-Maschine-Schnittstelle. Nähere Details siehe Artikel 14 KI-Verordnung.
Genauigkeit, Robustheit, Cybersicherheit	Hochrisiko-KI-Systeme sollen verlässlich funktionieren. Daher müssen sie mit angemessener Genauigkeit arbeiten und widerstandsfähig gegen u. a. Fehler und Manipulationen durch unbefugte Dritte sein. Nähere Details siehe Artikel 15 KI-Verordnung.

Anbieter von Hochrisiko-KI-Systemen müssen sicherstellen, dass ihre Hochrisiko-KI-Systeme diesen Anforderungen entsprechen (Art. 16a) KI-Verordnung). Eine Übersicht dieser Schritte ist nachfolgend dargestellt.

Übersicht: Anforderungen an Anbieter

Anforderungen an Anbieter von Hochrisiko-KI-Systemen

Nach dem Inverkehrbringen müssen Anbieter von Hochrisiko-KI-Systemen ein Überwachungssystem einrichten, das es ermöglicht, einschlägige Leistungsdaten des Systems aktiv und systematisch während der gesamten Lebensdauer zu erheben, zu dokumentieren und zu analysieren. Das Überwachungssystem muss der Technologie und den Risiken angemessen sein (Artikel 72 KI-Verordnung).

Sollten schwerwiegende Vorfälle auftreten, müssen Anbieter von Hochrisiko-KI-Systemen dies gemäß Artikel 73 KI-Verordnung denjenigen Marktüberwachungsbehörden des Mitgliedstaates melden, in dem der Vorfall aufgetreten ist.