Hochrisiko-KI
Eine begrenzte Anzahl der in der KI-Verordnung definierten KI-Systeme wird als Hochrisiko-KI-Systeme eingestuft. Grundsätzlich haben diese KI-Systeme ein großes Potential, durch ihre Nutzung einen Mehrwert zu bringen. Da ihr Einsatz aber in einem regulierten Produktbereich oder in einem sensiblen Anwendungsbereich erfolgt, muss sichergestellt werden, dass sie keine negativen Auswirkungen auf die Sicherheit, Gesundheit der Menschen und die Grundrechte haben. Für die Einstufung eines KI-Systems als ein Hochrisiko-KI-System ist sein Verwendungszweck entscheidend.
- Hochrisiko-KI nach Anhang I
- Hochrisiko-KI nach Anhang III
- Ausnahmen
- Anforderungen
- Übersicht: Anforderungen an Anbieter
Nachfolgend stellen wir die wichtigsten Informationen zu Hochrisiko-KI aus der KI-Verordnung dar.
Hochrisiko-KI nach Anhang I
Ein KI-System ist eine Hochrisiko-KI, wenn beide Bedingungen (a) und (b) erfüllt sind:
a) Es ist selbst ein Produkt, das unter die in Anhang I aufgeführten EU-Rechtsvorschriften fällt
ODER
es wird als Sicherheitsbauteil eines Produktes (z. B. KI-Sicherheitsbauteil in Maschinen) verwendet, das unter die in Anhang I aufgeführten EU-Rechtsvorschriften fällt.
UND
b) Nach dem EU-Rechtsakt ist eine Konformitätsbewertung durch Dritte erforderlich, bevor das Produkt auf den EU-Markt eingeführt wird
Beispiele
Zwanzig Produktgesetze werden in Anhang I gelistet, z. B. die Funkanlagen-Richtlinie, die Richtlinie über die Sicherheit von Spielzeug, die Maschinenrichtlinie oder die Verordnung über Medizinprodukte.
Hochrisiko-KI nach Anhang III
Ein KI-System ist eine Hochrisiko-KI, wenn es in den bestimmten Bereichen aus Annex III für einen dort bestimmten Anwendungsfall verwendet wird.
Acht Bereiche sind in Anhang III gelistet:
- Biometrie
- Kritische Infrastruktur
- Allgemeine und berufliche Bildung
- Beschäftigung, Personalmanagement und Zugang zur Selbstständigkeit
- Zugang und Inanspruchnahme grundlegender privater und öffentlicher Dienste und Leistungen
- Strafverfolgung
- Migration, Asyl und Grenzkontrolle
- Rechtspflege und demokratische Prozesse
Ausnahmen
Ein KI-System, das in eine der Kategorien des Anhang III fällt, gilt nicht als Hochrisiko-KI-System, wenn es kein erhebliches Risiko für die Gesundheit, Sicherheit oder Grundrechte natürlicher Personen birgt. Dies ist dann der Fall, wenn:
a) für die Ausführung einer engen verfahrenstechnischen Aufgabe bestimmt ist,
b) nur das Ergebnis einer zuvor ausgeführten menschlichen Tätigkeit verbessert,
c) Entscheidungsmuster oder Abweichungen von früheren Entscheidungsmustern aufdeckt und nicht die zuvor durchgeführte menschliche Bewertung ersetzt oder beeinflusst, ohne dass eine angemessene menschliche Überprüfung stattfindet, oder
c) eine vorbereitende Aufgabe für eine Bewertung übernimmt, die für die in Anhang III aufgeführten Anwendungsfälle relevant ist.
Ungeachtet dieser Ausnahmen gilt Profiling natürlicher Personen immer als hochriskant.
Für Hochrisiko-KI-Systeme gelten Anforderungen, die in den Artikeln 8 bis 15 der KI-Verordnung geregelt sind. Diese Anforderungen umfassen die Einrichtung eines Risikomanagementsystems, Qualitätskriterien für Daten, die Erstellung einer technischen Dokumentation, die Einrichtung von Protokollierungsfunktionen, die Bereitstellung von Informationen zur transparenten Verwendung des KI-Systems, die Umsetzung von Aufsichtsmaßnahmen sowie die Einhaltung eines angemessenen Maßes an Genauigkeit, Robustheit und Cybersicherheit.
Anforderungen
Anforderung | Beschreibung |
---|---|
Risikomanagementsystem | Das Risikomanagementsystem versteht sich als ein kontinuierlicher iterativer Prozess, der während des gesamten Lebenszyklus eines Hochrisiko-KI-Systems geplant und durchgeführt wird und eine regelmäßige systematische Überprüfung und Aktualisierung erfordert, Artikel 9(2) Satz 1 KI-Verordnung. Nähere Details siehe gesamter Artikel 9 KI-Verordnung. |
Datenqualität | Hochrisiko-KI-Systeme, in denen Techniken eingesetzt werden, bei denen KI-Modelle mit Daten trainiert werden, müssen mit Trainings-, Validierungs- und Testdatensätzen entwickelt werden, die den in Artikel 10 KI-Verordnung genannten Qualitätskriterien entsprechen. Nähere Details siehe Artikel 10 KI-Verordnung. |
Technische Dokumentation
| Die technische Dokumentation wird erstellt, bevor das Hochrisiko-KI-System in Verkehr gebracht oder in Betrieb genommen wird. Sie dient zum Nachweis der Erfüllung der Anforderungen an Hochrisiko KI. Nähere Details siehe Artikel 11 KI-Verordnung. |
Protokollierungsfunktion
| Um eine Rückverfolgbarkeit zu ermöglichen, müssen Ereignisse während des Lebenszyklus der Hochrisiko-KI automatisch aufgezeichnet werden. Nähere Details siehe Artikel 12 KI-Verordnung. |
Bereitstellung von Informationen | Der Betrieb des Hochrisiko-KI-Systems soll transparent sein und Betreiber sollen die Ausgaben angemessen interpretieren können. Zudem soll für jedes Hochrisiko-KI-System eine Betriebsanleitung bereitgestellt werden. Nähere Details siehe Artikel 13 KI-Verordnung. |
Aufsichtsmaßnahmen
| Zur Verhinderung oder Minimierung von Risiken sollen Hochrisiko-KI-Systeme durch natürliche Personen wirksam beaufsichtigt werden können, z. B. durch die Integration einer geeigneten Mensch-Maschine-Schnittstelle. Nähere Details siehe Artikel 14 KI-Verordnung. |
Genauigkeit, Robustheit, Cybersicherheit | Hochrisiko-KI-Systeme sollen verlässlich funktionieren. Daher müssen sie mit angemessener Genauigkeit arbeiten und widerstandsfähig gegen u. a. Fehler und Manipulationen durch unbefugte Dritte sein. Nähere Details siehe Artikel 15 KI-Verordnung. |
Anbieter von Hochrisiko-KI-Systemen müssen sicherstellen, dass ihre Hochrisiko-KI-Systeme diesen Anforderungen entsprechen (Art. 16a) KI-Verordnung). Eine Übersicht dieser Schritte ist nachfolgend dargestellt.
Übersicht: Anforderungen an Anbieter
Nach dem Inverkehrbringen müssen Anbieter von Hochrisiko-KI-Systemen ein Überwachungssystem einrichten, das es ermöglicht, einschlägige Leistungsdaten des Systems aktiv und systematisch während der gesamten Lebensdauer zu erheben, zu dokumentieren und zu analysieren. Das Überwachungssystem muss der Technologie und den Risiken angemessen sein (Artikel 72 KI-Verordnung).
Sollten schwerwiegende Vorfälle auftreten, müssen Anbieter von Hochrisiko-KI-Systemen dies gemäß Artikel 73 KI-Verordnung denjenigen Marktüberwachungsbehörden des Mitgliedstaates melden, in dem der Vorfall aufgetreten ist.
Links und Downloads
KI-Compliance Kompass der Bundesnetzagentur
Hinweispapier: KI-Kompetenzen nach Artikel 4 KI-Verordnung (pdf / 357 KB)
KI-Büro der Europäischen Kommission
EU-Leitlinien zur Definition von KI-Systemen
EU-Leitlinien zu verbotenen Praktiken der künstlichen Intelligenz
EU-Praxisleitfaden zu GPAI-Modellen
Digitale Transformation im Mittelstand
EU-Leitlinien für Anbieter von KI-Modellen mit allgemeinem Verwendungszweck (pdf / 557 KB)