Ak­teu­re und Pflich­ten

Ein Anbieter ist eine natürliche oder juristische Person, eine Behörde, Einrichtung oder sonstige Stelle, die ein KI-System entwickelt oder entwickeln lässt und es unter ihrem eigenen Namen oder ihrer Marke in der EU in Verkehr bringt oder in Betrieb nimmt. Das gilt unabhängig davon, ob der Anbieter in der EU oder einem Drittland ansässig ist.

Anbieter können verschiedene Rollen in der KI-Wertschöpfungskette einnehmen. Darunter fallen die Entwicklung, das Training, die Evaluierung und die Optimierung von KI-Systemen. Auch wenn die Entwicklung eines KI-Systems oft interdisziplinär erfolgt und verschiedene Fachleute zusammenarbeiten, bleibt derjenige, der das System unter seinem Namen oder seiner Marke vertreibt oder nutzt, der Anbieter.

Wichtig ist auch, dass Anbieter sicherstellen müssen, dass ihre KI-Systeme alle relevanten Anforderungen erfüllen, bevor sie diese in Verkehr bringen oder in Betrieb nehmen.

Die Verantwortlichkeiten entlang der KI-Wertschöpfungskette sind in Art. 25 geregelt. In folgenden Fällen können auch Einführer, Händler, Betreiber und sonstige Dritte als Anbieter gelten, wenn sie:

1. Ein bereits in Verkehr gebrachtes KI-System mit ihrem Namen oder Unternehmenskennzeichen versehen.
2. Wesentliche Veränderungen (Art. 3 Nr. 23) an einem bereits in Verkehr gebrachten KI-System vornehmen, die dessen Konformität beeinträchtigen oder die Zweckbestimmung ändern.
3. Die Zweckbestimmung eines KI-Systems so ändern, dass es zu einem Hochrisiko-KI-System wird.

In diesen Fällen werden sie als Anbieter betrachtet und unterliegen den gleichen Pflichten wie die ursprünglichen Anbieter.

Betreiber sind natürliche oder juristische Personen, Behörden, Stellen oder andere Einrichtungen, die KI‑Systeme unter ihrer Aufsicht nutzen. Ausgenommen ist die Nutzung im Rahmen einer privaten, nicht‑beruflichen Tätigkeit.

Unter „Aufsicht“ über ein KI‑System versteht man, dass die verantwortliche Stelle die Entscheidung über den Einsatz des Systems sowie die Art und Weise seiner tatsächlichen Nutzung – einschließlich der daraus resultierenden Ergebnisse – übernimmt.

Betreiber fallen in den Anwendungsbereich der KI‑VO, wenn ihr Sitz oder Standort innerhalb der Europäischen Union liegt. Auch wenn sie in einem Drittland ansässig sind, gilt die Verordnung für sie, sobald die Ergebnisse des KI‑Systems in der Union genutzt werden.

Ist der Betreiber eines KI‑Systems eine juristische Person, die das System unter ihrer Aufsicht nutzt, dann gelten die einzelnen Mitarbeitenden, die im Rahmen von Verfahren und Anweisungen sowie unter der Kontrolle dieser juristischen Person handeln, nicht als eigenständige Betreiber.

Eine juristische Person bleibt also der Betreiber, selbst wenn sie Dritte – etwa Auftragnehmer, Freiberufler oder externes Personal – in den Betrieb des Systems einbezieht, solange diese im Namen, unter der Verantwortung und Kontrolle der juristischen Person tätig werden.

Betreiber können auch unter den in Art. 25 beschriebenen Umständen als Anbieter behandelt werden bzw. als Anbieter gelten.

Nach Art. 3 Nr. 6 gilt als Einführer jede natürliche oder juristische Person, die in der Europäischen Union ansässig ist oder dort eine Niederlassung hat und ein KI‑System in Verkehr bringt, das den Namen oder die Marke einer in einem Drittstaat ansässigen Person trägt.

Der Einführer ist das Glied der KI-Wertschöpfungskette, das ein KI‑System eines ausländischen Anbieters in die Europäische Union einführt.

Einführer können auch unter den in Art. 25 beschriebenen Umständen als Anbieter behandelt werden, bzw. als Anbieter gelten. Gegebenenfalls muss also der Einführer – ebenso wie ein Händler – sämtliche Pflichten der KI‑Verordnung erfüllen; tritt er in beiden Rollen gleichzeitig auf, gelten die Anforderungen kumulativ. Sobald ein Akteur ein bereits in Verkehr gebrachtes Hochrisiko‑KI‑System unter eigenem Namen anbietet, es wesentlich verändert oder seine Zweckbestimmung so ändert, dass es weiterhin als Hochrisiko‑KI‑System eingestuft wird, gilt er als Anbieter und muss alle damit verbundenen Verpflichtungen übernehmen, ungeachtet vertraglicher Aufteilungen. Auch wenn die Zweckbestimmung eines bereits in Verkehr gebrachten und vorher nicht als hochriskant geltenden KI-Systems so verändert wird, dass es danach als hoch riskant gilt, wird der Akteur zum Anbieter. Diese Bestimmungen gelten zusätzlich im Zusammenspiel mit bestehenden EU‑Harmonisierungsrechtsvorschriften.

Die grundlegendste Verpflichtung jedes Anbieters ist die KI‑Kompetenz (Art. 3 Nr. 56): Sie verlangt das nötige Wissen und Verständnis, um KI‑Systeme sachkundig zu betreiben, Chancen und Risiken zu beurteilen und mögliche Schäden zu vermeiden.

Auf dieser Basis verpflichtet Art. 4 die Anbieter, die KI‑Kompetenz ihrer Mitarbeitenden und aller Personen, die im Auftrag des Anbieters mit dem System arbeiten, gezielt zu fördern.

Die Fähigkeit, künstliche Intelligenz zu verstehen, kritisch zu hinterfragen und verantwortungsvoll einzusetzen, ist heutzutage essenziell. KI-Kompetenz ist Voraussetzung, um fundierte Entscheidungen zu treffen, Risiken zu minimieren und gesetzliche Vorgaben einzuhalten. Gleichzeitig ermöglicht sie, dass das Potenzial von KI bestmöglich genutzt wird und Innovationen entwickelt werden.

Die KI-Verordnung legt nicht fest, wie die Unterstützung erfolgen soll. Es werden keine standardisierten Trainingsmaßnahmen vorgegeben. Es muss auch kein bestimmtes Niveau an KI-Kompetenz bei einzelnen Personen gewährleistet werden.

Der individuelle Kontext der Organisation ist essentiell: Die Rolle als Anbieter oder Betreiber, die entwickelten oder eingesetzten KI-Systeme und das damit verbundene Risiko, sowie die Vorkenntnisse des Personals sind hierbei entscheidend.

Der Aufbau von KI-Kompetenz ist ein kontinuierlicher Prozess. KI-Kompetenzen sollten regelmäßig aufgefrischt und an die technologischen Entwicklungen angepasst werden.

Die KI-Verordnung sieht keine Zertifizierungspflicht für in Anspruch genommene Schulungen oder Qualifizierungsmaßnahmen vor. Die Maßnahmen können sowohl intern als auch extern durchgeführt werden.

Getroffenen Maßnahmen zum Aufbau von KI-Kompetenz sollten dokumentiert werden.

Die Pflicht in Art. 50 Abs. 1 besteht darin, dass die betroffene Person erkennen kann, dass sie mit einem KI-System kommuniziert. Ausnahmen greifen, wenn dies aus dem Kontext ohnehin offensichtlich ist oder wenn das System zur Straftatenbekämpfung mit entsprechenden Schutzvorkehrungen eingesetzt wird.

Anbieter von GPAI-Modellen müssen gemäß Art. 53 Abs. 1 Lit. b) nachgelagerten Akteuren, wie Anbietern von KI-Systemen, umfassende Informationen und Dokumentation bereitstellen, um die Fähigkeiten und Grenzen des Modells transparent zu machen. Diese Informationen sollen es den nachgelagerten Akteuren ermöglichen, ihre Pflichten gemäß der KI-VO zu erfüllen und das Modell sicher in ihre Systeme zu integrieren. Die Dokumentation muss mindestens die in Anhang XII genannten Elemente enthalten und wird auf Anfrage auch dem Büro für Künstliche Intelligenz und den zuständigen nationalen Behörden zur Verfügung gestellt.

Anbieter von GPAI-Modellen sind gemäß Art. 53 Abs.1 Lit. a) verpflichtet eine technische Dokumentation zu erstellen und regelmäßig zu aktualisieren. Diese Dokumentation muss mindestens die in Anhang XI aufgeführten Informationen enthalten und umfasst unter anderem die Technische Spezifikationen des Modells.

Anbieter von GPAI-Modellen müssen gemäß Art. 55 Abs. 1 Lit. a) ein Risikomanagement durchführen, das eine Modellbewertung mit standardisierten Protokollen und Instrumenten umfasst, einschließlich Angriffstests, um systemische Risiken zu ermitteln und zu mindern. Darüber hinaus müssen sie gemäß Art. 55 Abs. 1 Lit. b) mögliche systemische Risiken auf Unionsebene bewerten und mindern, die durch die Entwicklung, den Vertrieb oder die Verwendung von GPAI-Modellen entstehen können, einschließlich ihrer Ursachen.

Anbieter von GPAI-Modellen müssen gemäß Art. 52 Abs. 1 die Kommission unverzüglich informieren, wenn ihr GPAI-Modell die Bedingungen für ein Modell mit systemischem Risiko erfüllt, insbesondere wenn es über Fähigkeiten mit hohem Wirkungsgrad verfügt. Sie müssen die erforderlichen Informationen bereitstellen, um die Erfüllung dieser Bedingungen nachzuweisen.

Anbieter von Hochrisiko-KI-Systemen müssen gemäß Art. 13 sicherstellen, dass ihre Systeme transparent sind und den Betreibern ermöglichen, die Ausgaben des Systems angemessen zu interpretieren und zu verwenden. Dazu müssen sie Betriebsanleitungen bereitstellen, die präzise, vollständige und korrekte Informationen über das System enthalten, wie zum Beispiel dessen Merkmale, Fähigkeiten und Leistungsgrenzen, sowie Hinweise auf mögliche Risiken und Einschränkungen.

Anbieter von Hochrisiko-KI-Systemen müssen gemäß Art. 11 eine technische Dokumentation erstellen, die alle notwendigen Informationen enthält, um zu beurteilen, ob das System die Anforderungen der KI-VO erfüllt. Diese Dokumentation muss vor dem Inverkehrbringen oder der Inbetriebnahme des Systems erstellt werden und auf dem neuesten Stand gehalten werden, um den zuständigen Behörden und notifizierten Stellen eine klare und verständliche Beurteilung des Systems zu ermöglichen.

Anbieter von Hochrisiko-KI-Systemen, die in Drittländern niedergelassen sind, müssen gemäß Art. 22 vor der Bereitstellung ihrer Systeme auf dem Unionsmarkt einen in der Union niedergelassenen Bevollmächtigten benennen, der als Ansprechpartner für die zuständigen Behörden dient und bestimmte Aufgaben wahrnimmt, wie zum Beispiel die Überprüfung der Konformitätserklärung und der technischen Dokumentation, die Bereithaltung von Informationen und Dokumentation und die Zusammenarbeit mit den Behörden bei Maßnahmen zur Risikominderung.

Hochrisiko-KI-Systeme müssen gemäß Art. 15 von Ihren Anbietern so konzipiert und entwickelt werden, dass sie ein angemessenes Maß an Genauigkeit, Robustheit und Cybersicherheit erreichen und während ihres gesamten Lebenszyklus beständig funktionieren. Dazu gehören die Entwicklung von Benchmarks und Messmethoden, die Angabe von Genauigkeitsmetriken in den Betriebsanleitungen und die Implementierung von technischen und organisatorischen Maßnahmen, um die Robustheit und Cybersicherheit des Systems zu gewährleisten.

Darüber hinaus müssen Anbieter von Hochrisiko-KI-Systemen gemäß Art. 73 schwerwiegende Vorfälle unverzüglich, spätestens jedoch innerhalb bestimmter Fristen, den zuständigen Marktüberwachungsbehörden melden. Nach der Meldung müssen sie Untersuchungen durchführen, Risikobewertungen vornehmen und Korrekturmaßnahmen ergreifen, wobei sie mit den zuständigen Behörden zusammenarbeiten. Dieses Verfahren ist Teil des Qualitätsmanagementsystem nach Art. 17.

Anbieter von Hochrisiko-KI-Systemen müssen gemäß Art. 14 sicherstellen, dass ihre Systeme so konzipiert und entwickelt sind, dass sie während der Dauer ihrer Verwendung von natürlichen Personen wirksam beaufsichtigt werden können, um Risiken für Gesundheit, Sicherheit oder Grundrechte zu verhindern oder zu minimieren. Dazu müssen geeignete Vorkehrungen getroffen werden, wie zum Beispiel die Einrichtung von Instrumenten für die menschliche Aufsicht oder die Bereitstellung von Informationen und Schulungen für die Betreiber, um sicherzustellen, dass sie die Ausgaben des Systems richtig interpretieren und in die Lage versetzt sind, notwendige Maßnahmen zu ergreifen.

Anbieter von Hochrisiko-KI-Systemen müssen gemäß Art. 16 Lit. l) sicherstellen, dass ihr Hochrisiko-KI-System die Barrierefreiheitsanforderungen gemäß den Richtlinien (EU) 2016/2102 und (EU) 2019/882 erfüllt.

Art. 16 Lit. d) und e) geben vor, dass Anbieter von Hochrisiko-KI-Systemen bestimmte Dokumente gemäß Art. 18 und Protokolle gemäß Art. 19 für einen bestimmten Zeitraum aufbewahren müssen, um die Konformität ihrer KI-Systeme mit den Anforderungen der Verordnung nachzuweisen. Dazu gehören die technische Dokumentation, das Qualitätsmanagementsystem, die EU-Konformitätserklärung und die automatisch erzeugten Protokolle des KI-Systems, die für mindestens sechs Monate aufbewahrt werden müssen, es sei denn, das Unionsrecht oder nationale Recht sehen eine andere Aufbewahrungsfrist vor.

Genau wie für Anbieter von KI-Systemen ist auch für Betreiber die KI‑Kompetenz (Art. 3 Nr. 56) von entscheidender Bedeutung. Sie müssen ebenfalls gemäß Art. 4 über das notwendige Wissen und Verständnis verfügen, um KI-Systeme sachkundig zu betreiben, Chancen und Risiken zu beurteilen und mögliche Schäden zu vermeiden.

Gemäß Art. 50 Abs. 3 müssen Betreiber von Emotionserkennungssystemen oder Systemen zur biometrischen Kategorisierung die davon betroffenen Personen über den Betrieb des Systems informieren und personenbezogene Daten gemäß den einschlägigen Datenschutzvorschriften verarbeiten. Diese Pflicht gilt jedoch nicht für gesetzlich zugelassene KI-Systeme, die zur Aufdeckung, Verhütung oder Ermittlung von Straftaten verwendet werden, sofern geeignete Schutzvorkehrungen für die Rechte und Freiheiten Dritter bestehen.

Art. 26 Abs. 11 besagt, dass Betreiber von Hochrisiko-KI-Systemen, die Entscheidungen über Menschen treffen oder dabei unterstützen, die betroffenen Personen darüber informieren müssen.

Zum Beispiel muss ein Unternehmen, das ein KI-System zur Bewertung von Bewerbungen einsetzt, die Bewerber darüber aufklären. Ebenso muss eine Schule, die ein KI-System zur Überwachung von Prüfungen nutzt, die Schüler darüber informieren.

Für Hochrisiko‑KI‑Systeme, die zu Strafverfolgungszwecken eingesetzt werden, ergänzt Art. 26 Abs. 11 die allgemeine Informationspflicht der Betreiber um die detaillierten Auskunfts‑ und Transparenzvorgaben des Art. 13 der Richtlinie (EU) 2016/680, wonach Betroffene umfassend über Verantwortlichen, Verarbeitungszwecke, Rechtsgrundlagen, Speicherdauer, Empfänger und ihre Rechte (Auskunft, Berichtigung, Löschung, Beschwerde) informiert werden – wobei diese Informationen in Ausnahmefällen (z. B. zur Wahrung von Ermittlungsgeheimnissen, öffentlicher Sicherheit oder nationaler Sicherheit) nach Maßgabe verhältnismäßiger, demokratischer Gesetzgebungsmaßnahmen eingeschränkt oder ausgesetzt werden dürfen.

Diese Vorgabe gilt unbeschadet neben den Transparenzvorgaben nach Art. 50.

Gemäß Art. 26 Abs. 2 haben Betreiber von Hochrisiko-KI-Systemen die Aufgabe, die menschliche Aufsicht durch geeignete natürliche Personen mit der erforderlichen Kompetenz, Ausbildung und Befugnis zu gewährleisten und diesen die notwendige Unterstützung zukommen zu lassen. Diese Verpflichtung steht im Einklang mit den Pflichten der Anbieter, die Systeme so zu konzipieren und zu entwickeln, dass eine wirksame menschliche Aufsicht möglich ist (Art. 14). Die Pflichten der Betreiber bleiben dabei von sonstigen rechtlichen Verpflichtungen oder der unternehmerischen Freiheit bei der Organisation der eigenen Ressourcen und Tätigkeiten unberührt (Art. 26 Abs. 3).

Treten schwerwiegende Vorfälle auf, sind Betreiber gemäß Art. 26 Abs. 5 verpflichtet, diese zunächst dem Anbieter und anschließend den zuständigen Marktüberwachungsbehörden zu melden. Die Meldung muss unverzüglich erfolgen, wobei die Dringlichkeit vom Schweregrad des Vorfalls abhängt. Kann der Anbieter nicht erreicht werden, gelten die Regelungen von Art. 73 entsprechend.

Betreiber von Hochrisiko-KI-Systemen können gemäß Art. 26 Abs. 9 die Informationen nutzen, die Anbieter gemäß Art. 13 bereitstellen, um ihre Pflicht zur Durchführung einer Datenschutz-Folgenabschätzung zu erfüllen.

Diese Abschätzung ist gemäß Artikel 35 der Verordnung (EU) 2016/679 (Datenschutz-Grundverordnung) oder Artikel 27 der Richtlinie (EU) 2016/680 durchzuführen, sofern das KI-System betroffen ist. Die Betriebsanleitungen der Hochrisiko-KI-Systeme enthalten relevante Informationen, die für die Bewertung der Datenschutzrisiken hilfreich sein können.

Betreiber von Hochrisiko-KI-Systemen nach Anhang III (mit Ausnahme der in Nummer 2 des genannten Anhangs aufgeführten Systeme in Kritischer Infrastruktur) müssen gegebenenfalls gemäß Art. 86 Abs. 1 betroffenen Personen eine klare und aussagekräftige Erläuterung zur Rolle des KI-Systems im Entscheidungsprozess und zu den wichtigsten Elementen der getroffenen Entscheidung bereitstellen, sofern diese Entscheidung rechtliche Auswirkungen hat oder die betroffenen Personen erheblich beeinträchtigt.

Bestimmte Betreiber von Hochrisiko-KI-Systemen, die Organe, Einrichtungen oder sonstige Stellen der Union sind, müssen gemäß Art. 26 Abs. 10 diese Systeme vor der Inbetriebnahme oder Verwendung in der EU-Datenbank gemäß Art. 49 Abs. 3 registrieren. Sie dürfen ein Hochrisiko-KI-System nicht verwenden, wenn es nicht in der EU-Datenbank registriert ist, und müssen den Anbieter oder Händler darüber informieren.