Ver­bo­te­ne Prak­ti­ken

• Rechtsgrundlage der Verbote
• Materieller Geltungsbereich
• Zusammenspiel von Verboten und Hochrisiko-KI-Systemen
• Überblick
• Schädliche Manipulation, Täuschung und Ausnutzung Schutzbedürftiger
• Social Scoring
• Individuelle Risikobewertung und Vorhersage von Straftaten
• Ungezieltes Auslesen von Gesichtsbildern
• Ableitung von Emotionen am Arbeitsplatz und in Bildungseinrichtungen
• Biometrische Kategorisierung für bestimmte „sensible“ Merkmale
• Biometrische Echtzeit-Fernidentifizierung in öffentlich zugänglichen Räumen zu Strafverfolgungszwecken
• Weiterführende Links

Die Anwendung von Artikel 5 der KI-Verordnung erfordert stets eine individuelle Prüfung, bei der die besonderen Umstände des Einzelfalls gebührend zu berücksichtigen sind.

Am 4. Februar 2025 hat die Europäische Kommission Leitlinien zu „verbotenen Praktiken der künstlichen Intelligenz gemäß der KI-Verordnung“ veröffentlicht. Die Leitlinien sind bislang nur in englischer Sprache verfügbar. Nach Veröffentlichung der offiziellen deutschen Übersetzung, werden gegebenenfalls Begrifflichkeiten dieser Seite noch angepasst werden.

Die Leitlinien sind unverbindlich, da die maßgebliche Auslegung dem Europäischen Gerichtshof vorbehalten ist. Die Leitlinien stellen aber eine wichtige Orientierungshilfe dar, geben rechtliche Erläuterungen und praktische Beispiele und sollen zur klaren und einheitlichen Auslegung und Anwendung der Verbote beitragen.

Rechtsgrundlage der Verbote

Die KI-Verordnung stützt sich auf zwei Rechtsgrundlagen: Artikel 114 des Vertrags über die Arbeitsweise der Europäischen Union (AEUV), Rechtsgrundlage für den Binnenmarkt) und Artikel 16 AEUV (Rechtsgrundlage für den Datenschutz). Artikel 16 AEUV verbietet die Verwendung von Systemen zur biometrischen Fernidentifizierung (engl. remote biometric identification, kurz "RBI") zu Strafverfolgungszwecken, biometrischen Kategorisierungssystemen zu Strafverfolgungszwecken und individuellen Risikobewertungen zu Strafverfolgungszwecken. Alle anderen Verbote, die in Artikel 5 der KI-Verordnung aufgeführt sind, haben ihre Rechtsgrundlage in Artikel 114 AEUV.

Materieller Geltungsbereich

Die KI-Verordnung verbietet bestimmte Praktiken. Sie betreffen das Inverkehrbringen, die Inbetriebnahme oder die Verwendung bestimmter KI-Systeme. Für biometrische Echtzeit-Fernerkennungssysteme gilt das Verbot in Artikel 5 Absatz 1 Buchstabe h der KI-Verordnung nur für deren Verwendung.

Das Inverkehrbringen (Artikel 3 Ziffer 9 KI-Verordnung) eines KI-Systems bezeichnet „die erstmalige Bereitstellung eines KI-Systems [...] auf dem Unionsmarkt“. "Bereitstellung auf dem Markt" (Artikel 3 Ziffer 10) beschreibt die entgeltliche oder unentgeltliche Zurverfügungstellung des Systems „zum Vertrieb oder zur Verwendung auf dem Unionsmarkt im Rahmen einer gewerblichen Tätigkeit“.

Obwohl der Begriff „Verwendung“ eines KI-Systems in der KI-Verordnung nicht ausdrücklich definiert ist, sollte er laut Leitlinie so verstanden werden, dass er den Einsatz oder die Nutzung des Systems zu jedem Zeitpunkt seines Lebenszyklus nach dem Inverkehrbringen oder der Inbetriebnahme umfasst.

Zusammenspiel von Verboten und Hochrisiko-KI-Systemen

Laut Leitlinie sollten die nach Artikel 5 der KI-Verordnung verbotenen KI-Praktiken im Zusammenhang mit den nach Artikel 6 der KI-Verordnung als Hochrisiko-KI-Systeme eingestuften KI-Systemen, insbesondere den in Anhang III aufgeführten Systemen, betrachtet werden. Denn der Einsatz von Hochrisiko-KI-Systemen kann im Einzelfall als verbotene Praxis angesehen werden, wenn alle Voraussetzungen eines oder mehrerer Verbote nach Artikel 5 der KI-Verordnung erfüllt sind. Umgekehrt werden die meisten KI-Systeme, die unter eine Ausnahme von einem Verbot nach Artikel 5 der KI-Verordnung fallen, als Hochrisiko-KI-Systeme eingestuft.

Die Bedingungen der Verbote sind kumulativ, d. h. nur wenn alle erfüllt sind, handelt es sich um ein verbotenes KI-System.

KI-Systeme, die auf der Grundlage von Artikel 6 Absatz 3 KI-Verordnung ausnahmsweise nicht als hochriskant eingestuft werden, obwohl sie unter einen hochriskanten Anwendungsfall des Anhangs III fallen, können dennoch in den Anwendungsbereich der Verbote von Artikel 5 der KI-Verordnung fallen.

Überblick

Die KI-Verordnung listet insgesamt acht verbotene Praktiken in Artikel 5 Absatz 1:

Artikel	Verbotene Praktik	Beispiele
5 (1)(a)	Schädliche Manipulation und Täuschung	Chatbots, die Nutzern raten, sich selbst zu verletzen, terroristische Inhalte oder Anreize zu Gewalt fördern KI-Systeme, die sich als andere Personen ausgeben, mit der Intention, die Fähigkeit von Personen, fundierte Entscheidungen über die Identität der Person zu treffen, erheblich beeinträchtigen
5(1)(b)	Schädliche Ausnutzung Schutzbedürftiger	Ein KI-gesteuertes Spielzeug, das mit Kindern interagiert und diese zu riskanten Handlungen ermutigt. Das kann wahrscheinlich zu körperlichen Schäden führen. KI-Systeme, die ältere Menschen mit trügerischen Angeboten und Betrügereien ansprechen, um ihnen finanziellen Schaden zuzufügen
5(1)(c)	Social Scoring	Eine Sozialbehörde verwendet KI zur Berechnung einer Risikobewertung für die Betrugswahrscheinlichkeit von Empfängern von Haushaltsbeihilfen, wobei sie nicht mit der Person in Verbindung stehende Daten (z. B. Herkunft, Hautfarbe) verwendet
5(1)(d)	Risikobewertung für Strafraten (Predictive Policing)	Polizei nutzt KI zur Vorhersage kriminellen Verhaltens (z. B. Aufstände oder Terrorismus) ausschließlich auf Grundlage individueller biometrischer Daten (z. B. besondere Gesichtszüge) ohne eine durch Menschen durchgeführte Bewertung anhand objektiver und überprüfbarer Tatsachen
5(1)(e)	Ungezieltes Auslesen von Gesichtsbildern	Ein KI-gestütztes Web-Scraping-Tool zur wahllosen Extraktion von Gesichtsbildern aus verschiedenen Social-Media-Websites, um eine Gesichtsdatenbank mit mehreren Milliarden Bildern aufzubauen
5(1)(f)	Emotionserkennung an Arbeitsplätzen und in Bildungseinrichtungen	Das Verwenden von Webcams und Spracherkennungssystemen durch Callcenter, um die Emotionen von Beschäftigten zu verfolgen (z. B. Ärger) KI-System zur Überwachung der Aufmerksamkeit von Schülern und/oder Lehrern
5(1)(g)	Biometrische Kategorisierung	Ein KI-System auf einer Social-Media-Plattform kategorisiert Personen anhand ihrer vermuteten sexuellen Orientierung anhand biometrischer Daten von Fotos, um ihnen personalisierte Werbung anzuzeigen.
5(1)(h)	Biometrische Echtzeit-Fernidentifizierung in öffentlich zugänglichen Räumen zu Strafverfolgungszwecken	Mobile Überwachungskameras der Polizei in einer Einkaufsstraße, die mit KI-basierten Gesichtserkennungstechnologien ausgestattet sind, um gesuchte Personen zu identifizieren

Schädliche Manipulation, Täuschung und Ausnutzung Schutzbedürftiger

Der Schutz von Einzelpersonen und schutzbedürftigen Personen vor den erheblich nachteiligen Auswirkungen der Manipulation und Ausbeutung durch KI ist Gegenstand der ersten beiden Verbote der KI-Verordnung, so die Leitlinie.

Diese beiden Verbote zielen darauf ab, das Recht auf Menschenwürde (Artikel 1 der Charta der Grundrechte der Europäischen Union) zu schützen. Es bildet die Grundlage aller Grundrechte und schließt die individuelle Autonomie als wesentlichen Aspekt mit ein. Die Verbote zielen insbesondere darauf ab, Manipulation und Ausbeutung durch KI-Systeme zu verhindern, die den Menschen zu einem bloßen Werkzeug zur Erreichung bestimmter Ziele reduzieren, und diejenigen zu schützen, die am verletzlichsten und anfällig für schädliche Manipulation und Ausbeutung sind.

Hauptbestandteile des Verbots in Artikel 5 Absatz 1 Buchstabe a) der KI-Verordnung - schädliche Manipulation

Für das Verbot müssen mehrere kumulative Bedingungen erfüllt sein:

1. das Inverkehrbringen, die Inbetriebnahme oder die Verwendung eines KI-Systems,
2. das Techniken der unterschwelligen Beeinflussung oder absichtlich manipulative oder täuschende Techniken einsetzt,
3. mit dem Ziel oder der Wirkung, Verhalten von Personen wesentlich zu verändern
4. und der Person erheblichen Schaden zufügt oder mit hinreichender Wahrscheinlichkeit zufügen wird.

[ENDE]

Hauptbestandteile des Verbots in Artikel 5 Absatz 1 Buchstabe b) der KI-Verordnung - Ausnutzung Schutzbedürftiger

Für das Verbot müssen mehrere kumulative Bedingungen erfüllt sein:

1. das Inverkehrbringen, die Inbetriebnahme oder die Verwendung eines KI-Systems,
2. das Vulnerabilität oder Schutzbedürftigkeit einer natürlichen Person bezogen auf Alter, Behinderung oder sozialer oder wirtschaftlicher Situation ausnutzt,
3. mit dem Ziel oder der Wirkung, Verhalten von Personen wesentlich zu verändern
4. und der oder einer anderen Person erheblichen Schaden zufügt oder mit hinreichender Wahrscheinlichkeit zufügen wird.

[ENDE]

Die Kombination der beiden Verbote erfordert eine klare Unterscheidung der jeweiligen Anwendungsbereiche. Dies stellt sicher, dass beide Bestimmungen sich ergänzen und nicht widersprechen. Das erste Verbot richtet sich hauptsächlich gegen Techniken, die unterbewusst wirken oder absichtlich manipulativ und irreführend sind. Das zweite Verbot hingegen schützt besonders vulnerable Personen, wie Kinder, Menschen mit Behinderungen oder solche in prekären sozioökonomischen Situationen. Diese Personen sind aufgrund ihrer Lebensumstände anfälliger für Ausbeutung durch künstliche Intelligenz und benötigen daher zusätzlichen Schutz.

Die Leitlinie beinhaltet neben weiteren Ausführungen über Interpretationen weiterer Begrifflichkeiten, den genannten Techniken, den Arten von Schäden und deren Eintrittswahrscheinlichkeiten auch mehrere Beispiele von Anwendungsfällen, die außerhalb des Verbots liegen. Außerdem geht sie auf das Zusammenspiel des Verbotes mit weiteren EU-Regularien ein.

Social Scoring

KI-gestütztes Scoring kann Vorteile bieten, indem es gutes Verhalten fördert und die Sicherheit, Effizienz oder Qualität von Dienstleistungen verbessert. Allerdings gibt es bestimmte „Social Scoring“-Praktiken, die Menschen ungerecht behandeln oder schädigen und auf soziale Kontrolle und Überwachung abzielen. Das Verbot in Artikel 5 Absatz 1 Buchstabe c der KI-Verordnung richtet sich gegen solche inakzeptablen KI-gestützten „Social Scoring“-Praktiken. Diese bewerten oder klassifizieren Personen oder Gruppen aufgrund ihres Sozialverhaltens oder persönlicher Merkmale und führen zu nachteiliger oder ungünstiger Behandlung. Besonders problematisch ist dies, wenn die Daten aus verschiedenen, nicht miteinander verbundenen sozialen Kontexten stammen oder die Behandlung in keinem Verhältnis zur Schwere des Sozialverhaltens steht. Das Verbot des „Social Scoring“ gilt sowohl im öffentlichen als auch im privaten Bereich und ist nicht auf bestimmte Sektoren oder Bereiche beschränkt.

Das Verbot des „Social Scoring“ soll vor allem die Menschenwürde und andere Grundrechte schützen. Dazu gehören das Recht auf Nichtdiskriminierung und Gleichbehandlung, der Datenschutz sowie das Recht auf Privat- und Familienleben. Auch soziale und wirtschaftliche Rechte sollen gewahrt bleiben. Zudem sollen die Werte der Europäischen Union – Demokratie, Gleichheit (einschließlich des gleichberechtigten Zugangs zu öffentlichen und privaten Dienstleistungen) und Gerechtigkeit – geschützt und gefördert werden.

Hauptbestandteile des Verbots in Artikel 5 Absatz 1 Buchstabe c) der KI-Verordnung –Social Scoring

Für das Verbot müssen mehrere kumulative Bedingungen erfüllt sein:

1. das Inverkehrbringen, die Inbetriebnahme oder die Verwendung eines KI-Systems,

2. zur Bewertung oder Einstufung von Personen über einen bestimmten Zeitraum basierend auf

   1. ihrem sozialen Verhaltens oder
   2. bekannter, abgeleiteter oder vorhergesagter persönlicher Eigenschaften oder Persönlichkeitsmerkmale,

3. wobei die soziale Bewertung zu einem oder beiden der folgenden Ergebnisse führt:

   1. Schlechterstellung oder Benachteiligung von Personen in sozialen Zusammenhängen, die in keinem Zusammenhang zur Datenerhebung stehen;
   2. Schlechterstellung oder Benachteiligung von Personen in einer Weise, die im Hinblick auf ihr soziales Verhalten oder dessen Tragweite ungerechtfertigt oder unverhältnismäßig ist

[ENDE]

Die Leitlinie beinhaltet neben weiteren Ausführungen über die einzelnen Komponenten auch mehrere Beispiele von Anwendungsfällen, die außerhalb des Verbots liegen. Außerdem geht sie auf das Zusammenspiel des Verbotes mit weiteren EU-Regularien ein.

Individuelle Risikobewertung und Vorhersage von Straftaten

Artikel 5 Absatz 1 Buchstabe d der KI-Verordnung verbietet KI-Systeme, die das Risiko einer Straftat durch eine Person nur anhand von Profilen oder Persönlichkeitsmerkmalen bewerten oder vorhersagen.

Das Verbot gilt nicht, wenn das KI-System die menschliche Einschätzung unterstützt und dabei auf objektiven, überprüfbaren Fakten basiert, die direkt mit der kriminellen Tätigkeit einer Person verbunden sind. Solche Systeme, die von Strafverfolgungsbehörden oder in deren Auftrag genutzt werden, um das Risiko einer Straftat oder Rückfälligkeit zu bewerten, gelten als Hochrisiko-KI-Systemen (Anhang III Nummer 6 Buchstabe d der KI-Verordnung) und müssen alle gesetzlichen Anforderungen erfüllen.

Hauptbestandteile des Verbots in Artikel 5 Absatz 1 Buchstabe d) der KI-Verordnung – Individuelle Risikobewertung und Vorhersage von Straftaten

Für das Verbot müssen mehrere kumulative Bedingungen erfüllt sein:

1. das Inverkehrbringen, die Inbetriebnahme oder die Verwendung eines KI-Systems,
2. zur Risikobewertung einer natürlichen Person oder Vorhersage, dass eine natürliche Person eine Straftat begeht,
3. ausschließlich auf Grundlage des Profilings einer natürlichen Person oder der Bewertung ihrer persönlichen Merkmale und Eigenschaften

[ENDE]

Ein zentrales Element des Ausnahmefalls ist, dass das KI-System die menschliche Bewertung unterstützt und nicht selbst die Risikobewertung vornimmt, wie es in den verbotenen Situationen der Fall ist. Damit die Ausnahme gilt, muss die menschliche Bewertung auf objektiven und überprüfbaren Fakten basieren, die direkt mit einer kriminellen Aktivität zusammenhängen.

Neben Strafverfolgungsbehörden können auch private Einrichtungen unter das Verbot der KI-Verordnung fallen, insbesondere, wenn sie gesetzlich mit öffentlicher Gewalt und Aufgaben zur Verhütung oder Verfolgung von Straftaten betraut sind oder im Auftrag der Strafverfolgungsbehörden handeln. Das Verbot gilt auch für private Stellen, die das Risiko einer Straftat bewerten oder vorhersagen, wenn dies zur Erfüllung gesetzlicher Verpflichtungen notwendig ist, wie bei der Bekämpfung von Geldwäsche oder Terrorismusfinanzierung.

Nicht unter das Verbot fallen:

• Orts- oder raumbezogene Vorhersagen von Straftaten
• KI-Systeme, die menschliche Einschätzungen auf Basis objektiver und überprüfbarer Fakten im Zusammenhang mit kriminellen Aktivitäten unterstützen
• KI-Systeme, die Straftaten bei juristischen Personen vorhersagen oder einschätzen
• KI-Systeme, die individuelle Vorhersagen von Verwaltungsdelikten erstellen

Die Leitlinie beinhaltet neben weiteren Ausführungen über die einzelnen Komponenten auch mehrere Beispiele von Anwendungsfällen. Außerdem geht sie auf das Zusammenspiel des Verbotes mit weiteren EU-Regularien ein.

Ungezieltes Auslesen von Gesichtsbildern

Das ungezielte Sammeln von Gesichtsbildern aus dem Internet und Videoaufzeichnungen verletzt das Recht auf Privatsphäre und Datenschutz und verhindert, dass Personen anonym bleiben. Erwägungsgrund 43 der KI-Verordnung begründet daher das Verbot in Artikel 5 Absatz 1 Buchstabe e mit dem 'Gefühl der Massenüberwachung' und den Risiken schwerwiegender Grundrechtsverletzungen, einschließlich des Rechts auf Privatsphäre.

Hauptbestandteile des Verbots in Artikel 5 Absatz 1 Buchstabe e) der KI-Verordnung - Ungezieltes Auslesen von Gesichtsbildern

Für das Verbot müssen mehrere kumulative Bedingungen erfüllt sein:

• das Inverkehrbringen, die Inbetriebnahme oder die Verwendung eines KI-Systems,
• mit dem Zweck eine Datenbank zur Gesichtserkennung zu erstellen oder zu erweitern,
• durch Auffüllen der Datenbank durch KI-Tools für ungezieltes Scraping
• mit Bildern aus dem Internet oder Videoüberwachungsaufnahmen

[ENDE]

Das Verbot betrifft KI-Systeme, die zur Erstellung oder Erweiterung von Gesichtserkennungs-datenbanken genutzt werden. Eine Gesichtserkennungsdatenbank gleicht ein menschliches Gesicht aus einem digitalen Bild oder Video mit einer Datenbank von Gesichtern ab, um mögliche Übereinstimmungen zu finden. Diese Datenbank kann temporär, zentral oder dezentral sein. Das Verbot gilt, wenn die Datenbank für Gesichtserkennung verwendet werden kann, auch wenn dies nicht ihr einziger Zweck ist.

"Scraping" bezeichnet die Nutzung von Web-Crawlern, Bots oder anderen automatischen Mitteln zur Extraktion von Daten oder Inhalten aus verschiedenen Quellen wie Videoüberwachung, Webseiten oder sozialen Medien. Diese Tools durchsuchen Datenbanken, extrahieren Informationen und nutzen sie für andere Zwecke.

"Ungezielt" bedeutet, dass Daten wie mit einem Staubsauger wahllos gesammelt werden, ohne auf bestimmte Personen oder Gruppen abzuzielen. Die Einhaltung von Opt-out-Regelungen wie robots.txt ändert nichts am ungezielten Charakter des Scrapings.

Das Verbot gilt, wenn die Gesichtsbilder aus dem Internet oder Überwachungsaufnahmen stammen. Wenn eine Person Bilder von sich selbst auf einer Social-Media-Plattform veröffentlicht, bedeutet dies nicht, dass sie der Aufnahme dieser Bilder in eine Gesichtserkennungsdatenbank zugestimmt hat. Beispiele für Überwachungsaufnahmen sind Bilder von Kameras an Orten wie Flughäfen, Straßen oder Parks.

Die Leitlinie beinhaltet neben weiteren Ausführungen über die einzelnen Komponenten auch mehrere Beispiele von Anwendungsfällen. Außerdem geht sie auf das Zusammenspiel des Verbotes mit weiteren EU-Regularien ein.

Ableitung von Emotionen am Arbeitsplatz und in Bildungseinrichtungen

Die Technologie zur Erkennung von Emotionen entwickelt sich schnell weiter und umfasst verschiedene Methoden, um Emotionen von Personen zu erkennen, zu analysieren und darauf zu reagieren. Die Wirksamkeit und Genauigkeit der Emotionserkennung wird oft angezweifelt. Erwägungsgrund 44 der KI-Verordnung erklärt, dass es 'ernsthafte Bedenken' gibt, da Gefühlsausdrücke je nach Kultur, Situation und sogar bei derselben Person stark variieren können. Diese Systeme sind oft unzuverlässig, nicht eindeutig und nur begrenzt verallgemeinerbar.

Emotionserkennung kann zu diskriminierenden Ergebnissen führen und die Rechte und Freiheiten der betroffenen Personen verletzen, insbesondere das Recht auf Privatsphäre, Menschenwürde und Gedankenfreiheit. Dies ist besonders problematisch in asymmetrischen Beziehungen, wie am Arbeitsplatz oder in Bildungseinrichtungen, wo Arbeitnehmer und Studenten in einer verletzlichen Position sind. Dennoch kann Emotionserkennung in bestimmten Kontexten, wie der Sicherheit und medizinischen Versorgung hilfreich sein.

Hauptbestandteile des Verbots in Artikel 5 Absatz 1 Buchstabe f) der KI-Verordnung - Ableitung von Emotionen am Arbeitsplatz und in Bildungseinrichtungen

Für das Verbot müssen mehrere kumulative Bedingungen erfüllt sein:

1. das Inverkehrbringen, die Inbetriebnahme oder die Verwendung eines KI-Systems,
2. zur Ableitung von Emotionen
3. am Arbeitsplatz oder in einer Bildungseinrichtung

[ENDE]

Das Verbot bezieht sich nicht auf „Emotionserkennungssysteme“ wie sie in Artikel 3 Ziffer 39 KI-Verordnung definiert sind, sondern auf „KI-Systeme zur Ableitung von Emotionen einer natürlichen Person“. Dennoch muss das Verbot so ausgelegt werden, dass es einen ähnlichen Anwendungsbereich wie die Vorschriften für andere Emotionserkennungssysteme hat, allerdings auf Ableitungen aus biometrischen Daten von natürlichen Personen beschränkt ist.

Das Ableiten von Emotionen oder Absichten setzt in der Regel deren Erkennung voraus. Daher umfasst das Verbot sowohl KI-Systeme, die Emotionen oder Absichten erkennen, als auch solche, die sie ableiten. Erkennung meint hierbei, dass biometrische Daten einer Person (z.B. Stimme oder Gesichtsausdruck) direkt mit einer im Emotionserkennungssystem gespeicherten Emotion verglichen werden. Ableiten bedeutet in diesen Kontext hingegen die Erzeugung neuer Informationen durch das System. Diese Informationen basieren nicht nur auf den gesammelten Daten der Person, sondern auch auf anderen Datenquellen und Lernprozessen.

Während Erwägungsgrund 18 der KI-Verordnung eine Auswahl von Emotionen wie „Glück, Trauer, Wut, Überraschung, […]“, so soll der Begriff weit und nicht restriktiv gedeutet werden. Die Feststellung physischer Zustände wie Müdigkeit oder Krankheit zählt nicht zu Emotionserkennung.

Das Verbot beschränkt sich auf die Bereiche am Arbeitsplatz und in Bildungseinrichtungen. Es soll Machtungleichgewichte in diesen Kontexten adressieren.

Das Verbot enthält eine ausdrückliche Ausnahme für Emotionserkennungssysteme, die aus medizinischen oder sicherheitstechnischen Gründen eingesetzt werden, wie z. B. Systeme für therapeutische Zwecke.

Biometrische Kategorisierung für bestimmte „sensible“ Merkmale

Aus biometrischen Daten können viele Informationen, einschließlich sensibler Daten, extrahiert oder abgeleitet werden, oft ohne das Wissen der betroffenen Personen. Dies kann zu ungerechter und diskriminierender Behandlung führen, zum Beispiel wenn einer Person eine Dienstleistung verweigert wird, weil sie einer bestimmten Ethnie zugeordnet wird. KI-gestützte biometrische Systeme, die Menschen aufgrund ihrer sexuellen oder politischen Orientierung, Ethnie oder anderer Merkmale kategorisieren, verletzen die Menschenwürde und gefährden Grundrechte wie Privatsphäre und Gleichbehandlung. Daher sind solche Systeme nach Artikel 5 Absatz 1 Buchstabe g der KI-Verordnung verboten.

Hauptbestandteile des Verbots in Artikel 5 Absatz 1 Buchstabe g) der KI-Verordnung - Biometrische Kategorisierung für bestimmte „sensible“ Merkmale

Für das Verbot müssen mehrere kumulative Bedingungen erfüllt sein:

1. das Inverkehrbringen, die Inbetriebnahme oder die Verwendung eines KI-Systems,
2. welches ein System zur biometrischen Kategorisierung ist,
3. einzelne Personen kategorisiert,
4. basierend auf biometrischen Daten der Personen,
5. um ihre Ethnie, ihre politischen Meinungen, Gewerkschaftszugehörigkeit, religiösen
6. oder weltanschaulichen Überzeugungen, ihr Sexualleben oder ihre sexuelle Orientierung zu erschließen oder abzuleiten

[ENDE]

Das Verbot gilt nicht für die Kennzeichnung oder Filterung rechtmäßig erworbener biometrischer Datensätze, auch nicht für Strafverfolgungszwecke.

Die Kategorisierung einer Person durch ein biometrisches System bedeutet, dass festgestellt wird, ob die biometrischen Daten einer Person zu einer Gruppe mit bestimmten Merkmalen gehören. Es geht dabei nicht darum, die Identität der Person zu überprüfen, sondern sie einer bestimmten Kategorie zuzuordnen. Zum Beispiel kann ein Werbedisplay je nach Alter oder Geschlecht der Person, die es anschaut, unterschiedliche Werbung anzeigen.

Um aus dem Anwendungsbereich der Definition der biometrischen Kategorisierung nach Art. 3 Nr. 40 KI-Verordnung herauszufallen, müssen zwei Bedingungen kumulativ erfüllt sein: Es muss sich um eine „Nebentätigkeit zu einem anderen kommerziellen Dienst handeln, die aus objektiven technischen Gründen unbedingt erforderlich ist“. Als Beispiel hierfür nennt die Leitlinie Filter zur Kategorisierung von Gesichts- oder Körpermerkmalen, die auf Online-Marktplätzen verwendet werden, um Verbrauchern eine Vorschau eines Produkts an ihnen selbst zu ermöglichen. Diese Filter würden nur im Zusammenhang mit der Hauptdienstleistung verwendet, die im Verkauf eines Produkts besteht.

Das Verbot gilt nur, wenn natürliche Personen individuell kategorisiert werden. Wenn die biometrische Kategorisierung nicht darauf abzielt oder nicht das Ergebnis hat, einzelne Personen zu kategorisieren, gilt das Verbot nicht. Dies ist zum Beispiel der Fall, wenn eine ganze Gruppe kategorisiert wird, ohne die Einzelpersonen zu betrachten.

Die Leitlinie beinhaltet neben weiteren Ausführungen über die einzelnen Komponenten auch mehrere Beispiele von Anwendungsfällen. Außerdem geht sie auf das Zusammenspiel des Verbotes mit weiteren EU-Regularien ein.

Biometrische Echtzeit-Fernidentifizierung in öffentlich zugänglichen Räumen zu Strafverfolgungszwecken

Erwägungsgrund 32 der KI-Verordnung erkennt an, dass Echtzeit-Fernidentifikationssysteme (engl. ‚remote biometric identification systems‘, kurz: RBI-Systeme) in öffentlichen Räumen die Rechte und Freiheiten der betroffenen Personen beeinträchtigen können. Sie stören das Privatleben vieler Menschen, erzeugen ein Gefühl ständiger Überwachung und können die Ausübung von Grundrechten wie der Versammlungsfreiheit einschränken. Technische Ungenauigkeiten dieser Systeme können zu verzerrten Ergebnissen und diskriminierenden Auswirkungen führen, insbesondere in Bezug auf Alter, ethnische Zugehörigkeit, Geschlecht oder Behinderung. Die sofortigen Auswirkungen und begrenzten Möglichkeiten zur Überprüfung oder Korrektur erhöhen die Risiken für die Rechte und Freiheiten der Betroffenen im Rahmen von Strafverfolgungsmaßnahmen.

Wenn der Einsatz solcher Systeme unbedingt notwendig ist, um ein wesentliches öffentliches Interesse zu erreichen, und die Situationen, in denen sie eingesetzt werden dürfen, klar und eng definiert sind, überwiegt dieser Einsatz die Risiken für die Grundrechte (Erwägungsgrund 33 der KI-Verordnung). Um sicherzustellen, dass diese Systeme verantwortungsvoll und verhältnismäßig eingesetzt werden, unterliegen sie den Schutzmaßnahmen und spezifischen Anforderungen in Artikel 5 Absätze 2 bis 7 der KI-Verordnung.

Hauptbestandteile des Verbots in Artikel 5 Absatz 1 Buchstabe h) der KI-Verordnung – Biometrische Echtzeit-Fernidentifizierung in öffentlich zugänglichen Räumen zu Strafverfolgungszwecken

Für das Verbot müssen mehrere kumulative Bedingungen erfüllt sein:

1. das KI-System ist ein RBI-System;
2. es betrifft die Verwendung jenes KI-Systems;
3. in Echtzeit;
4. in öffentlich zugänglichen Räumen und
5. zu Strafverfolgungszwecken

[ENDE]

Die KI-Verordnung sieht drei Ausnahmen vom allgemeinen Verbot der Nutzung von Echtzeit-RBI-Systemen in öffentlichen Räumen zu Strafverfolgungszwecken vor:

• gezielte Suche nach bestimmten Opfern von Entführung, Menschenhandel oder sexueller Ausbeutung sowie die Suche nach vermissten Personen;
• Abwenden einer konkreten, erheblichen und unmittelbaren Gefahr oder eines Terroranschlags
• Aufspüren oder Identifizieren einer Person, die der Begehung einer Straftat (Annex II) verdächtigt wird

Die Bedingungen und Garantien für eine solche Genehmigung sind in Artikel 5 Absätze 2 bis 7 festgelegt. Artikel 5 Absatz 1 Buchstabe h Ziffern i-iii stellt jedoch keine eigenständige Rechtsgrundlage für die Nutzung von Echtzeit-RBI dar. Nur das nationale, das die Anforderungen der Artikel 5 Absätze 2 bis 7 erfüllt, kann die Nutzung von Echtzeit-RBI-Systemen erlauben. Ohne dieses ist der Einsatz von Echtzeit-RBI für die genannten Ziele ab dem 2. Februar 2025 verboten.

Weiterführende Links