Weitere Fragen und Antworten

Weitere Fragen und Antworten

Was ist ein KI-System?

Die KI-Verordnung definiert KI-Systeme bewusst breit und technologieneutral, um ihre Anwendung auf zukünftige Entwicklungen sicherzustellen. Ein KI-System ist demnach:

„ein maschinengestütztes System, das für einen in unterschiedlichem Grade autonomen Betrieb ausgelegt ist und das nach seiner Betriebsaufnahme anpassungsfähig sein kann und das aus den erhaltenen Eingaben für explizite oder implizite Ziele ableitet, wie Ausgaben wie etwa Vorhersagen, Inhalte, Empfehlungen oder Entscheidungen erstellt werden, die physische oder virtuelle Umgebungen beeinflussen können;“ (Artikel 3 Nr. 1 KI-Verordnung)

Ein KI-System soll also folgende sieben Eigenschaften haben, wobei die Anpassungsfähigkeit optional ist:

  1. Maschinengestützt: KI Systeme werden mit Maschinen entwickelt und laufen auf Maschinen
  2. Unterschiedliche Autonomiegrade: KI-Systeme handeln und arbeiten bis zu einem gewissen Grad unabhängig von menschlichen Eingriffen
  3. Anpassungsfähigkeit: KI-Systeme können sich während der Nutzung verändern und sich an neue Daten oder Ausgaben anpassen
  4. Explizite und implizite Ziele: Ziele können von Menschen festgelegt werden und implizit in den Aufgaben und Daten enthalten sein
  5. Ableiten: KI-Systemen leiten Schlussfolgerungen aus empfangenen Eingaben ab
  6. Ausgaben: KI Systeme erzeugen Vorhersahen, Inhalte, Empfehlungen oder Entscheidungen
  7. Interaktion: KI-Systeme beeinflussen aktiv physische und virtuelle Umgebungen

Welche Risikostufen sind in der Verordnung vorgesehen?

Die KI-Verordnung kategorisiert KI-Systemen nach ihrem Risiko. Diese Kategorisierung bestimmt, welche Anforderungen und Auflagen an die KI gestellt werden, basierend auf dem Risiko, das von einem System ausgeht.

Inakzeptables Risiko

Einige KI-Systeme werden als inakzeptabel risikobehaftet eingestuft und sind daher seit dem 02. Februar 2025 in der EU vollständig verboten. Dazu gehören u.a.:

  • Social Scoring: KI-Systeme, die das Verhalten von Einzelpersonen analysieren, um soziale oder politische Bewertungen vorzunehmen.
  • Echtzeit-Überwachung: KI-Systeme zur Gesichtserkennung in öffentlichen Räumen ohne gerechtfertigten Anlass.
  • Manipulative Systeme: KI-Systeme, die gezielt menschliches Verhalten negativ beeinflussen oder manipulieren, etwa bei Wahlen oder in der Werbung.

Hohes Risiko

KI-Systeme mit hohem Risiko unterliegen strengen Vorschriften, um sicherzustellen, dass sie sicher eingesetzt werden. Beispiele für hochriskante Anwendungen sind:

  • Gesichtserkennung in sicherheitsrelevanten Bereichen (z. B. an Flughäfen oder bei öffentlichen Versammlungen).
  • Kritische Infrastruktur (z. B. KI in der medizinischen Diagnostik, Verkehrssteuerung, oder bei der Luftfahrt).
  • Rechtliche Entscheidungen: KI, die in rechtlichen Kontexten Entscheidungen trifft, wie etwa bei der Straftatenbewertung oder Kreditvergabe.

Diese Systeme müssen strengen Vorschriften hinsichtlich Dokumentation, Transparenz, menschlicher Aufsicht, Sicherheit, Datenschutz und Qualitätskontrollen und Konformitätsbewertung entsprechen. Hierzu zählen vor allem:

  • Durchführung einer detaillierten Risikobewertung.
  • Die Sicherstellung, dass die KI-Systeme transparent sind, sodass Benutzer verstehen können, wie Entscheidungen getroffen werden.
  • Kontinuierliche Überwachung und regelmäßige Updates der KI-Systeme sicherstellen.
  • Eine menschliche Aufsicht muss gewährleistet sein, insbesondere bei kritischen Entscheidungen.
  • Datenschutzanforderungen und Datenqualität sicherstellen, insbesondere im Hinblick auf die Nutzung personenbezogener Daten.
  • Unternehmen müssen Dokumentationen über die Funktionsweise und die Entscheidungen von KI-Systemen führen, die für die Aufsichtsbehörden zugänglich sind.

Begrenztes Risiko

KI-Systeme mit geringem Risiko gelten weniger strenge Vorschriften. Hierzu gehören die meisten kommerziellen Anwendungen von KI, wie etwa Chatbots oder Empfehlungsalgorithmen. Dennoch müssen Unternehmen sicherstellen, dass diese Systeme transparent und benutzerfreundlich sind. So müssen Nutzer darüber informiert werden, dass sie mit einer KI und nicht mit einem Menschen interagieren.

Minimales bzw. kein Risiko

KI-Systeme mit minimalem Risiko, wie beispielsweise Videospiele oder Spam-Filter, sind weitgehend unreguliert, da sie keine signifikanten Risiken für die Gesellschaft oder Einzelpersonen darstellen.

Warum braucht man Standards und Normen für Hochrisiko-KI-Systeme?

....

Was sind KI-Modelle mit allgemeinem Verwendungszweck/GPAI?

Aktuell sind GPAI-Modelle als sogenannte Large Language Models (LLMs) bekannt, die normalerweise aus künstlichen neuronalen Netzen bestehen, wie GPT-4 von OpenAI, Gemini von Google oder LLaMA 2 von Meta Platforms. Diese Modelle werden oft als Grundlage für KI-Systeme genutzt und in die KI-Systeme integriert.

Die KI-Verordnung definiert ein KI-Modell mit allgemeinem Verwendungszweck als

"ein KI-Modell — einschließlich der Fälle, in denen ein solches KI-Modell mit einer großen Datenmenge unter umfassender Selbstüberwachung trainiert wird —, das eine erhebliche allgemeine Verwendbarkeit aufweist und in der Lage ist, unabhängig von der Art und Weise seines Inverkehrbringens ein breites Spektrum unterschiedlicher Aufgaben kompetent zu erfüllen, und das in eine Vielzahl nachgelagerter Systeme oder Anwendungen integriert werden kann, ausgenommen KI-Modelle, die vor ihrem Inverkehrbringen für Forschungs- und Entwicklungstätigkeiten oder die Konzipierung von Prototypen eingesetzt werden" (Art. 3 Nr. 63 KI-VO).

Die Regelungen der KI-Verordnung für GPAI-Modelle werden ab dem 02. August 2025 angewandt.

1. "Normale" GPAI: Anbieter und Betreiber müssen sicherstellen, dass ihre Modelle sicher und vertrauenswürdig sind. Sie müssen Informations- und Dokumentationspflichten nach Artikel 51 KI-VO erfüllen wie beispielsweise:  

  • Erstellung und Aktualisierung von technischer Dokumentation
  • Dokumentation von Fähigkeiten und Grenzen des GPAI-Modells, die an Anbieter von KI-Systemen weitergegeben werden können, falls das Modell in ihr System integriert wird.
  • Offenlegung von detaillierter Zusammenfassung der Trainingsdaten
  • Strategie zum Umgang mit Urheberrechten (z. B. Schutz von Trainingsmaterial)

2. GPAI mit systemischem Risiko liegt vor, wenn:

  • das GPAI-Modell Fähigkeiten mit hohem Wirkungsgrad aufweist. Ein hoher Wirkungsgrad wird vermutet, wenn der kumulativer Rechenaufwand für das Training mindestens 10^25 Gleitkommaoperationen (Floating Point Operations Per Second, kurz: FLOPs) benötigt oder
  • eine entsprechende Entscheidung der EU-Kommission vorliegt. (Art. 51 (1) KI-VO).

Für GPAI-Modelle mit systematischem Risiko gelten neben den Information- und Dokumentationspflichten nach Art. 51 KI-VO zusätzliche Anforderungen wie:

  • Informationsplichten aus Anhang XI Abschnitt 2 KI-VO
  • Evaluierung des GPAI-Modells, eine Untersuchung der systematischen Risiken, die Beobachtung und Dokumentation gravierenden Vorfälle und deren Meldung an das KI-Büro,
  • Einführung von Maßnahmen zu Cybersicherheit sowie weitere Pflichten aus dem Art. 55 KI-VO

Für die Aufsicht über GPAI-Modelle ist das KI-Büro der EU-Kommission zuständig. Das KI-Büro soll bis zum 02. Mai 2025 ein Praxisleitfaden zu GPAI-Modellen veröffentlichen.

Was sind verbotene Praktiken?

Die KI-Verordnung definiert acht KI-Praktiken, die auf Grund ihrer potenziellen Risiken für die europäischen Werte und Grundrechte seit dem 2. Februar 2025 verboten sind. Ausnahmen bestehen nur in einem engen Bereich, insbesondere für die Strafverfolgung, wenn unter bestimmten Voraussetzungen die Verwendung von biometrischer Echtzeitidentifizierung erlaubt ist.

Acht KI-Pratiken, die seit dem 2. Februar 2025 verboten sind

Verbotene Praktik

Beispiele

Manipulation
  • Chatbots, die Nutzern raten sich selbst zu verletzen, terroristische Inhalte oder Anreize zu Gewalt fördern
  • KI-Systeme, die sich als andere Personen ausgeben, mit der Intention die Fähigkeit von Personen, fundierte Entscheidungen über die Identität der Person zu treffen, erheblich beeinträchtigen

Ausnutzung Schutzbedürftiger

 

  • Ein KI-gesteuertes Spielzeug, das mit Kindern interagiert und diese zu riskanten Handlungen ermutigt. Das kann wahrscheinlich zu körperlichen Schäden führen.
  • KI-Systeme, die ältere Menschen mit trügerischen Angeboten und Betrügereien ansprechen um ihnen finanziellen Schaden zuzufügen

Social Scoring

 

  • eine Sozialbehörde verwendet KI zur Berechnung einer Risikobewertung für die Betrugswahrscheinlichkeit von Empfängern von Haushaltsbeihilfen, wobei sie nicht mit der Person in Verbindung stehende Daten (z.B. Herkunft, Hautfarbe) verwendet

Risikobewertung für Strafraten (Predictive Policing)

 

  • Polizei nutzt KI zur Vorhersage kriminellen Verhaltens (z.B. Aufstände oder Terrorismus) ausschließlich auf Grundlage individueller biometrischer Daten (z.B. besondere Gesichtszüge) ohne einer durch Menschen durchgeführte Bewertung anhand objektiver und überprüfbarer Tatsachen

Ungezieltes Auslesen von Gesichtsbildern

 

  • ein KI-gestütztes Web-Scraping-Tool zur wahllosen Extraktion von Gesichtsbildern aus verschiedenen Social-Media-Websites, um eine Gesichtsdatenbank mit mehreren Milliarden Bildern aufzubauen

Emotionserkennung an Arbeitsplätzen und in Bildungseinrichtungen

 

  • Das Verwenden von Webcams und Spracherkennungssystemen durch Callcenter, um die Emotionen von Beschäftigten zu verfolgen (z.B. Ärger)
  • KI-System zur Überwachung der Aufmerksamkeit von Schülern und/oder Lehrern

Biometrische Kategorisierung

 

  • ein biometrisches System zur Kategorisierung von Gesichtern, das angeblich in der Lage ist die politische Ausrichtung von Personen zu erschließen, da sich die Gesichter von Liberalen und Konservativen durchgängig unterscheiden

Biometrische Echtzeit-Fernidentifizierung

 

  • mobile Überwachungskameras in einer Einkaufsstraße, die mit KI-basierten Gesichtserkennungstechnologien ausgestattet sind, um gesuchte Personen zu identifizieren
Das KI-Büro der Europäischen Union hat ein Webinar zur KI-Kompetenz veranstaltet. Hier geht es zur Aufzeichnung: Fourth AI Pact webinar on the Guidelines for Prohibited AI Practices under the AI Act and the Definition of an AI system | Shaping Europe’s digital future

Welche Vorbereitungen trifft die Bundesnetzagentur aktuell?

...

Warum braucht man Standards und Normen für Hochrisiko-KI-Systeme?

....

Welche Übergangsregelungen gibt es?

  • Ab Ende 2030 gelten bestimmte Verpflichtungen für KI-Systeme, die Teile von durch EU-Recht geschaffenen IT-Systemen in den Bereichen Freiheit, Sicherheit und Recht sind - wie etwa das Schengener Informationssystem – sofern sie bereits vor dem 02. August 2027 angeboten oder eingesetzt wurden, Art. 111 KI-Verordnung.
  • Betreiber von Hoch-Risiko-KI-Systemen, die vor dem 02. August 2026 angeboten oder eingesetzt wurden, müssen die Vorgaben der KI-VO nur dann erfüllen, wenn diese KI-Systeme in ihrem Design wesentlich geändert wurden.
  • Bertreiber und Entwickler der Hoch-Risiko-KI-Systeme, die für Einsatz in den öffentlichen Stellen vorgesehen sind, müssen die Vorgaben der KI-VO ab dem 02. August 2030 erfüllen.
  • Betreiber der KI-Modelle mit allgemeinem Verwendungszweck (GPAI), die vor 02. August 2025 in den Markt eingeführt wurden, müssen die Vorgaben der KI-Verordnung ab dem 02. August 2027 erfüllen.

Welche Behörden sind bei der KI-Verordnung involviert? (Governance)

...

Interessante Links

Pfeil nach links
Pfeil nach rechts
Mastodon