Leit­li­nie zu Trans­pa­renz­ver­pflich­tun­gen für An­bie­ter und Be­trei­ber von KI-Sys­te­men

Die Leitlinien und die hier bereitgestellte Zusammenfassung dieser sollen eine praktische Orientierung für alle Akteure im KI-Ökosystem – von zuständigen Behörden bis hin zu Anbietern und Betreibern von KI-Systemen – sowie für interessierte Verbraucher bieten. Sie sollen dabei helfen, die Transparenzpflichten nach Art. 50 einheitlich, wirksam und konsistent umzusetzen.

1. Hintergrund und Ziele

Die Europäische Kommission hat diese Leitlinien gemeinsam mit einem Praxisleitfaden für die Kennzeichnung und Beschriftung von KI-generierten Inhalten erarbeitet. Während der Praxisleitfaden sich auf die Kennzeichnung von Inhalten konzentriert, präzisieren die vorliegenden Leitlinien den gesamten Umfang der rechtlichen Verpflichtungen zur Transparenz.

Nachfolgend sind die wichtigsten Inhalte der Leitlinie zusammengefasst dargestellt. Für die genauen Details wird aber auf die englische Originalversion der Leitlinie verwiesen.

Obwohl die Leitlinien unverbindlich sind, bieten sie eine geeignete Orientierungshilfe bei ggf. vorhandener Rechtsunsicherheit.

2. Überblick und Querschnittsthemen

Die KI-VO legt mit Art. 50 umfassende Transparenzpflichten für KI-Systeme fest (siehe oben). Die Umsetzung dieser Pflichten erfordert ein Verständnis der Rollenverteilung zwischen Anbietern und Betreibern, da hier unterschiedliche Verpflichtungen bestehen.

Detaillierte Erläuterungen zu diesen Rollen finden Sie hier.

Anbieter müssen Transparenz in Design und Betrieb integrieren; Betreiber müssen proportionale Maßnahmen ergreifen, um die Kennzeichnung von Inhalten sicherzustellen, die sie implementieren.

Diese Pflichten können kumulativ gelten, sodass ein einzelnes KI-System mehrere Anforderungen erfüllen muss und die Verantwortung zur Einhaltung der Pflichten auf verschiedene Akteure verteilt sein kann.

Bestimmte Aktivitäten sind von den Transparenzpflichten ausgenommen, darunter die private, nicht berufliche, Nutzung von KI-Systemen sowie die Nutzung in Forschung und Entwicklung. Dennoch haben Anbieter auch bei Open-Source-Lizenzen ihren Verpflichtungen nachzukommen.

Die Einhaltung der Transparenzpflichten nach Art. 50 steht nicht im Widerspruch zu anderen Bestimmungen der KI-VO, insbesondere den Verboten in Art. 5 oder den Anforderungen an Hochrisiko-KI-Systeme.

3. Transparenz bei interaktiven KI-Systemen

Interaktive KI-Systeme – wie Chatbots oder virtuelle Assistenten – erfordern besondere Aufmerksamkeit in Bezug auf Transparenz, da sie in direkten Kontakt Nutzern treten. Art. 50 Abs. 1 verpflichtet Anbieter, Nutzer darüber zu informieren, dass sie mit einer KI interagieren, um fundierte Entscheidungen zu ermöglichen und eine übermäßige Abhängigkeit zu vermeiden.

Art. 50Abs. 1 – Informationspflicht bei direkter KI‑Mensch‑Interaktion (Kurzfassung):

  • Pflicht: Anbieter von KI‑Systemen, die direkt mit Menschen interagieren, müssen die Nutzer*innen eindeutig darüber informieren, dass sie mit einer KI kommunizieren.
  • Voraussetzungen (alle vier müssen erfüllt sein):
  1. Das System ist ein KI‑System im Sinne von Art. 3  1.
  2. Es ist für (bidirektionale) Interaktion mit Personen bestimmt.
  3. Die Interaktion erfolgt direkt (keine rein technische Schnittstelle).
  4. Die Gegenstelle ist eine natürliche Person.
  • Ausnahmen (nicht erfasst):
    • Backend‑ oder Maschine‑zu‑Maschine‑Lö
    • Geschlossene Industrie‑/Produktionsumgebungen.
    • Reine Empfehlungs‑, Filter‑ oder Entscheidungshilfesysteme ohne unmittelbaren Nutzerkontakt.
  • Informationsanforderungen:
    • Klar, verständlich und vor der ersten Interaktion zu geben (nach Art. 50  5 KIVO).
    • Berücksichtigung der Bedürfnisse vulnerabler Gruppen.
    • Formfrei: Text, Icon/Wasserzeichen, Audio oder multimodale Darstellung.
    • Unzureichend: reine AGB‑Klauseln, rein technische Angaben ohne Bezug zur Interaktion, unsichtbare maschinenlesbare Markierungen.
  • Befreiungstatbestände (eng auszulegen):
  1. Offensichtliche KI‑Interaktion – wenn die KI‑Natur für eine durchschnittlich informierte, aufmerksame und umsichtige Person eindeutig erkennbar ist (kontext‑ und zielgruppenabhängig).
  2. Gesetzliche Ermächtigung zur Strafverfolgung, sofern geeignete Schutzmaßnahmen implementiert sind.

Verhältnis zu anderen Rechtsvorschriften: Die Transparenzpflicht ergänzt bestehende Informationspflichten aus Verbraucher‑, Datenschutz‑, Digital‑ und Antidiskriminierungsrecht.

[ENDE]

3.1 Hauptkomponenten und Transparenzpflichten

Die Transparenzpflicht nach Art. 50 Abs. 1 gilt für Anbieter von KI-Systemen, die direkt mit Menschen interagieren, sofern diese Interaktion nicht von bestimmten Ausnahmen erfasst wird.

3.1.1 KI-Systeme für die direkte Interaktion mit Menschen

Damit ein System unter diese Regelung fällt, müssen vier Voraussetzungen erfüllt sein:

  • Es handelt sich um ein KI-System: Das System muss die Definition des Art. 3 Abs. 1 erfüllen (zur genauen Definition gelangen Sie hier). Einfache, nicht-KI-basierte Automatisierungen sind ausgeschlossen.
  • Es ist zur Interaktion bestimmt: Das System muss auf einen bidirektionalen Austausch mit einer natürlichen Person ausgelegt sein – unabhängig von Form, Initiator oder der Dauer der Interaktion.
  • Die Interaktion ist direkt: Sie muss in Echtzeit oder nahezu Echtzeit erfolgen; die bloße Möglichkeit menschlicher Prüfung oder Eingriffe in die Outputs befreit nicht von der Offenlegungspflicht.
  • Die Interaktion erfolgt mit Menschen: Das System muss mit natürlichen Personen interagieren - ob professionelle Nutzern, Endanwendern oder in fremdem Namen Handelnde.
Beispiele für KI-Systeme, die unter Art. 50 Abs. 1 fallen:
- KI-gestützte Sprachassistenten, Chatbots, KI-Avatare und Bots in sozialen Medien.
- KI-Agenten, die in der Lage sind, mit den Personen, die sie instruieren, oder mit anderen natürlichen Personen zu interagieren.

Beispiele für KI-Systeme, die nicht unter Art. 50 Abs. 1 fallen:
- Industrielle Roboter, die in einer abgeschlossenen Umgebung arbeiten.
- Algorithmen zur Empfehlung von Inhalten, Spamfilter oder reine Entscheidungshilfesysteme ohne direkte Interaktion.
- KI-Systeme, die in geschlossenen physischen Umgebungen betrieben werden, Backend-Maschine-zu-Maschine-Aufrufe zwischen KI-Systemen, deren Outputs nicht für natürliche Personen bestimmt sind, oder virtuelle Umgebungen ohne direkten Kontakt mit natürlichen Personen.

3.1.2 Informationspflichten gemäß Art. 50 Abs. 1

Anbieter interaktiver KI-Systeme müssen Nutzer klar und verständlich vor der Interaktion informieren, dass sie mit einer KI kommunizieren. Die Offenlegung umfasst die Grenzen der KI, mögliche Fehler, sowie Informationen zur Datennutzung und die Einbeziehung menschlicher Unterstützung.

Die KI-VO legt keine spezifische Form für die Offenlegung fest. Anbieter können verschiedene Techniken einsetzen, solange sie die Anforderungen von Art. 50 Abs. 5 (klare und unterscheidbare Informationen bei der ersten Interaktion) erfüllen und die Bedürfnisse vulnerabler Gruppen berücksichtigen. Mögliche Ansätze sind:

  • Textliche Hinweise: Klare prominent platzierte Kennzeichnungen oder Begrüßungsnachrichten in einfacher Sprache (insbesondere für Kinder und Nutzer mit geringerer digitaler Literalität).
  • Visuelle Elemente: Icons oder sichtbare Wasserzeichen zur Kennzeichnung der KI-Natur, idealerweise standardisiert.
  • Auditive Hinweise: Ansagen in Sprachassistenten zu Beginn und periodisch bei längeren Interaktionen; allein reichen sie zur Erkennung nicht aus.
  • Multimodale Kombinationen: Text, Audio und visuellen Hinweisen kombiniert für bessere Verständlichkeit und Zugänglichkeit.

Reine Formulierungen in Nutzungsbedingungen oder technische Details ohne direkten Bezug zur Interaktion reichen nicht aus. Auch unsichtbare maschinenlesbare Markierungen erfüllen diese Transparenzpflicht nicht. Unklare oder mehrdeutige Signale, humanähnliche Darstellungen oder verallgemeinerte Hinweise sind ebenfalls unzureichend.

3.2 Ausnahmen

Es gibt zwei Ausnahmen von der Informationspflicht:

  1. Offensichtliche Interaktion: Die Interaktion ist offensichtlich künstlich für eine durchschnittlich informierte, aufmerksame und umsichtige natürliche Person. Dies erfordert eine Einschätzung der Zielgruppe und des Kontextes.
  2. Rechtlich autorisierte Systeme: KI-Systeme, die zur Detektion, Prävention, Untersuchung oder Verfolgung von Straftaten autorisiert sind, sind von der Informationspflicht ausgenommen, sofern geeignete Schutzmaßnahmen für die Rechte und Freiheiten Dritter bestehen.

3.3 Zusammenspiel mit anderen Unionsrechtsakten

Die Transparenzpflicht gemäß Art. 50 Abs. 1 gilt unabhängig von bestehenden Verbraucher-, Datenschutz-, Digital- oder Nichtdiskriminierungsgesetzen der EU, die weitere Informationspflichten vorsehen können. Die Informationspflichten gemäß der KI-VO sind kontextbezogen und zielen darauf ab, das Bewusstsein der Nutzer über die Interaktion mit einem KI-System sicherzustellen.

4. Kennzeichnung und Erkennung von KI-generierten oder manipulierten Inhalten

Art. 50 Abs. 2 verpflichtet Anbieter von KI-Systemen zur Implementierung technischer Lösungen zur Erkennung und Kennzeichnung synthetischer Inhalte. Dies soll Nutzern die Unterscheidung zwischen KI-generierten und menschlichen und die Integrität des Informationsökosystem stärken.

Die Transparenzpflicht gemäß Art. 50 Abs. 2 kommt allen natürlichen Personen zugute, die mit KI-generierten oder manipulierten Inhalten konfrontiert werden. Zudem profitieren auch wichtige Akteure wie Marktüberwachungsbehörden, Forscher, Medien, Online-Plattformen, Suchmaschinen und Content-Ersteller die eine entscheidende Rolle für das Vertrauen im Informationsökosystems spielen.

Art. 50Abs. 2 – Kennzeichnungspflicht für KI‑generierte Inhalte (Kurzfassung)

  • Pflicht: Anbieter von KI‑Systemen (inkl. GPAI), die synthetische Audio‑, Bild‑, Video‑ oder Textinhalte erzeugen bzw. verändern, müssen technische Maßnahmen implementieren, die diese Inhalte eindeutig kennzeichnen.
  • Anwendungsbereich (alle Bedingungen müssen erfüllt sein):
    1. KI‑System im Sinne von Art. 3 Abs. 1.
    2. Generierung/Manipulation synthetischer Inhalte.
    3. Ausgabe in einem der vier Formate (oder multimodal).
    4. Keine anwendbare Ausnahme.
  • Ziel: Unterscheidbarkeit von KI‑ und Menschen‑Inhalten; Schutz der Integrität des Informationsökosystems.
  • Ausnahmen (nicht erfasst):
    • Nur Auswahl/Ranking vorhandener Inhalte (Playlists, Empfehlungen).
    • Reine industrielle Sensor‑/Messdaten, Quellcode.
    • Maschine‑zu‑Maschine‑Ausgaben ohne menschliche Wahrnehmung.
    • Zwischenausgaben in geschlossenen Entwicklungs‑/Produktions‑Workflows (sofern nicht finaler Output).
  • Zulässige Kennzeichnungstechniken: Wasserzeichen, Metadaten, kryptografische Herkunftsnachweise, Logging, Fingerprinting – einsetzbar an beliebigen Stellen der Wertschöpfungskette; Verantwortung bleibt beim Anbieter.
  • Anforderungen an die Technik:
    • Menschlich lesbare Ergebnisse.
    • Idealerweise offene Branchenstandards, lokal ausführbar.
    • Interoperabel, effektiv, zuverlässig, robust und dem Stand der Technik entsprechend; Kosten müssen verhältnismäßig sein.
  • Drei Befreiungstatbestände:
    1. Unterstützende Standardbearbeitungen (z. B. Rechtschreib‑/Grammatik‑Korrektur, Übersetzung, Formatkonvertierung, geringfügige Bild‑/Video‑Anpassungen).
    2. Keine wesentliche Veränderung der Eingabedaten bzw. ihrer Semantik (einzelfallbezogen; semantische Änderungen wie Zusammenfassungen, Face‑Swaps oder Stimmklone sind kennzeichnungspflichtig).
    3. Gesetzliche Ermächtigung zur Strafverfolgung.

[ENDE]

4.1 Hauptkomponenten und Konzepte

Die Vorschriften des Absatzes finden Anwendung, wenn folgende Bedingungen gleichzeitig erfüllt sind:

  • Es handelt sich um ein KI-System: Das System muss die Definition eines KI-Systems im Sinne des Art. 3 Abs. 1 erfüllen (zur genauen Definition gelangen Sie hier).
  • Das KI-System generiert oder manipuliert synthetische Inhalte: Dies umfasst sowohl die Erstellung neuer Inhalte als auch die Veränderung bestehender Inhalte.
  • Die Inhalte sind in einem der folgenden Formate: Audio, Bild, Video oder Text.  Dies schließt auch multimodale Inhalte ein, die eine Kombination dieser Formate verwenden.

Es liegen keine Ausnahmen vor: Bestimmte Anwendungen, wie z.B. unterstützende Funktionen für Standardbearbeitungen oder die Verwendung durch Strafverfolgungsbehörden.

4.1.1 KI-Systeme, die synthetische Inhalte generieren oder manipulieren

Art. 50 Abs. 2 bezieht sich auf alle KI-Systeme, einschließlich General-Purpose AI (GPAI)-Systeme, die synthetische Audio-, Bild-, Video- oder Textinhalte generieren. Die Generierung von Inhalten durch KI-Systeme ist grundsätzlich kein Unterscheidungsmerkmal, da alle KI-Systeme Ausgaben erzeugen. Art. 50 Abs 2 umfasst auch KI-Systeme, die zur Manipulation von Inhalten verwendet werden.

Beispiele für KI-Systeme, die unter Art. 50 Abs. 2 fallen:
- Systeme zur Erstellung von Deepfakes.
- KI-gestützte Bildbearbeitungsprogramme.
- Chatbots, die synthetische Texte generieren.
- Systeme zur Manipulation von Audioaufnahmen.
- KI-Agenten, die Aktionen ausführen, deren Ergebnisse als synthetische Inhalte wahrnehmbar sind.

4.1.2 Formate synthetischer Inhalte

Die folgenden Formate zählen zu den synthetischen Inhalten, die den Transparenzpflichten unterfallen:

  • Audio: Zeitvariierende Signale, die Schall darstellen und vom Menschen gehört werden können, wie z.B. Sprache, instrumentale Musik oder andere Audiosignale.
  • Bild: Statische räumliche Darstellungen, die visuelle Informationen codieren und vom Menschen gesehen werden können.
  • Video: Zeitbasierte Sequenzen von Bildern, die möglicherweise mit Audio synchronisiert sind und vom Menschen gesehen werden können.
  • Text: Diskrete symbolische Inhalte, die aus Zeichen oder Zahlen bestehen und von Menschen semantisch gelesen und interpretiert werden können.

Dies umfasst auch Inhalte, die eine Kombination dieser Formate verwenden (multimodale Inhalte).

4.1.3 Inhalte, die nicht unter Art. 50 Abs. 2 fallen

Bestimmte Ausgaben von KI-Systemen sind von der Kennzeichnungspflicht ausgenommen, da sie entweder bereits existierenden Inhalt lediglich reproduzieren, nicht von Menschen wahrgenommen werden oder das Risiko von Desinformation und Manipulation gering ist.

Beispiele für Inhalte, die nicht unter Art. 50 Abs. 2 fallen:
- Musik-Playlists, Empfehlungssysteme, die nur bestehende Inhalte auswählen oder ranken, ohne etwas Neues zu erstellen oder die Inhalte selbst zu manipulieren.
- Reine Datenerfassungen und -übertragungen in industriellen Umgebungen, wie z.B. Messdaten von Sensoren oder GPS-Daten von Fahrzeugen.
- Quellcode, der in einer Programmiersprache geschrieben ist und von einem Computersystem interpretiert, kompiliert oder ausgeführt wird, einschließlich natürlicher Sprachkommentare und kontextueller Informationen, die einen integralen Bestandteil des Quellcodes bilden.
- Ausgaben, die ausschließlich von Maschinen kommuniziert und automatisch verarbeitet werden, ohne dass Menschen sie wahrnehmen, wie z.B. Agent-zu-Agent-Kommunikation oder Anti-Spam-Signale.
- Ausgaben, die nur in geschlossenen Schleifenumgebungen in industriellen und Produktentwicklungsworkflows verwendet werden, sofern sie nicht die endgültige Ausgabe des KI-Systems in Form von KI-generierten oder manipulierten Text-, Audio-, Bild- oder Videoinhalten darstellen.

4.2 Die Kennzeichnungspflicht und Erkennbarkeit

Art. 50 Abs. 2 verpflichtet Anbieter von generativen KI-Systemen, technische Lösungen zur Kennzeichnung und Erkennung ihrer Ausgaben zu implementieren. Diese beiden Elemente müssen gemeinsam vorliegen, um die Ziele der Transparenzpflichten effektiv zu erreichen:

  1. Kennzeichnung in maschinenlesbarem Format: Die Ausgaben der KI-Systeme müssen in einem maschinenlesbaren Format gekennzeichnet werden.
  2. Erkennbarkeit: Es muss sichergestellt werden, dass diese Kennzeichnung auch erkennbar ist, um Nutzerinnen und Nutzern sowie anderen relevanten Akteuren die Unterscheidung zwischen KI-generierten und menschlich erstellten Inhalten zu ermöglichen.

Technische Lösungen zur Erfüllung von Art. 50 Abs. 2 umfassen sowohl Kennzeichnungs- als auch Erkennungstechniken. Eine alleinige Kennzeichnung ohne Erkennungsmittel genügt nicht.

4.2.1 Das Kennzeichnungselement

Anbieter müssen maschinenlesbaren Markierungen implementieren. Sichtbare Markierungen und Labels sind ergänzend erlaubt. Anbieter können eine  oder mehrere Techniken kombinieren, solange die Lösung maschinenlesbar ist und die Anforderungen an Effektivität, Zuverlässigkeit, Robustheit und Interoperabilität erfüllt (siehe nachfolgende Abschnitte).

Beispiele für Kennzeichnungstechniken:
- Wasserzeichen
- Metadaten-Identifikationen
- Kryptografische Methoden zur Verifizierung der Herkunft und Authentizität von Inhalten
- Protokollierungsverfahren
- Fingerabdrücke
- Kombinationen der oben genannten Techniken

Anbieter können die Kennzeichnung an verschiedenen Stellen der Wertschöpfungskette umsetzen, z.B. nach der Content-Erstellung, auf Ebene des KI-Modells oder im Inferenzprozess. Sie können auch auf Lösungen von vorgelagerten Anbietern oder Dritten zurückgreifen, sofern diese Art. 50 Abs. 2 entsprechen. Dennoch bleibt die Verantwortung für die Einhaltung dieser Vorschrift beim Anbieter des KI-Systems.

4.2.2 Das Detektionselement

Anbieter von KI-Systemen müssen sicherstellen, dass KI-generierte oder -manipulierte Inhalte für Nutzer erkennbar sind. Dazu müssen sie Detektionsmittel bereitstellen, die in der Lage sind, menschlich lesbare Ergebnisse zu liefern, welche anzeigen, ob der Inhalt KI-generiert oder manipuliert wurde.

Idealerweise sollten diese Detektionslösungen auf öffentlich verfügbaren Branchenstandards basieren, um eine vollständige Interoperabilität zu gewährleisten. Dies ermöglicht es Dritten Detektionen durchzuführen und fördert die nahtlose Integration in unabhängige Netzwerke. Die Detektionslösungen sollten möglichst lokal auf digitalen Geräten ausführbar sein.

Falls solche Standards nicht verfügbar sind - insbesondere in der Anfangsphase der Umsetzung von Art. 50 Abs. 2 für Wasserzeichentechnologien - können Anbieter temporär eigene, gemeinsame oder Drittanbieter-Lösungen verwenden. Voraussetzung ist jedoch, dass diese Lösungen die Interoperabilität mit den Systemen anderer Anbieter gewährleisten. Diese Übergangslösung gilt bis zur Entstehung harmonisierter Standards und einer standardisierten, herstellerunabhängigen, interoperablen Detektionslösung, die sicher, datenschutzfreundlich und lokal ausführbar ist.

Sollte der Anbieter des KI-Systems von einem anderen Akteur für die Bereitstellung oder den Zugang zu einer Detektionslösung abhängen, muss sichergestellt sein, dass diese Lösung den Anforderungen von Art. 50 Abs. 2 und 5 entspricht. Zudem müssen diese Akteure die Detektionsergebnisse in Übereinstimmung mit Art. 50 Abs. 5 anzeigen.

4.2.3 Anforderungen an die technischen Lösungen

Die technische Lösung zur Kennzeichnung und Erkennung muss effektiv, interoperabel, robust und zuverlässig sein.

  • Effektivität: Die Fähigkeit, die Markierungen zu erkennen und die Unterscheidung zwischen KI-generierten und menschlich erstellten Inhalten zu ermöglichen.
  • Zuverlässigkeit: Die Fähigkeit, KI-generierte oder manipulierte Inhalte unter normalen Bedingungen genau zu identifizieren.
  • Robustheit: Die Fähigkeit, die Leistung auch unter verschiedenen Bedingungen und bei Angriffen zu erhalten.
  • Interoperabilität: Die Fähigkeit, mit verschiedenen Systemen und Akteuren zusammenzuarbeiten.

Anbieter sind verantwortlich dafür, dass die Kombination der technischen Lösungen alle Anforderungen erfüllt und technisch umsetzbar ist. Die Implementierung muss mit derzeit verfügbaren Technologien und Methoden umsetzbar sein und dem aktuellen Stand der Technik entsprechen. Um ein angemessenes Verhältnis zwischen Aufwand und Nutzen zu gewährleisten, können Anbieter die Implementierungskosten berücksichtigt.

4.3 Ausnahmen von den Pflichten

Art. 50 Abs. 2 sieht drei explizite Ausnahmen von der Kennzeichnungs- und Detektionspflicht für KI-generierte oder manipulierte Inhalte vor:

Unterstützende Funktionen für Standardbearbeitung

Die erste Ausnahme betrifft KI-Systeme, wenn sie eine unterstützende Funktion für Standardbearbeitung ausüben. Das umfasst die Vorbereitung vorhandener Inhalte für Veröffentlichung oder Verbreitung, wie z.B. kleinere Korrekturen zur Verbesserung von Lesbarkeit, Grammatik, Qualität oder Format. Sie beinhaltet nicht die Erstellung neuer Inhalte.

Beispiele für Standardbearbeitung, die von der Ausnahme profitieren und daher nicht nach Art. 50 Abs. 2 gekennzeichnet werden müssen:

Textbearbeitung
- Grammatikkorrektur und Rechtschreibprüfung
- Linguistische und stilistische Optimierungen ohne inhaltliche Veränderung
- KI-generierte Übersetzungen von Texten
- Transkriptionen von Gesprächen
- Assistive Technologien für Menschen mit Behinderungen (z.B. augmentative und alternative Kommunikation oder individuelle neuronale Stimmen), die menschliche Eingaben ohne semantische Veränderung transformieren

Bildbearbeitung
- Formatierung und Formatkonvertierungen
- Technische Komprimierung und Rauschreduzierung zur Klarheitsverbesserung
- Geringfügiges Zuschneiden und Farbkorrekturen
- Entfernung von Staubflecken oder Rote-Augen-Effekt
- Ausblenden von Hintergründen, die im Original sichtbar sind
- Verpixeln oder Unschärfe von Gesichtern
- Standardanpassungen von Farbe und Kontrast
- Geringfügige Anpassungen der Wiedergabegeschwindigkeit
- Horizontkorrekturen und Pixelfilter zur Hervorhebung bestimmter Bildbereiche
- Farbzuweisung zu Graustufenbildern und umgekehrt
- Kantenbilderstellung und Bildaspektanpassung
- Automatische Übergangsclips und andere nicht-substantielle kosmetische/technische Bearbeitungen

Medizinische Bildbearbeitung
- Technische Verarbeitung oder Rekonstruktion medizinischer Bilder innerhalb medizinischer Geräte (z.B. Annotationen, Rahmen, Konturen, Kreise, Heatmaps)

Videobearbeitung
- S
kalierung von Videoclips
- Dynamische Bereichskompression und Equalisation
- Begrenzte Videostabilisierung
- Standardanpassungen von Farbe und Kontrast

Keine wesentliche Veränderung der Eingabedaten

Die zweite Ausnahme gilt, wenn ein KI-System die Eingabedaten oder deren Bedeutung nicht wesentlich verändert. Eine einzelfallbezogene Bewertung ist immer erforderlich.

Beispiele für semantische Veränderungen, die gemäß Art. 50 Abs. 2 gekennzeichnet werden müssen:

Textinhalte
- KI-generierte Zusammenfassungen von Texten
- Paraphrasierungen oder Neuschreibungen von Texten, die Stil, Struktur und Bedeutung über bloße grammatikalische und stilistische Korrekturen hinaus verändern
- KI-generierte Inhalte, die authentische menschliche Eingaben durch assistive Technologien transformieren und dabei die semantische Bedeutung verändern

Bild- und Videoinhalte
- Entfernung, Ersetzung oder Hinzufügen von Objekten oder Personen in bestehenden Bildern und Videos, die die Bedeutung und Substanz des Inhalts verändern
- Gesichtsersetzung oder wesentliche Gesichtsmodifikationen
- Erstellung von Composite-Bildern oder Videoclips, die die Darstellung von Personen, Objekten, Ereignissen oder Fakten verändern
- Wesentliche Veränderung der Körperform oder Hautfarbe einer Person
- Extreme Aufhellung, Abdunklung oder Farbkorrekturen, die die Bedeutung, Absicht und Botschaft des Inhalts verändern

Audioinhalte
- Synthese realistischer Sprache in der Stimme einer bestimmten Person
- Erzeugung realistischer Videos, die Ereignisse darstellen, die nicht stattgefunden haben

Gesetzliche Ermächtigung zur Strafverfolgung

Schließlich ist ein generatives KI-System von den Kennzeichnungs- und Detektionspflichten befreit, wenn es gesetzlich zur Generierung oder Manipulation synthetischer Inhalte zur Aufdeckung, Verhinderung, Untersuchung oder Verfolgung von Straftaten autorisiert ist.

4.4 Zusammenspiel mit anderen Unionsgesetzen

Art. 50 Abs. 2 betrifft die Art der Erstellung und den künstlichen Ursprung von Inhalten, nicht deren Urheber. Anbieter müssen Kennzeichnungs- und Detektionslösungen einsetzen, die mit EU-Datenschutzgesetzen, wie Datenschutz durch Design und Datensparsamkeit, übereinstimmen.

Die KI-VO unterstreicht die Bedeutung der Transparenzpflichten (Art. 50 Abs.1, 2, 4) für die Umsetzung des Digital Services Act (DSA), besonders für sehr großer Online-Plattformen (VLOPs) und sehr großer Online-Suchmaschinen (VLOSEs). Diese müssen systemische Risiken durch KI-generierte Inhalte bewerten und mindern, insbesondere negative Auswirkungen auf Demokratie und öffentliche Debatte. Maschinenlesbare Markierungen helfen bei der Erkennung und Kennzeichnung solcher Inhalte, um Desinformation zu reduzieren. VLOPs und VLOSEs können auch selbst als KI-Anbieter gelten, wenn sie KI-Systeme in ihre Dienste integrieren.

Die Kennzeichnungspflichten für KI-generierte Inhalte (Art. 50 Abs. 2,4) beeinflussen nicht die Bearbeitung von Beschwerden über illegale Inhalte durch Hosting-Dienste (Art. 16 Abs. 6 DSA). Beide Pflichten gelten unabhängig voneinander. Die Rechtmäßigkeit von Inhalten wird nach geltendem Recht bewertet.

Beispiel: Wenn ein gekennzeichnetes Deepfake als Verletzung von Marken- oder Urheberrechten gemeldet wird, hat die Kennzeichnung keinen Einfluss auf die potenzielle Illegalität des Inhalts. Die Bewertung erfolgt ausschließlich auf der Grundlage des anwendbaren Rechts.

Online-Plattformen, Suchmaschinen und andere Akteuren werden ermutigt, die Kennzeichnungen von KI-generierten oder manipulierten Inhalten (50 Abs. 2) beizubehalten und zu ermöglichen, um Nutzern die Herkunft der Inhalte zu offenbaren.

5. Emotionserkennungssysteme und biometrische Kategorisierungssysteme

Ein Emotionserkennungssystem schließt auf einen inneren Zustand (Emotion/Absicht), ein biometrisches Kategorisierungssystem sortiert die Person in eine Gruppe/Kategorie ein.

Diese beiden Arten von Systemen wurden erstmals in der Leitlinie zu den verbotenen Praktiken beleuchtet. Sie lassen sich wie folgt unterscheiden:

Unterscheidung Emotionserkennungssystem und biometrisches Kategorisierungssystem

Merkmal

Emotionserkennungssystem

Biometrisches Kategorisierungssystem

Kernfrage„Wie fühlt sich die Person gerade?“ oder „Was beabsichtigt sie?“„Zu welcher Gruppe gehört diese Person?“
Ziel / ZweckFeststellung oder Ableitung von Emotionen oder Absichten.Zuordnung einer Person zu einer bestimmten Kategorie.
Beispiele für ErgebnisseGlück, Trauer, Wut, Überraschung.Gesichtsmerkmale, Fingerabdrücke, Stimmerkennung; Gang, Mimik
Was es NICHT istKeine Feststellung physischer Zustände (z. B. Müdigkeit oder Krankheit).Keine Identitätsprüfung (es geht nicht darum, wer die Person ist, sondern welcher Gruppe sie angehört).
BesonderheitUnterscheidet zwischen Erkennen (direkter Vergleich) und Ableiten (Erzeugung neuer Infos durch Lernprozesse).Gilt nur, wenn einzelne Personen kategorisiert werden (nicht bei der Analyse ganzer Gruppen).

Beide setzen auf biometrischen Daten auf. Art. 50 Abs. 3 verpflichtet Betreiber von Emotionserkennungssystemen und biometrischen Kategorisierungssystemen, die betroffenen Personen über den Einsatz dieser Systeme zu informieren, sofern keine Ausnahme greift. Dies dient dem Schutz der Privatsphäre und der Gewährleistung der Transparenz.

Art. 50Abs. 3 – Informationspflicht bei Emotionserkennungs- und biometrischen Kategorisierungssystemen (Kurzfassung)

  • Pflicht: Betreiber von Systemen, die biometrische Daten nutzen, müssen betroffene Personen darüber informieren, dass ein Emotionserkennungs- biometrisches Kategorisierungssystem eingesetzt wird.
  • Bezug zur Hochrisiko‑Einstufung
    • Emotionserkennungssysteme gelten grundsätzlich als Hochrisiko (Anhang III  1c) – außer sie fallen unter das Verbot nach Art. 5 Abs. 1 lit. f (Arbeits-/Bildungsbereich).
    • Die Transparenzpflicht nach Abs. 3 giltzusätzlich zu den Hochrisiko‑Anforderungen.
    • Für biometrische Kategorisierungssysteme gilt die Informationspflicht unabhängig von einer Hochrisiko‑Einordnung.
  • Inhalt der Information
    • Hinweis, dass die betroffene Person von einem solchen System erfasstwird (Betroffensein/Einsatz).
    • Keine Angabe von Zwecken oder Rechtsgrundlagen (diese regelt die DSGVO).
  • Form und Zeitpunkt
    • Klar, verständlich und barrierefrei(insbesondere für Kinder und Menschen mit Behinderungen).
    • Spätestens bei der ersten Expositionzu geben.
    • Formfrei: schriftlich, standardisierte Symbole, mündlich oder kombiniert – jeweils kontextabhängig(Ort, Zielgruppe, Art der Exposition).
  • Ausnahmen
    • Systeme, die gesetzlich zur Aufdeckung, Verhinderung oder Untersuchung von Straftatenzugelassen sind, sofern angemessene Schutzmaßnahmen (z.  Zugriffsbeschränkungen, Protokollierung) implementiert sind.
  • Rechtliche Einordnung
    • Die Informationspflicht macht den Einsatz nicht automatisch rechtmäßigund ersetzt nicht das Verbot nach Art. 5 oder diskriminierungsrechtliche Vorgaben.
    • Sie ergänztdie datenschutzrechtlichen Informationspflichten (z. B.DSGVO) und kann z. B. in die Datenschutzerklärung oder in die Einwilligung integriert werden.

[ENDE]

5.1 Hauptkomponenten, Konzepte und Transparenzpflichten

Dieser Abschnitt erläutert die Begriffe „Emotionserkennungssystem“ und „biometrisches Kategorisierungssystem“ und die damit verbundenen Transparenzpflichten gemäß Art. 50 Abs. 3.

5.1.1 Das Konzept eines Emotionserkennungssystems

Ein „Emotionserkennungssystem“ ist gemäß Art. 3 Nr. 39 ein KI-System, das dem Zweck dient, Emotionen oder Absichten natürlicher Personen auf der Grundlage ihrer biometrischen Daten festzustellen oder daraus abzuleiten. Die detaillierte Erläuterung dieses Konzepts in den sich in Erstellung befindlichen Richtlinien der Kommission zur Klassifizierung von Hochrisiko-KI-Systemen ist auch im Kontext von Art. 50 Abs. 3 relevant.

Da alle Emotionserkennungssysteme nach Art. 6 Abs. 2 und Anhang III Nr. 1c als Hochrisikosysteme eingestuft werden (mit Ausnahme von Verboten gemäß Art. 5 Abs. 1 lit. f in den Bereichen Arbeitsplatz und Bildung), gelten die Transparenzpflichten von Art. 50 Abs. 3 in Verbindung mit den anderen Anforderungen an Hochrisikosysteme.

5.1.2 Das Konzept eines biometrischen Kategorisierungssystems

Ein „biometrisches Kategorisierungssystem“ ist gemäß Art. 3 Nr. 40 „ein KI-System, das dem Zweck dient, natürliche Personen auf der Grundlage ihrer biometrischen Daten bestimmten Kategorien zuzuordnen, sofern es sich um eine Nebenfunktion eines anderen kommerziellen Dienstes handelt und aus objektiven technischen Gründen unbedingt erforderlich ist.“ Die detaillierte Erläuterung dieses Konzepts in den sich in der Erstellung befindenden Richtlinien der Kommission zur Klassifizierung von Hochrisiko-KI-Systemen ist auch im Kontext von Art. 50 Abs. 3 relevant.

Art. 50 Abs. 3 gilt für alle biometrischen Kategorisierungssysteme (z. B. Alters- oder Geschlechtsklassifizierung auf Basis biometrischer Daten), unabhängig davon, ob sie unter die Hochrisikobestimmungen der KI-VO fallen.

5.1.3 Die Informationspflicht gemäß Art. 50 Abs. 3

Betreiber sind verpflichtet, betroffene Personen darüber zu informieren, dass sie einem Emotionserkennungs- oder biometrischen Kategorisierungssystem ausgesetzt sind. Die KI-VO verlangt nicht die Offenlegung der Gründe für den Einsatz des Systems oder anderer Verwendungszwecke, da dies unter der Datenschutz-Grundverordnung geregelt ist.

Die Information muss klar, verständlich und für alle betroffenen Personen, zugänglich sein, insbesondere für Kinder und Menschen mit Behinderungen. Die Art und Weise der Informationsbereitstellung kann je nach Kontext variieren, darunter:

  • Einsatzort, wie z. B.:
    • virtuelle Gaming-Plattformen
    • stationärer Laden
    • Bahnhöfe
  • Adressaten, wie z. B.:
    • Kinder
    • ältere Menschen
    • Menschen mit Behinderungen
    • Kunden
  • Art der Exposition wie z. B.:
    • langfristig
    • einmalig
    • kontinuierlich
    • intermittierend

Die Information kann schriftlich, durch standardisierte Symbole (auch elektronisch dargestellt), mündlich oder durch eine Kombination dieser Methoden erfolgen. Die Information muss spätestens zum Zeitpunkt der ersten Exposition der betroffenen Person bereitgestellt werden.

Beispiele für die Informationsbereitstellung:
- Ein Pop-up-Fenster beim Start eines Computerspiels, das darauf hinweist, dass das Gesicht des Spielers erfasst wird, um seine Emotionen zu erfassen.
- Ein gut sichtbarer Hinweis am Eingang eines Ausstellungsraums, der darauf hinweist, dass die Gesichter der Besucher erfasst werden, um sie einer bestimmten Altersgruppe zuzuordnen

5.2 Ausnahme für Zwecke der Strafverfolgung

Die Informationspflicht gilt nicht für Emotionserkennungs- und biometrische Kategorisierungssysteme, die gesetzlich zur Aufdeckung, Verhinderung oder Untersuchung von Straftaten autorisiert sind, sofern angemessene Schutzmaßnahmen für die Rechte und Freiheiten Dritter eingehalten werden.

Im Gegensatz zu anderen Ausnahmen im Art. 50, die eine ausdrückliche gesetzliche Ermächtigung für den nicht-transparenten Einsatz von KI-Systemen erfordern, ist ein solcher Einsatz gemäß Art. 50 Abs. 3 bereits dann möglich, wenn er durch die gesetzlichen Bestimmungen gestattet ist, die die Befugnisse der Strafverfolgungsbehörden regeln, Emotionserkennungs- und biometrische Kategorisierungssysteme zur Aufdeckung, Verhinderung oder Untersuchung von Straftaten einzusetzen, ohne die betroffenen Personen zu informieren.

5.3 Zusammenspiel mit anderen Unionsgesetzen

Die Informationspflicht gemäß Art. 50 Abs. 3 macht den Einsatz eines Emotionserkennungs- oder biometrischen Kategorisierungssystems nicht automatisch rechtmäßig. Sie legitimiert auch keine eingriffsintensiven oder diskriminierenden Verwendungen, die gegen Art. 5 oder andere Unionsrecht verstoßen könnten.

Betreiber müssen die Informationspflichten von Art. 50 Abs. 3 in Verbindung mit den geltenden Informationspflichten des EU-Datenschutzrechts einhalten. Die Informationen können beispielsweise in einer Datenschutzerklärung oder bei der Einholung der Einwilligung integriert werden.

6. Kennzeichnung von Deepfakes und bestimmten Textveröffentlichungen

Der vierte Abs. von Art. 50 legt zwei Pflichten für Betreiber generativer KI-Systeme fest:

  1. Betreiber müssen Deepfakes deutlich als solche kennzeichnen.
  2. KI-generierte oder manipulierte Texte, die zur Information der Öffentlichkeit über Themen von öffentlichem Interesse veröffentlicht werden, müssen ebenfalls gekennzeichnet werden, es sei denn, es liegen bestimmte Ausnahmen vor.

Art. 50Abs. 4 – Kennzeichnungspflichten (Kurzfassung)

  • Pflichten
    • UAbs. 1 Deepfakes: KI‑erzeugte/manipulierte Bild‑/Ton‑/Video‑Inhalte, die fälschlich als echt erscheinen, müssen sofort sichtbar oder hörbar als KI‑Ursprung gekennzeichnet werden.
    • UAbs. 2 KI‑Texte: KI‑erzeugte oder –bearbeitete Texte, die öffentlich zugänglich sind und über Themen von öffentlichem Interesse informieren, müssen gekennzeichnet werden.
  • Kriterien für Deepfakes (alle drei nötig)
    • Hohe Ähnlichkeit zum Realen.
    • Bezug zu einem tatsächlich (oder plausibel) existierenden Objekt/Ereignis.
    • Erzeugung eines falschen Authentizitätseindrucks (Bewertung nach Bild /Botschaft Kontext, Publikum).
  • Ausnahmen bei Deepfakes
    • Künstlerisch kreative, satirische oder fiktionale Werke: Kennzeichnung nur in einer Form, die das Werk nicht beeinträchtigt, wenn die Zuordnung klar erkennbar ist.
    • Strafverfolgungs Ausnahme: Vollständige Befreiung, wenn das System gesetzlich zur Aufdeckung, Verhinderung, Untersuchung oder Verfolgung von Straftaten eingesetzt wird (mit Schutzmaßnahmen).
  • Kennzeichnung von KI-Texten – Voraussetzungen:
    • Veröffentlichung für die breite Öffentlichkeit (nicht privat).
    • Ziel ist Information.
    • Thema von öffentlichem Interesse (Politik, Sicherheit, Gesundheit, Umwelt, Wirtschaft, Wissenschaft, Kultur usw.).
      Entfällt, wenn:
    • Eine echte menschliche redaktionelle Kontrolle (Fakten /Quellenprüfung) erfolgt und eine natürliche oder juristische Person die Verantwortung trägt.
    • Strafverfolgung Ausnahme greift.
  • Form und Timing
    • Klar, verständlich, barrierefrei (insbesondere für Kinder und Menschen mit Behinderungen).
    • Sofort bei erster Veröffentlichung bzw. erstem öffentlichen Kontakt.
    • Formfrei: Text, Symbol, mündlich oder kombiniert.
  • Relevante Rechtsbezüge
    • DSA  35 Abs. 1 lit. k (Plattform‑Kennzeichnung).
    • DSGVO (Personenbezogene Daten).
    • Marken‑/Urheber‑ und Persölichkeitsrechte.
    • EMFA (redaktionelle Verantwortung).

[ENDE]

6.1 Deepfakes: Wesentliche Bestandteile, Konzepte und Transparenzpflichten

Art. 50 Abs. 4 UAbs. 1 gilt, wenn mehrere Voraussetzungen erfüllt sind:

  1. Das System muss ein KI-System sein;
  2. Es wird von Betreibern für berufliche Zwecke genutzt;
  3. Es dient der Erzeugung oder Manipulation von Bild-, Audio- oder Videoinhalten, die einen Deepfake darstellen;
  4. Das KI-System darf nicht unter die Ausnahme fallen.

6.1.1 Der Begriff „Deepfake"

Der Begriff „Deepfake“ wird in Art. 3 Nr. 60 definiert als

einen durch KI erzeugten oder manipulierten Bild-, Ton- oder Videoinhalt, der wirklichen Personen, Gegenständen, Orten, Einrichtungen oder Ereignissen ähnelt und einer Person fälschlicherweise als echt oder wahrheitsgemäß erscheinen würde;“

Um diese Definition zu präzisieren, sind folgende vier Elemente entscheidend:

  • Ähnlichkeit: Der KI-generierte Inhalt muss eine erkennbare Ähnlichkeit zu einem existierenden Subjekt aufweisen - nicht zwingend perfekt, aber ausreichend erkennbar. Die Beurteilung obliegt beim Betreiber und muss objektiv erfolgen.
  • Existenz: Die Inhalte müssen etwas Existierendes oder etwas, das existieren könnte, nachbilden; unrealistische, naturgesetzwidrige Szenarien fallen nicht unter die Definition.
  • Gegenstände der Nachbildung: Personen, Objekte , Orte, Einrichtungen (aus dem engl. „entities“ und hier meinend z.B. Tiere) oder Ereignisse können nachgeahmt werden.
  • Falscher Eindruck von Authentizität und Wahrhaftigkeit: Der Inhalt muss unabhängig von der tatsächlichen Herkunft bei einer Person fälschlicherweise den Eindruck erwecken, echt oder wahr zu sein. Die Beurteilung erfolgt als Gesamtbetrachtung anhand des Ähnlichkeitsgrads, der inhaltlichen Botschaft, des vorhersehbaren Einsatzkontexts sowie der erwarteten Zusammensetzung und Erwartungen des Publikums.

Bei der Beurteilung, ob ein Deepfake vorliegt, ist die Zusammensetzung der Zielgruppe entscheidend. Insbesondere bei potenzieller Wahrnehmung durch Kinder, ältere Personen oder Personen mit geringer Medienkompetenz ist Vorsicht geboten, da diese leichter getäuscht werden können.

Geringfügige technische Veränderungen an bestehendem Material (z.B. Farbkorrekturen, Helligkeitsanpassungen) führen in der Regel nicht zu einem Deepfake. Wesentliche Veränderungen, die die Authentizität oder Wahrhaftigkeit des Inhalts beeinträchtigen (z.B. bei journalistischen Bildern), können jedoch relevant sein.

Beispiele für Deepfakes nach KI-VO:
- KI-manipuliertes Bild von zwei Fußballprofis vor einem Stadion.
- KI-generiertes Audio mit Stimmenklonen von Podcast-Moderatoren.
- KI-generiertes Video, das einen Politiker bei einer Rede zeigt.
- KI-generiertes Werbevideo mit einem KI-generierten Influencer.
- KI-generiertes Video, das einen realistischen synthetischen Avatar eines Unternehmens-CEOs zeigt, der Mitarbeiter zu ihrer Arbeit und den Unternehmensergebnissen des vergangenen Jahres gratuliert.Eine - KI-generierte Bild eines Produkts in einer Werbung oder Verpackung, die die Wahrnehmung der Zielgruppe beeinflussen und in Bezug auf das tatsächliche Aussehen, die Eigenschaften oder die Verwendung des Produkts in die Irre führen kann (z.B. das Produkt so darstellen, dass es nicht identisch mit dem echten Produkt ist, ansprechender oder mit verbesserter Qualität als in der Realität).

Beispiele, die keine Deepfakes nach KI-VO darstellen:
- KI-generiertes Bild einer Sphinx, die über den Eiffelturm fliegt.
- KI-generiertes Video von Mäusen, die über Käse diskutieren.
- KI-Stimmenreplikation für fiktive Charaktere (z.B. für Hörbücher, Spiele oder Animationen), wenn keine Täuschung über die Identität der Erzähler vorliegt.
- KI-manipulierte Radioübertragung, die technische Audio-Parameter anpasst (z.B. Normalisierung der Lautstärke, Rauschunterdrückung, Audiokompression) ohne Änderung der tatsächlich gesprochenen Wörter der Sprecher oder deren Art zu sprechen.
- KI-generierter Cartoon eines bestehenden Bildes, das ein historisches Ereignis darstellt.
- Video eines Moderators einer wissenschaftlichen TV-Sendung, der durch eine bergige Region geht und den Rückzug der Gletscher erläutert, der durch eine KI-manipulierte Hintergrundanimation veranschaulicht wird, die zeigt, wie sich die Gletscher von ihren historischen Niveaus zu ihren aktuellen Niveaus zurückgezogen haben.
- KI-generierte fiktive Umgebungen (z.B. fiktive Wälder und Burgen) in Videospielen.
- Filme, in denen echte existierende Schauspieler (nicht durch KI manipuliert) gegen einen KI-generierten Hintergrund spielen (z.B. eine fiktive Prärie, historische Gebäude alter Städte usw.).
- Ein echtes Produkt (z.B. ein Auto), das in einer Werbung gegen einen KI-generierten Hintergrund und eine Umgebung gezeigt wird, solange die Werbung die Zielgruppe nicht über die tatsächliche Darstellung des Produkts und seine Eigenschaften und Verwendung in die Irre führt.

6.1.2 Offenlegungspflicht

Art. 50 Abs. 4 verpflichtet Betreiber von KI-Systemen, die Bild-, Audio- oder Videoinhalte generieren oder manipulieren und somit möglicherweise Deepfakes erzeugen, offenzulegen, dass der Inhalt künstlich erzeugt oder manipuliert wurde.

Die KI-VO fordert eine klare und deutliche Kennzeichnung dieser Inhalte, um deren künstlichen Ursprung zu offenbaren. Diese Kennzeichnung muss für Nutzerinnen und Nutzer verständlich und wahrnehmbar sein – beispielsweise durch sichtbare oder akustische Hinweise – und darf nicht die Nutzung spezieller technischer Hilfsmittel oder zusätzlicher Handlungen erfordern.

Betreiber können sich gemäß Art. 50 Abs. 7 KI-VO einem Praxisleitfaden bedienen, der als angemessen bewertet wurde, um die Einhaltung dieser Offenlegungspflicht nachzuweisen. Weitere Informationen zu den Auswirkungen der Einhaltung eines solchen Praxisleitfaden und zur Überwachung anderer Betreiber, die sich nicht an einen Praxisleitfaden halten, finden Sie in Abschnitt 8.1 unten.

6.1.3 Ausnahmen für bestimmte Inhalte

Für Deepfakes, die offensichtlich Teil künstlerischer, kreativer, satirischer, fiktionaler oder ähnlicher Werke oder Programme sind, gilt eine abgeschwächte Transparenzpflicht. In diesen Fällen muss lediglich offengelegt werden, dass der Inhalt künstlich erzeugt oder manipuliert wurde, und das auf eine Weise, die die Darstellung oder den Genuss des Werks nicht beeinträchtigt.

Dafür müssen folgende Aspekte vorliegen:

  1. Inhaltskategorien: Die Ausnahme gilt für Inhalte, die mindestens einer der folgenden Kategorien zuzuordnen sind: Kunst, Kreativität, Satire, Fiktion oder ähnliche Ausdrucksformen. Die Zuordnung zu einer dieser Kategorien muss im Einzelfall durch den Betreiber beurteilt werden.
    • Kunst:Werke, die für künstlerische Zwecke geschaffen wurden (Musik, Filme, bildende Kunst).
    • Kreativität:Werke, die kreative Entscheidungen des Betreibers widerspiegeln.
    • Satire:Werke, die Gesellschaft, Politik oder Personen humoristisch kritisieren.
    • Fiktion:Werke, die in einer imaginären Umgebung spielen.
    • Ähnliche Werke:Werke, die Merkmale der oben genannten Kategorien aufweisen, aber nicht eindeutig zugeordnet werden können.
  2. Evidente Natur:Die Zugehörigkeit zu einer dieser Kategorien muss offensichtlich Inhalte, die potenziell mehrdeutig sind, fallen nicht unter die Ausnahme. Relevante Faktoren für die Beurteilung der evidenten Natur künstlerischer, kreativer, satirischer oder fiktionaler Inhalte umfassen:
    • Ob der Inhalt Formate oder Stile aufweist, die für die jeweiligen Kategorien charakteristisch sind (z.B. Ironie oder Übertreibung für satirische Werke, bestimmte Kunststile, charakteristische Themen, Techniken oder Ästhetik).
    • Der Kontext, in dem der Inhalt präsentiert wird (z.B. ob die Plattform, das Medium oder der Ort, an dem der Inhalt präsentiert, verfügbar gemacht oder verteilt wird, mit künstlerischer, kreativer, satirischer oder fiktionaler Nutzung verbunden ist).
    • Die Erwartungen des Publikums (z.B. ein Film, eine Gaming-Umgebung oder eine virtuelle Realitätsszene).
  3. Angemessene Offenlegung:Die Offenlegung der KI-Herkunft oder Manipulation darf den Genuss des Werks nicht beeinträchtigen. Die Art und Weise der Offenlegung ist einzelfallabhängig und muss unter Berücksichtigung des Werks, der Zielgruppe und des Kontexts gewählt werden. Betreiber müssen sicherstellen, dass die Offenlegung nicht die normale Nutzung und den Genuss des Werks beeinträchtigt, während sie die Nützlichkeit und Qualität des Werks aufrechterhält.
  4. Schutz der Rechte Dritter:Die Ausnahme darf nicht zu Verletzungen der Rechte Dritter (z.B. Persönlichkeits- oder Urheberrechte) führen. Die Einhaltung der abgeschwächten Transparenzpflicht und die Verwendung künstlerischer, kreativer, satirischer oder fiktionaler Deepfakes müssen mit angemessenen Schutzmaßnahmen für die Rechte und Freiheiten Dritter einhergehen.

Auch hier können sich Betreiber auf einen anerkannten Praxisleitfaden stützen (siehe oben).

Beispiele für Deepfakes, die unter die Ausnahme fallen:
- Künstlerische/fiktionale Werke: Filme (oder Filmtrailer), die KI-generierte oder manipulierte Deepfakes von verjüngten, existierenden Schauspielern oder digitalen Repliken verstorbener Schauspieler oder anderer Personen zeigen, die in einem Kino oder auf einer Streaming-Plattform verfügbar sind.
- Künstlerische/kreative Werke: KI-generierte Musik in jeder Art von Genre, die dem individuellen Stil existenter Künstler ähnelt.
- Satirische/fiktionale Werke: KI-manipuliertes Bild eines existierenden Politikers, das diesen in einer Szene platziert, die offensichtlich dazu dient, bestimmte Politikentscheidungen, die von dieser Person getroffen oder unterstützt wurden, auf humorvolle Weise zu kritisieren.
- Analoge kreative/fiktionale Werke: KI-generierte Spielgrafiken mit Simulationen realer, existierender Personen oder Orten.

Beispiele für Deepfakes, die nicht unter die Ausnahme fallen:
- KI-manipuliertes Werbevideo, das Deepfake-Simulationen von Menschen beinhaltet die ein Produkt in einer KI-generierten Szene bewerben die die funktionale Verwendung des Produkts durch die simulierten Verbraucher darstellt, mit dem Ziel, die Zuschauer zum Kauf des Produkts zu überreden.
- KI-generiertes Bild von Prominenten, das deren Beteiligung an einer Aktivität suggeriert, ohne einen fiktiven, satirischen oder ähnlichen Zweck.
- KI-manipuliertes Video, das einen realistischen synthetischen Influencer zeigt, der ein gesponsertes echtes Produkt testet, und sich ausschließlich auf die Darstellung der Produktfunktionen konzentriert.
- KI-generiertes Video, das realistische Holocaust-Szenen zeigt, die auf öffentlich zugänglichen sozialen Medien geteilt werden.

6.1.4 Ausnahmen für die Strafverfolgung

Wenn die Verwendung eines Deepfakes durch Gesetzgebung zur Aufdeckung, Verhinderung, Untersuchung oder Verfolgung von Straftaten autorisiert ist, gilt die Transparenzpflicht für die Betreiber nicht.

6.1.5 Wechselwirkungen mit anderen Rechtsakten der Union

Digital Services Act: Die Transparenzpflichten des Art. 50 Abs. 4 UAbs. 1 KI-VO stehen in engem Zusammenhang mit Art. 35 Abs. 1 lit. k) des DSA. Beide Regelungen zielen darauf ab, Nutzer über KI-generierte oder -manipulierte Inhalte zu informieren.

Der DSA verpflichtet Betreiber von VLOPs und VLOSEs, Maßnahmen zur Risikominderung zu ergreifen, beispielsweise durch die deutliche Kennzeichnung von „generierten oder manipulierten Bildern, Audios oder Videos, die bestehenden Personen, Objekten, Orten oder anderen Entitäten oder Ereignissen ähneln und einer Person fälschlicherweise als authentisch oder wahr erscheinen“ Art. 35 Abs.1 Lit. k) DSA. Sie können auch eine einfache Funktionalität bereitstellen, mit der Nutzer solche Inhalte melden können.

Obwohl die Regelungen ähnlich erscheinen, gibt es wichtige Unterschiede:

  • Anwendungsbereich: Art. 35 Abs. 1 lit. k) DSA erfasst ein breiteres Spektrum an „falschen“ Inhalten als Art. 50 Abs. 4 UAbs. 1 KI-VO, unabhängig davon, welche Technologien zur Erstellung verwendet wurden.
  • Adressaten: Art. 50 Abs. 4 UAbs. 1 KI-VO verpflichtet die Betreiber von KI-Systemen, die Deepfakes generieren oder manipulieren, diese Inhalte zu kennzeichnen. Art. 35 Abs. 1 lit. k) DSA hingegen gilt für die Betreiber von VLOPs und VLOSEs, die diese Inhalte verbreiten oder durch Suchfunktionen auffindbar machen.

Betreiber von KI-Systemen, die in eine VLOP oder VLOSE integriert sind, werden im Allgemeinen als „Nutzer des Dienstes“ im Sinne des DSA betrachtet, wenn sie solche Inhalte verbreiten. Wenn VLOPs oder VLOSEs Werkzeuge zur Kennzeichnung bereitstellen, mit denen KI-Systeme ihre Deepfake-Inhalte gemäß Art. 50 Abs. 4 UAbs. 1 kennzeichnen können (d.h. eine klare und unterscheidbare Kennzeichnung des KI-Ursprungs), können diese Betreiber die Werkzeuge nutzen, um ihren Transparenzpflichten im Rahmen der Verbreitung der Inhalte auf der Plattform zu erfüllen.

Zusätzlich können Betreiber von VLOPs und VLOSEs auch als Betreiber von KI-Systemen im Sinne der KI-VO gelten, wenn sie ein KI-System unter ihrer Kontrolle für eigene berufliche Zwecke nutzen (z.B. zur Erstellung von visuellen Inhalten für Marketingmaterialien).

Datenschutz: Wenn Deepfakes Informationen über eine direkt oder indirekt identifizierbare natürliche Person enthalten, müssen die Betreiber als Verantwortliche im Sinne des EU-Datenschutzrechts die entsprechenden Datenschutzpflichten einhalten.

Dazu gehört die Einhaltung einer geeigneten Rechtsgrundlage für die Verarbeitung der Daten und die Gewährleistung von Transparenz gegenüber den betroffenen Personen.

Weitere Informationen hierzu finden Sie in den gemeinsamen Leitlinien der Kommission und des Europäischen Datenschutzausschusses (EDPB) zum Zusammenspiel zwischen der KI-Verordnung und dem EU-Datenschutzrecht, die sich in Vorbereitung befinden.

Geistiges Eigentum: Betreiber von KI-Systemen, die Deepfakes generieren, müssen auch relevante Unionsgesetze zum geistigen Eigentum einhalten, wie z.B. das Unionsmarkenrecht und das Urheberrecht.

Die Anwendung eines Labels oder Icons auf einen Deepfake hat als solche keinen Einfluss auf dessen Schutzfähigkeit durch Urheberrecht, die gemäß dem anwendbaren Unionsurheberrecht zu beurteilen ist.

Persönlichkeitsrechte: Wenn Deepfakes bestehende Personen zeigen, müssen die Betreiber auch die einschlägigen Rechtsrahmen zum Schutz der Persönlichkeitsrechte an Bildern oder Stimmen einhalten.

Die Transparenzpflicht gemäß Art. 50 Abs. 4 Satz 1 bedeutet nicht, dass KI-generierte oder manipulierte Deepfakes, die schädlich und nach geltendem Unions- oder nationalem Recht ungesetzlich sind (z.B. irreführende Werbung oder Strafrecht wie kinderpornografisches Material und nicht einvernehmliche intime Bilder), erzeugt und verbreitet werden dürfen.

6.2 KI-generierte oder -bearbeitete Texte: Wesentliche Bestandteile, Konzepte und Transparenzpflichten

Art. 50 Abs. 4 UAbs. 2 gilt, wenn mehrere Voraussetzungen erfüllt sind:

  1. Das System muss ein KI-System sein;
  2. Es wird zur Erstellung oder Bearbeitung von Texten verwendet, die mit dem Ziel veröffentlicht werden, die Öffentlichkeit über Angelegenheiten von öffentlichem Interesse zu informieren.
  3. Die Nutzung des KI-Systems fällt nicht unter eine der Ausnahmen.

6.2.1 KI-Texte im öffentlichen Interesse

Bei der Veröffentlichung von KI-generierten oder -bearbeiteten Texten zur Information der Öffentlichkeit über Angelegenheiten von öffentlichem Interesse sind Betreiber verpflichtet bestimmte Transparenzpflichten zu beachten. Um den Anwendungsbereich von Art. 50 Abs. 4 UAbs. 2 besser zu verstehen sind folgende drei Elemente entscheidend:

  • Veröffentlichte Texte: Der KI-generierte oder -bearbeitete Text muss öffentlich zugänglich sein. Das bedeutet, dass er von einer unbestimmten, hinreichend großen Gruppe von Personen gelesen werden kann – unabhängig davon, ob gegen Entgelt oder kostenlos. Im Gegensatz dazu ist ein Text nicht "veröffentlicht", wenn der Zugang auf bestimmte Personen innerhalb einer geschlossenen, privaten Gruppe beschränkt ist oder die Gruppe zu klein oder unbedeutend ist. Beispiele hierfür sind private Korrespondenz, auch im beruflichen Kontext, sowie interne Unternehmensdokumente.
  • Information des Publikums: Der veröffentlichte KI-Text muss darauf abzielen, das Publikum zu informieren. Dies erfordert die Absicht, Wissen, Meinungen oder Fakten zu vermitteln. Kurze Texte, die nicht wesentlich an Wissensvermittlung beteiligt sind, gelten nicht als Information der Öffentlichkeit.
  • Angelegenheiten von öffentlichem Interesse: Der Text muss die Öffentlichkeit über Themen informieren, die für die Gesellschaft relevant sind und die einer öffentlichen Debatte bedürfen. Dazu gehören insbesondere:
    • Politik und demokratische Prozesse
    • Öffentliche Verwaltung und Dienstleistungen
    • Rechtspflege und Strafverfolgung
    • Schutz der Grundrechte
    • Öffentliche Sicherheit und Gesundheit
    • Umweltschutz und Verbrauchersicherheit
    • Wirtschaftliche, finanzielle, politische, wissenschaftliche oder kulturelle Entwicklungen

Was als Angelegenheit von öffentlichem Interesse gilt, kann sich im Laufe der Zeit und je nach Kontext ändern.

Beispiele für KI-Texte im öffentlichen Interesse (Kennzeichnungspflichtig, sofern keine menschliche Überprüfung/redaktionelle Kontrolle erfolgt, siehe Abschnitt 6.2.3):
- Eine KI-generierte Zusammenfassung eines von Menschen verfassten Zeitungsartikels über eine aktuelle Entscheidung des Gemeinderats.
- KI-bearbeitete Teile eines Artikels auf einer Lifestyle-Website, die die Auswirkungen verschiedener Ernährungsweisen auf eine bestimmte Krankheit bei Frauen mittleren Alters vergleicht.
- KI-bearbeitete Unternehmensberichte auf der Website eines börsennotierten Unternehmens, die Informationen für Investoren enthalten.
- Eine KI-generierte Nachricht auf dem Social-Media-Profil eines Wetterinstituts, die die Bürger vor einem Sturm und entsprechenden Vorsichtsmaßnahmen warnt.

Beispiele für KI-Texte, die nicht unter die Anforderungen von Art. 50 Abs. 4 fallen:
- KI-generierte Fantasy-Romane.
- KI-bearbeiteter Text, der Teil einer Werbung oder einer Produktbeschreibung eines Unternehmens ist (ausgenommen sind hierbei Aussagen zu Gesundheit, Verbrauchersicherheit oder Nachhaltigkeit).
- Eine Nachrichtenzusammenfassung durch einen Chatbot, die nur der Person zur Verfügung steht, die den Chatbot befragt hat.
- KI-bearbeiteter Text eines Beraters für einen Auftraggeber bezüglich Maßnahmen zur Einhaltung geltender gesetzlicher Vorschriften

6.2.2 Offenlegungspflicht

Wie bei Deepfakes vorgeschrieben, müssen Kennzeichnungs- oder Offenlegungsmethoden (einschließlich Haftungsausschlüsse) gemäß Art. 50 Abs. 4 UAbs. 2 für natürliche Personen klar und wahrnehmbar sein. Dies bedeutet, dass sichtbare oder hörbare Maßnahmen erforderlich sind, ohne dass die Personen auf spezielle technische Hilfsmittel zurückgreifen oder bestimmte Handlungen vornehmen müssen.

Auch hier können sich Betreiber auf einen anerkannten Praxisleitfaden stützen (siehe oben).

6.2.3 Ausnahmen für Text

Es sind Ausnahmen von der Kennzeichnungspflicht für KI-generierte oder -manipulierte Texte vorgesehen, wenn zwei Bedingungen gleichzeitig erfüllt sind:

  • Menschliche Überprüfung oder redaktionelle Kontrolle:Der Text muss einer sorgfältigen Prüfung durch eine oder mehrere kompetente Personen unterzogen worden sein. Diese Prüfung umfasst eine inhaltliche Auseinandersetzung mit dem Text und geht über eine reine formale Überprüfung (z.B. Rechtschreibprüfung) hinaus. Eine redaktionelle Kontrolle beinhaltet die Befugnis, den Text inhaltlich zu ändern oder abzulehnen. Mindestanforderung sind dabei Faktenprüfung und Quellenvalidierung, unbeschadet bestehender Prüf- und Redaktionsverfahren sowie der für Mediendiensteanbieter geltenden beruflichen Standards. Nachträgliche Änderungen machen die Prüfung und Kontrolle ungültig.
  • Redaktionelle Verantwortung:Eine natürliche oder juristische Person muss die redaktionelle Verantwortung für die Veröffentlichung tragen. Dies bedeutet die umfassende rechtliche Verantwortung für den Inhalt, einschließlich der Überprüfung oder Kontrolle. Die Identität und Kontaktdaten dieser verantwortlichen Person sollten öffentlich zugänglich sein (z.B. auf der Website in den Nutzungsbedingungen oder im Impressum).

Dies gilt insbesondere für Betreiber, die keine Mediendienstanbieter sind.

Beispiele für Bedingungen erfüllt, keine Offenlegung gemäß Art. 50 Abs. 4 UAbs. 2 erforderlich
- Ein KI-manipulierter Artikel in einer Zeitung oder die KI-generierte Zusammenfassung eines Artikels, der der redaktionellen Kontrolle des Chefredakteurs unterliegt und dessen Verlag die redaktionelle Verantwortung trägt.
- Ein KI-manipulierter Artikel in einem akademischen Blog, der einer Begutachtung unterzogen wurde und dessen Betreiber (z.B. ein Forschungsinstitut) die redaktionelle Verantwortung trägt.
- KI-generierte Warnungen vor Gefahren, die von einem zuständigen Beamten freigegeben wurden und deren Veröffentlichung unter der Verantwortung der zuständigen Behörde für Bevölkerungsschutz steht.
- KI-generierter Nachhaltigkeitsbericht auf der Website eines börsennotierten Unternehmens, der zuvor von entsprechendem Fachpersonal geprüft wurde.
- KI-gestützte und menschlich überprüfte Übersetzung eines von Menschen verfassten Artikels.

Beispiele für Bedingungen nicht erfüllt, Offenlegung gemäß Art. 50 Abs. 4 UAbs. 2 erforderlich
- KI-generierte Artikel auf einer Website ohne inhaltliche Überprüfung durch Menschen veröffentlicht werden.
- KI-generierte Artikel von einem anderen KI-System überprüft und nur einer oberflächlichen grammatikalischen Korrektur durch einen Menschen unterzogen werden.
- KI-generiertes, im Eigenverlag erschienenes Buch, das auf einer E-Commerce-Plattform angeboten wird, ohne je einer Prüfung durch eine juristische oder natürliche Person unterzogen worden zu sein.

6.2.4 Ausnahme für die Strafverfolgung

Falls der Einsatz von KI-Systemen zur Erstellung von Texten, die ohne menschliche Überprüfung veröffentlicht werden, um die Öffentlichkeit über Angelegenheiten von öffentlichem Interesse zu informieren (z.B. eine KI-generierte Polizeiwarnung vor einer Terrorgefahr, die in sozialen Medien veröffentlicht wird), durch Gesetz erlaubt ist, um Straftaten zu erkennen, zu verhindern, zu untersuchen oder zu verfolgen, sind die Verpflichtenden von der Transparenzpflicht gemäß Art. 50 Abs. 4 KI-VO befreit. Die Erläuterungen in Abschnitt 3.2.2 sind auch für diese Bestimmung relevant.

6.2.5 Wechselwirkungen mit anderen Rechtsakten der Union

Die redaktionelle Verantwortung ist ein zentraler Begriff im europäischen Medienrecht. In Art. 2 Abs. 8 des Europäischen Medienfreiheitsgesetzes (Verordnung (EU) 2024/1083) wird „redaktionelle Verantwortung“ definiert als:

„die Ausübung einer wirksamen Kontrolle sowohl hinsichtlich der Auswahl der Sendungen oder Presseveröffentlichungen als auch hinsichtlich ihrer Zusammenstellung für die Zwecke der Bereitstellung eines Mediendienstes, unabhängig von dem Bestehen einer Haftung für den bereitgestellten Dienst nach nationalem Recht;“.

In bestimmten Situationen kann sich diese Definition mit dem in der in Art. 50 Abs. 4 UAbs. 2 verwendeten Begriff der redaktionellen Verantwortung überschneiden. Insbesondere dann, wenn die Betreiber des KI-Systems auch als Mediendienstanbieter im Sinne des EMFA gelten. Die redaktionelle Verantwortung gemäß Art. 50 Abs. 4 sollte im Einklang mit dem bestehenden EU-Medienrecht ausgelegt werden. Dieser Begriff ist jedoch eigenständig und kann auch auf andere Betreiber angewendet werden, die die redaktionelle Verantwortung für die Veröffentlichung übernehmen.

Mediendienstleister können sich auf ihre bestehenden redaktionellen Abläufe und Standards stützen, um von der Ausnahme gemäß Art. 50 Abs. 4 UAbs. 2 zu profitieren.

7. Transparenz bei Erstkontakt und Barrierefreiheit

Art. 50 Abs. 5 verlangt, dass die nach Art. 50 Abs. 1 bis 4 erforderlichen Informationen betroffenen Personen beim ersten Kontakt klar und barrierefrei mitgeteilt werden.

Art. 50Abs. 5 – Horizontale Modalitätsregel (Kurzliste)

  • Zeitpunkt
    • Information muss spätestens beim ersten Kontakt mit dem System bzw. den Inhalten erfolgen.
    • Frühere Bereitstellung ist zulässig; bei Inhalten, die nicht sofort wahrgenommen werden (z. B. Live‑Übertragungen), muss die Offenlegung wiederholt werden.
  • Zielgruppe
    • Direkte Interaktionspartner (Chat‑Bots, Sprachassistenten).
    • Aktive und passive Nutzer, die KI‑generierte/manipulierte Inhalte sehen oder hören.
    • Personen, die Gegenstand von Emotionserkennung oder biometrischer Kategorisierung sind.
  • Inhalt der Information
    • Klar und deutlich: leicht wahrnehmbar, verständlich, von anderen Inhalten unterscheidbar.
    • Barrierefrei: muss allen Zielgruppen zugänglich sein, insbesondere Kindern (kind‑ und altersgerecht, prägnant, in Amtssprache, ansprechend gestaltet, ggf. schrittweise vermittelt).
  • Platzierung
    • Direkt während der Interaktion oder als Teil des Inhalts.
    • Versteckte Hinweise in Handbüchern oder tiefen Menüs reichen nicht aus.
  • Rechtlicher Rahmen für Barrierefreiheit
    • Verweis auf bestehende EU‑Rechtsakte:
      • Richtlinie (EU) 2016/2102 – barrierefreie Websites/Apps öffentlicher Stellen.
      • Richtlinie (EU) 2019/882 – Barrierefreiheitsanforderungen für Produkte und Dienstleistungen.
  • Akteure prüfen, ob ihr Angebot unter diese Richtlinien fällt und passen die Information entsprechend an.
  • Art. 50 begründet keine zusätzlichen, eigenständigen Barrierefreiheitsanforderungen.

[ENDE]

7.1 Informationen in klarer und leicht verständlicher Form

Informationen sind klar und deutlich bereitgestellt, wenn sie leicht wahrnehmbar, verständlich und von anderen Inhalten unterscheidbar sind. Sie müssen für alle Zielgruppen, einschließlich Kinder oder Personen mit Behinderungen, zugänglich sein.

Für Kinder müssen die Informationen:

  • kindgerecht, altersgerecht und leicht verständlich sein
  • klar und prägnant präsentiert werden
  • leicht überprüfbar und intuitiv zugänglich sein,
  • in der Amtssprache des Landes verfasst sein
  • ansprechend gestaltet sein (z.B. mit Grafiken, Videos oder Figuren)
  • schrittweise und über einen längeren Zeitraum vermittelt werden

Anbieter oder Betreiber können die Informationen während der Interaktion (gemäß Art. 50 Abs. 1) oder als Teil des relevanten Inhalts (gemäß Art. 50 Abs. 2 und 4) präsentieren. Informationen gelten nicht als klar und deutlich bereitgestellt, wenn sie nur in einem Handbuch oder tief in Menüoptionen versteckt sind.

7.2 Erste Interaktion oder Kontakt

Nach Art. 50 Abs. 5 müssen die Informationen den betroffenen Personen spätestens beim ersten Kontakt mit dem KI-System oder dessen Inhalten bereitgestellt werden. Dies umfasst:

  • Erste Interaktion, z.B.
    • beim Starten eines Gesprächs mit einem Chatbot
    • beim Beginn einer physischen Interaktion mit einem KI-System
  • Erster Kontakt, z.B.:
    • zu Beginn eines Videos mit Deepfake-Inhalten
    • bei der Veröffentlichung eines KI-generierten oder manipulierten Textes zu Themen von öffentlichem Interesse
    • beim Zufallsauffinden von KI-manipulierten Deepfake-Inhalten beim Scrollen in sozialen Medien

Die Informationen müssen immer dann bereitgestellt werden, wenn eine Person erstmals mit dem KI-System oder dessen Inhalten in Kontakt kommt. Eine frühere Bereitstellung ist ebenfalls erlaubt, um die Wirksamkeit zu erhöhen. Wenn Personen den Inhalt möglicherweise nicht von Beginn an wahrnehmen (z.B. bei Live-Übertragungen), reicht die Offenlegung nur zu Beginn nicht aus. In solchen Fällen sollten die Informationen auch zu späteren Zeitpunkten bereitgestellt werden.

7.3 Erfüllung der geltenden Anforderungen an die Barrierefreiheit

Anbieter und Betreiber von KI-Systemen, die Transparenzpflichten gemäß Art. 50 unterliegen, sollten wissen, dass sie möglicherweise Barrierefreiheitsanforderungen erfüllen müssen. Diese Anforderungen sind in den Richtlinien 2016/2102 über den barrierefreien Zugang zu den Websites und mobilen Anwendungen öffentlicher Stellen und 2019/882 über die Barrierefreiheitsanforderungen für Produkte und Dienstleistungen festgelegt. Anbieter und Betreiber müssen prüfen, ob ihr Produkt, ihre Dienstleistung oder ihre Inhalte unter diese Richtlinien fallen. Falls ja, müssen sie sicherstellen, dass die übermittelten Informationen barrierefrei sind, wie in Art. 50 vorgeschrieben. Dabei gelten keine zusätzlichen Barrierefreiheitsanforderungen.

8. Durchsetzung der Vorschriften

Dieser Abschnitt erläutert (1) die Auswirkungen der Einhaltung eines anerkannten Praxisleitfadens auf die Erfüllung der Transparenzpflichten für KI-generierte Inhalte, (2) die Rolle der zuständigen Aufsichtsbehörden bei der Durchsetzung von Art. 50 und (3) die bei Verstößen gegen diese Pflichten geltenden Sanktionen. Außerdem werden die Themen (4) Beginn der Anwendung und (5) Überprüfung und Aktualisierung der Leitlinien der Kommission dargestellt.

In Kürze:

  • Nachweis: Konformität über anerkannten Praxisleitfaden (Code of Practice) oder vergleichbare Nachweise (z. B. Gap‑Analyse).
  • Marktüberwachung:
    • Nationale Marktüberwachungsbehörden (VO 2019/1020).
    • KI‑Büro für GPAI‑Modelle und mehr.
    • EDSB für EU‑Organe.
    • Beschwerden jederzeit bei der KI‑Beschwerdestelle (BNetzA) möglich.
  • Sanktionen: Bußgeld bis 15 Mio. € oder 3 % des weltweiten Vorjahresumsatzes (höherer Betrag); für EU‑Organe max. 750.000 €, für KMU/Start‑ups der niedrigere Betrag.
  • Zeitplan:
    • Vollanwendung ab 2. Aug 2026.
    • Übergangsfrist bis 2. Dez 2026 für Kennzeichnung/Detektion von vor‑2. Aug 2026 eingeführten generativen Systemen.

Inhalte vor diesem Datum müssen nicht nachträglich gekennzeichnet werden; freiwillige Nachkennzeichnung erwünscht.

[ENDE]

8.1 Auswirkungen der Einhaltung eines als angemessen bewerteten Praxisleitfadens

Anbieter und Betreiber von KI-Systemen, die unter Art. 50 Abs. 2 und 4 fallen, können ihre Transparenzpflichten durch die Nutzung des anerkannten Praxisleitfadens oder anderer geeigneter Mittel nachweisen. Der Leitfaden ergänzt die KI-VO und die Leitlinien als unionsweiter Rahmen zur Nachweisführung, unabhängig von Standort, Betrieb und zuständigen Behörden. Die Einhaltung des Leitfadens erleichtert den Nachweis und kann bei der Festsetzung von Geldbußen mildernd berücksichtigt werden.

Unterzeichner des Leitfadens werden von der Kommission und den Marktüberwachungsbehörden hauptsächlich auf die Einhaltung des Leitfadens überprüft. Durch Transparenz gewinnen sie das Vertrauen der Behörden und der Öffentlichkeit. Abweichungen vom Leitfaden führen jedoch zum Verlust dieser Vorteile.

Anbieter und Betreiber, die den Praxisleitfaden nicht unterzeichnet haben, müssen ihre Einhaltung auf andere Weise nachweisen, z.B. durch Gap-Analysen. Sie könnten häufiger um Auskünfte und Zugang gebeten werden, um die Wirksamkeit und Zuverlässigkeit ihrer technischen Lösungen zu prüfen.

8.2 Marktüberwachungsbehörden

Die Marktüberwachungsbehörden können von sich aus oder in Folge einer Beschwerde Durchsetzungsmaßnahmen ergreifen.

Mehr über zuständige Marktüberwachungsbehörden im Sinne der KI-VO erfahren Sie hier.

Jede betroffene Person oder andere natürliche oder juristische Person, die Grund zu der Annahme hat, dass Verstöße vorliegen, hat das Recht, eine Beschwerde einzureichen (Art. 85).

Zur zentralen KI-Beschwerdestelle der Bundesnetzagentur gelangen Sie hier.

Die Verantwortlichkeiten der Marktüberwachungsbehörden gemäß der KI-VO beeinträchtigen nicht die Befugnisse und Aufgaben anderer Aufsichtsbehörden oder Grundrechtsbehörden, wenn beide Rechtsrahmen anwendbar sind (z.B. Datenschutz, Verbraucherschutz).

8.3 Sanktionen

Anbieter und Betreiber, die den in Art. 50 festgelegten Transparenzpflichten nicht nachkommen, können mit folgenden Geldbußen belegt werden:

  • Bis zu 15 Mio. € oder, bei Unternehmen, bis zu 3 % des weltweiten Gesamtumsatzes des vorangegangenen Geschäftsjahres (je nachdem, welcher Betrag höher ist).
  • Bei EU-Organen, -Einrichtungen und -Agenturen bis zu 750.000 €.
  • Bei KMUs und Start-ups maximal der niedrigeren Wert aus dem oben genannten Prozentsatz oder Betrag.

Die Geldbußen sollen wirksam, verhältnismäßig und abschreckend sein und die wirtschaftliche Lebensfähigkeit berücksichtigen. Bei der Entscheidung über die Verhängung und Höhe von Geldbußen bewerten die zuständigen Behörden folgende Umstände:

  • Art, Schwere und Dauer des Verstoßes
  • Fahrlässige oder vorsätzliche Handlung
  • Andere Umstände
  • Zusammenarbeit mit den Marktüberwachungsbehörden

8.4 Beginn der Anwendung

Ab dem 2. August 2026 gilt Art. 50. Das bedeutet, dass alle betroffenen KI-Systeme, die in der EU in Verkehr gebracht oder in Betrieb genommen werden, die Anforderungen erfüllen müssen – unabhängig vom Zeitpunkt ihrer Einführung.

Art. 1 Abs. 39 Lit. b) KI-Omnibus schreibt eine Übergangsfrist für generative KI-Systeme vor, die vor dem 2. August 2026 in Verkehr gebracht oder in Betrieb genommen wurden. Diese Frist betrifft nur die Kennzeichnungs- und Detektionspflichten gemäß Art. 50 Abs. 2.

KI-generierte oder manipulierte Inhalte (einschließlich Deepfakes), die vor dem 2. August 2026 erstellt und bereits veröffentlicht wurden, müssen nicht nachträglich gekennzeichnet oder mit einem Hinweis versehen werden.

Für Texte zu Angelegenheiten von öffentlichem Interesse, die vor dem 2. August 2026 KI-generiert oder manipuliert und veröffentlicht wurden, gilt die Kennzeichnungspflicht nicht. Werden solche Texte jedoch ab dem 2. August 2026 veröffentlicht, müssen sie gekennzeichnet werden.

Betreiber von KI-Systemen und andere Akteure, die solche Inhalte besitzen oder verbreiten, werden ermutigt, dies freiwillig aber ohne unverhältnismäßige Anstrengungen zu tun. Dies dient dem Ziel der Transparenz und stärkt das Vertrauen sowie die Integrität des Informationsökosystems.

9. Überprüfung und Aktualisierung der Leitlinien der Kommission

Diese Leitlinie bietet eine erste Auslegung der Transparenzpflichten in Art. 50 mit praktischen Beispielen. Die Kommission wird diese Leitlinien regelmäßig überprüfen basierend auf:

  • praktischen Erfahrungen
  • Technologischen, gesellschaftlichen sowie regulatorischen Entwicklungen
  • Erfahrungen aus der Marktüberwachung
  • spätere Urteile des EuGH zu Art. 50

Im Rahmen dieser Überprüfung kann die Kommission die Leitlinie ändern oder zurückziehen. Anbieter, Betreiber und nationale Marktüberwachungsbehörden sind aufgefordert, sich über verschiedene Gremien und Organisationen zu beteiligen, insbesondere durch Teilnahme an öffentlichen Konsultationen.

Mastodon