Umsetzungsleitfaden zur KI-Verordnung

Verboten sind gem. Art. 5 Abs. 1 KI-VO eine Reihe von Praktiken. Hierunter fallen: 

• Absichtlich manipulative und täuschende Techniken
• Ausnutzung vulnerabler Personen oder Gruppen 
• Einstufung von Personen aufgrund ihres Sozialverhaltens 
• Risikobewertung aufgrund von Profiling in Bezug auf Straffälligkeit
• Erstellung von Datenbanken durch ungezieltes Auslesen von Gesichtsbildern 
• Ableitung von Emotionen am Arbeitsplatz und in Bildungseinrichtungen
• Biometrischen Kategorisierung natürlicher Personen
• biometrische Echtzeit-Fernidentifizierungssysteme

Im Umsetzungsleitfaden werden die Verbotstatbestände einzeln dargestellt und unter Einbeziehung der relevanten Erwägungsgründen erläutert. Außerdem werden Grenzfälle und Beispiele verbotener Praktiken skizziert  (Schritt 2.1.).

Art. 6 KI-VO regelt die Risikoklassifizierung von KI-Systemen. Diese Klassifizierung hat durch den Anbieter zu erfolgen. Gem. Art. 6 Abs. 1 KI-VO gilt ein KI-System als hochriskant, wenn folgende Voraussetzungen kumulativ erfüllt sind:

a) das KI-System soll als Sicherheitsbauteil eines unter den in Anhang I aufgeführten Harmonisierungsrechtsvorschriften der Union fallenden Produkts verwendet werden oder das KI-System ist selbst ein solches Produkt;

b) das Produkt, dessen Sicherheitsbauteil gemäß Buchstabe a das KI-System ist, oder das KI-System selbst als Produkt muss einer Konformitätsbewertung durch Dritte im Hinblick auf das Inverkehrbringen oder die Inbetriebnahme dieses Produkts gemäß den in Anhang I aufgeführten Harmonisierungsrechtsvorschriften der Union unterzogen werden.

Die Erwägungsgründe 46, 47, 48 und 49 konkretisieren die Regeln zur Risikoklassifizierung. Im Umsetzungsleitfaden wird die Risikoklassifizierung nach Art. 6 Abs. 1 i. V. m. Anhang I näher erläutert (Schritt 2.2.).

Art. 6 Abs. 2 KI-VO regelt die zweite Alternative, nach der KI-Systeme als hochriskant einzustufen sind:

2) Zusätzlich zu den in Absatz 1 genannten Hochrisiko-KI-Systemen gelten die in Anhang III genannten KI-Systeme als hochriskant.

In Anhang III werden Bereiche aufgezählt, die der Gesetzgeber potenziell für besonders kritisch hält. Hierunter fallen: 

• Biometrik 
• Kritische Infrastruktur 
• Allgemeine berufliche Bildung 
• Beschäftigung, Personalmanagement und Zugang zur Selbstständigkeit
• Zugänglichkeit und Inanspruchnahme grundlegender privater und grundlegender öffentlicher Dienste und Leistungen
• Strafverfolgung
• Migration, Asyl und Grenzkontrolle
• Rechtspflege und demokratische Prozesse

Die Erwägungsgründe 46, 47 und 48 und konkretisieren die Regeln zur Risikoklassifizierung. Im Umsetzungsleitfaden wird die Risikoklassifizierung nach Art. 6 Abs. 2 i. V. m. Anhang III näher erläutert (Schritt 2.3.).

Art. 6 Abs. 3 KI-VO regelt, unter welchen Voraussetzungen ein KI-System, das in einem der Bereiche in Anhang III eingesetzt wird, ausnahmsweise nicht als hochriskant einzustufen ist: 

(3) Abweichend von Absatz 2 gilt ein KI-System nicht als hochriskant, wenn es kein erhebliches Risiko der Beeinträchtigung in Bezug auf die Gesundheit, Sicherheit oder Grundrechte natürlicher Personen birgt, indem es unter anderem nicht das Ergebnis der Entscheidungsfindung wesentlich beeinflusst. Dies ist der Fall, wenn eine oder mehrere der folgenden Bedingungen erfüllt sind:

a) das KI-System ist dazu bestimmt, eine eng gefasste Verfahrensaufgabe durchzuführen;

b) das KI-System ist dazu bestimmt, das Ergebnis einer zuvor abgeschlossenen menschlichen Tätigkeit zu verbessern;

c) das KI-System ist dazu bestimmt, Entscheidungsmuster oder Abweichungen von früheren Entscheidungsmustern zu erkennen, und ist nicht dazu gedacht, die zuvor abgeschlossene menschliche Bewertung, ohne eine angemessene menschliche Überprüfung zu ersetzen oder zu beeinflussen; oder

d) das KI-System ist dazu bestimmt, eine vorbereitende Aufgabe für eine Bewertung durchzuführen, die für die Zwecke der in Anhang III aufgeführten Anwendungsfälle relevant ist. Ungeachtet des Unterabsatzes 1 gilt ein in Anhang III aufgeführtes KI-System immer dann als hochriskant, wenn es ein Profiling natürlicher Personen vornimmt.

Die Erwägungsgründe 46, 47 und 48 und konkretisieren die Regeln zur Risikoklassifizierung. Im Umsetzungsleitfaden wird die Ausnahm nach Art. 6 Abs. 3 näher erläutert (Schritt 2.4.).

Wenn das KI-System weder unter Art. 6 Abs. 1 i.V.m. Anhang I noch unter Art. 6 Abs. 2 i.V.m. Anhang III subsumiert werden kann, und damit nicht den strengen Anforderungen an Hochrisiko-KI-Systeme unterliegt, ist als Nächstes zu prüfen, ob vom KI-System ein geringes/begrenztes oder nur ein minimales/kein Risiko ausgeht.  KI-Systeme mit geringem Risiko unterliegen etwa den Transparenzpflichten des Art. 50 KI-VO, während KI-Systeme, von denen bloß ein minimales Risiko ausgeht, nicht von der Verordnung erfasst sind. 

KI-Systeme mit geringem/begrenztem Risiko sind solche, die mit natürlichen Personen interagieren und eine Manipulationsgefahr bergen, wie beispielsweise Chatbots oder Empfehlungssysteme. Im Gegensatz dazu stehen KI-Systeme mit minimalem/keinem Risiko, die vom Anwendungsbereich der Verordnung ausgenommen sind. Zu dieser Kategorie zählen weitverbreitete administrative oder interne Anwendungen wie Spamfilter, KI-gestützte Videospiele oder Bestandsverwaltungssysteme.

Im Umsetzungsleitfaden finden sich weitere Ausführungen zur Abgrenzung zwischen begrenzt und minimal riskanten KI-Systemen (Schritt 2.5.).

Wenn das KI-System weder unter Art. 6 Abs. 1 i.V.m. Anhang I noch unter Art. 6 Abs. 2 i.V.m. Anhang III subsumiert werden kann, und damit nicht den strengen Anforderungen an Hochrisiko-KI-Systeme unterliegt, ist als Nächstes zu prüfen, ob vom KI-System ein geringes/begrenztes oder nur ein minimales/kein Risiko ausgeht.  KI-Systeme mit geringem Risiko unterliegen etwa den Transparenzpflichten des Art. 50 KI-VO, während KI-Systeme, von denen bloß ein minimales Risiko ausgeht, nicht von der Verordnung erfasst sind. 

KI-Systeme mit geringem/begrenztem Risiko sind solche, die mit natürlichen Personen interagieren und eine Manipulationsgefahr bergen, wie beispielsweise Chatbots oder Empfehlungssysteme. Im Gegensatz dazu stehen KI-Systeme mit minimalem/keinem Risiko, die vom Anwendungsbereich der Verordnung ausgenommen sind. Zu dieser Kategorie zählen weitverbreitete administrative oder interne Anwendungen wie Spamfilter, KI-gestützte Videospiele oder Bestandsverwaltungssysteme.

Im Umsetzungsleitfaden finden sich weitere Ausführungen zur Abgrenzung zwischen begrenzt und minimal riskanten KI-Systemen (Schritt 2.5.).

Wenn das KI-System weder unter Art. 6 Abs. 1 i.V.m. Anhang I noch unter Art. 6 Abs. 2 i.V.m. Anhang III subsumiert werden kann, und damit nicht den strengen Anforderungen an Hochrisiko-KI-Systeme unterliegt, ist als Nächstes zu prüfen, ob vom KI-System ein geringes/begrenztes oder nur ein minimales/kein Risiko ausgeht.  KI-Systeme mit geringem Risiko unterliegen etwa den Transparenzpflichten des Art. 50 KI-VO, während KI-Systeme, von denen bloß ein minimales Risiko ausgeht, nicht von der Verordnung erfasst sind. 

KI-Systeme mit geringem/begrenztem Risiko sind solche, die mit natürlichen Personen interagieren und eine Manipulationsgefahr bergen, wie beispielsweise Chatbots oder Empfehlungssysteme. Im Gegensatz dazu stehen KI-Systeme mit minimalem/keinem Risiko, die vom Anwendungsbereich der Verordnung ausgenommen sind. Zu dieser Kategorie zählen weitverbreitete administrative oder interne Anwendungen wie Spamfilter, KI-gestützte Videospiele oder Bestandsverwaltungssysteme.

Im Umsetzungsleitfaden finden sich weitere Ausführungen zur Abgrenzung zwischen begrenzt und minimal riskanten KI-Systemen (Schritt 2.5.).

Sollte Art. 8 Abs. 2 KI-VO einschlägig sein, d. h. für das Produkt, in das ein Hochrisiko-KI-System integriert ist, zugleich Regelungen auf der Grundlage der im Anhang I Abschnitt A aufgelisteten Rechtsakte gelten, so sind die Anbieter dafür verantwortlich, sicherzustellen, dass ihr Produkt alle geltenden Anforderungen der geltenden Harmonisierungsrechtsvorschriften der Union vollständig entspricht. 

2) Enthält ein Produkt ein KI-System, für das die Anforderungen dieser Verordnung und die Anforderungen der in Anhang I Abschnitt A aufgeführten Harmonisierungsrechtsvorschriften der Union gelten, so sind die Anbieter dafür verantwortlich, sicherzustellen, dass ihr Produkt alle geltenden Anforderungen der geltenden Harmonisierungsrechtsvorschriften der Union vollständig erfüllt. Bei der Gewährleistung der Erfüllung der in diesem Abschnitt festgelegten Anforderungen durch die in Absatz 1 genannten Hochrisiko-KI-Systeme und im Hinblick auf die Gewährleistung der Kohärenz, der Vermeidung von Doppelarbeit und der Minimierung zusätzlicher Belastungen haben die Anbieter die Wahl, die erforderlichen Test- und Berichterstattungsverfahren, Informationen und Dokumentationen, die sie im Zusammenhang mit ihrem Produkt bereitstellen, gegebenenfalls in Dokumentationen und Verfahren zu integrieren, die bereits bestehen und gemäß den in Anhang I Abschnitt A aufgeführten Harmonisierungsrechtsvorschriften der Union vorgeschrieben sind.

Erläuterungen zu Art. 8 Abs. 2 finden sich im Umsetzungsleitfaden (Schritt 4.1.1.).

KI-Systeme bieten zahlreiche Vorteile, bergen jedoch auch potenzielle Risiken für Gesundheit, Sicherheit und Grundrechte. Deshalb ist es unerlässlich, diese Risiken korrekt zu identifizieren und zu mindern. Ein effektives Risikomanagement ist nicht nur eine rechtliche Verpflichtung, sondern auch eine organisatorische Notwendigkeit.

Risikomanagement umfasst den systematischen Prozess der Ermittlung, Bewertung und Steuerung von Risiken, die mit dem Einsatz von Künstlicher Intelligenz über ihren gesamten Lebenszyklus hinweg verbunden sind. Die Integration eines solchen Systems soll rechtliche und finanzielle Risiken minimieren und gleichzeitig Innovation und verantwortungsvollen Einsatz von KI fördern.

Art. 9 KI-VO regelt, wie das Risikomanagementsystem konkret auszugestalten ist. Die Implementierung eines effektiven Risikomanagementsystems umfasst folgende Schritte: 

• Risikoidentifizierung
• Risikoanalyse- und -bewertung
• Risikominderung
• Kontinuierliche Aktualisierung

Die einzelnen Schritte des Risikomanagementsystems werden im Umsetzungsleitfaden erläutert (Schritt 4.1.2.).

Art. 10 KI-VO regelt, wie die Daten-Governance auszugestalten ist. Sofern Hochrisiko-KI-Systeme mit Daten trainiert werden, müssen Trainings-, Validierungs- und Testdatensätze verwendet werden, die den dort genannten Qualitätskriterien entsprechen. Insbesondere gelten für Trainings-, Validierungs- und Testdatensätze Daten-Governance- und Datenverwaltungsverfahren, die für die Zweckbestimmung des jeweiligen Hochrisiko-KI-Systems geeignet sind (Absatz 2), die verwendeten Datensätze müssen im Hinblick auf die Zweckbestimmung relevant, hinreichend repräsentativ und so weit wie möglich fehlerfrei und vollständig sein (Absatz 3) und, soweit dies für die Zweckbestimmung erforderlich ist, die entsprechenden Merkmale oder Elemente berücksichtigen, die für die besonderen geografischen, kontextuellen, verhaltensbezogenen oder funktionalen Rahmenbedingungen, unter denen das Hochrisiko-KI-System bestimmungsgemäß verwendet werden soll, typisch sind (Absatz 4). Bei der Entwicklung von Hochrisiko-KI-Systemen, in denen keine Techniken eingesetzt werden, bei denen KI-Modelle trainiert werden, gelten diese Anforderungen nur für Testdatensätze (Absatz 6).

Weitere Erläuterungen zur Daten-Governance und Praxisbeispiele finden sich im Umsetzungsleitfaden (Schritt 4.1.3.).

Art. 11 KI-VO regelt, wie die technische Dokumentation auszugestalten ist. Die allgemeinen Anforderungen werden in Absatz 1 definiert. Die Konkretisierung dieser Anforderungen erfolgt in Anhang IV. Die wesentliche Aufgabe der technischen Dokumentation besteht darin, den Nachweis zu erbringen, dass das KI-System konform mit den Anforderungen aus Abschnitt 2 der KI-VO entworfen, hergestellt und betrieben werden kann.

Weitere Erläuterungen zur technischen Dokumentation und Praxisbeispiele finden sich im Umsetzungsleitfaden (Schritt 4.1.4.). 

Art. 14 KI-VO regelt, wie die menschliche Aufsicht zu gestalten ist. Das Konzept der menschlichen Aufsicht in der KI-Verordnung umfasst die folgenden Kern-Elemente:

• die Betrauung von natürlichen Personen, die über die erforderliche Kompetenz, Ausbildung und Befugnis verfügen, mit der Funktion der menschlichen Aufsicht durch Betreiber von Hochrisiko-KI-Systemen entsprechend der den Systemen beigefügten Betriebsanleitungen (Art. 26 Abs. 1 und 2 der KI-VO) 

• Angemessenheit der Aufsichtsmaßnahmen in Hinblick auf die Risiken, den Grad der Autonomie und den Kontext der Nutzung des Hochrisiko-KI-Systems (Art. 14 Abs. 3) 

• Zurverfügungstellung des Hochrisiko-KI-Systems durch den Anbieter in einer Weise, dass den natürlichen Personen des Betreibers, denen die menschliche Aufsicht übertragen wurde, angemessen und verhältnismäßig ermöglicht wird (Art. 14 Abs. 4)

Welche Maßnahmen konkret zu treffen sind, wird im Umsetzungsleitfaden erläutert (Schritt 4.1.7.).

Gem. Art. 17 KI-VO müssen Anbieter ein Qualitätsmanagementsystem einrichten. Es soll sicherstellen, dass ihre Hochrisiko-KI-Systeme die Anforderungen der KI-VO erfüllen. Folgende Aspekte muss das Qualitätsmanagementsystem umfassen (Art. 17 Abs. 1 KI-VO): 

• Regulierungskonzept

• Entwurfsvalidierung

• Entwicklungs- und Qualitätskontrollen

• Prüf- und Validierungsverfahren

• Technische Spezifikationen und Normen

• Datenmanagementsysteme und -verfahren

• Risikomanagementsystem (Art. 9 KI-VO)

• System zur Beobachtung nach dem Inverkehrbringen (Art. 72 KI-VO) 

• Verfahren zur Meldung eines schwerwiegenden Vorfalls (Art. 73 KI-VO)

• Handhabung der Kommunikation

• Dokumentationssysteme

• Ressourcenmanagement:

• Rechenschaftsrahmen

Weitere Ausführungen zu den einzelnen Elementen des Qualitätsmanagementverfahrens finden sich im Umsetzungsleitfaden (Schritt 4.1.9.).

Art. 18 KI-VO konkretisiert die Pflicht des Anbieters zur Aufbewahrung der Dokumentation. Die Pflicht zur Dokumentierung besteht zehn Jahre lang und beginnt, nachdem das Hochrisiko-KI-System in Verkehr gebracht oder in Betrieb genommen wurde. 

Folgende Dokumente sind aufzubewahren: 

• Technische Dokumentation zum KI-System (Art. 11 KI-VO)

• Dokumentation zum Qualitätssicherungssystem (Art. 17 KI-VO)

• Die EU-Konformitätserklärung (Art. 47 KI-VO)

Folgende Dokumente sind aufzubewahren, falls vorhanden:

• Dokumentation über genehmigte Änderungen von notifizierten Stellen

• Entscheidungen und sonstige Dokumente von notifizierten Stellen

Weitere Ausführungen zur Aufbewahrung der Dokumentation finden sich im Umsetzungsleitfaden (Schritt 4.1.10.).

Art. 19 KI-VO konkretisiert die Pflicht des Anbieters, automatisch erzeugte Protokolle aufzubewahren (vgl. Art. 16 lit. e KI-VO). Anbieter von Hochrisiko-KI-Systemen müssen die automatisch erzeugten Protokolle (Art. 12 Abs. 1 KI-VO) aufbewahren. Dies ist aber nur dann der Fall, wenn die Protokolle ihrer Kontrolle unterliegen.  Die Dauer der Aufbewahrung richtet sich grundsätzlich nach den einschlägigen EU-Rechtsvorschriften (insbesondere zum Schutz personenbezogener Daten) bzw. den nationalen Gesetzen. Ansonsten besteht die Pflicht zur Aufbewahrung für mindestens sechs Monate. 

Weitere Ausführungen zur Aufbewahrung automatisch erzeugter Protokolle finden sich im Umsetzungsleitfaden (Schritt 4.1.11.).

Art. 20 KI-VO konkretisiert die Pflicht des Anbieters, die erforderlichen Korrekturmaßnahmen zu ergreifen und die betroffenen Wirtschaftsakteure zu informieren (vgl. Art. 20 lit. j KI-VO). 

Wenn Anbieter von Hochrisiko-KI-Systemen denken oder den Verdacht haben, dass ihr System nicht den Vorschriften der KI-VO entspricht, müssen sie unverzüglich Maßnahmen ergreifen (Art. 20 Abs. 1 KI-VO). Das sind die Maßnahmen, die erforderlich sind, um die Konformität wieder herzustellen. Falls unmöglich, müssen sie KI-Systeme zurücknehmen, deaktivieren oder zurückrufen. Außerdem müssen sie alle Händler der Systeme informieren (sowie ggf. Betreiber, Vertreter und Importeure). Darüber hinaus müssen sie weitergehende Maßnahmen ergreifen, wenn das KI-System ein Risiko für die Gesundheit oder Sicherheit oder Grundrechte von Personen darstellt. 

Weitere Ausführungen zu Korrekturmaßnahmen und Informationspflichten finden sich im Umsetzungsleitfaden (Schritt 4.1.12.).

Art. 21 KI-VO regelt näheres zur Pflicht des Anbieters, mit den zuständigen Behörden zusammenzuarbeiten (vgl. Art. 16 lit. k KI-VO).  Hiernach müssen Anbieter von Hochrisiko-KI-Systemen den Behörden auf begründete Anfrage alle Informationen und Dokumente offenlegen, die zeigen, dass ihr System den Vorschriften (Art. 8 – 15 KI-VO) entspricht.

Außerdem ist Zugang zu automatisch erzeugten Protokollen des Systems gewähren. 

Weitere Ausführungen zu Kooperationspflichten gegenüber der zuständigen Behörde finden sich im Umsetzungsleitfaden (Schritt 4.1.13.).

Sollte Art. 8 Abs. 2 KI-VO einschlägig sein, d. h. für das Produkt, in das ein Hochrisiko-KI-System integriert ist, zugleich Regelungen auf der Grundlage der im Anhang I Abschnitt A aufgelisteten Rechtsakte gelten, so sind die Anbieter dafür verantwortlich, sicherzustellen, dass ihr Produkt alle geltenden Anforderungen der geltenden Harmonisierungsrechtsvorschriften der Union vollständig entspricht. 

2) Enthält ein Produkt ein KI-System, für das die Anforderungen dieser Verordnung und die Anforderungen der in Anhang I Abschnitt A aufgeführten Harmonisierungsrechtsvorschriften der Union gelten, so sind die Anbieter dafür verantwortlich, sicherzustellen, dass ihr Produkt alle geltenden Anforderungen der geltenden Harmonisierungsrechtsvorschriften der Union vollständig erfüllt. Bei der Gewährleistung der Erfüllung der in diesem Abschnitt festgelegten Anforderungen durch die in Absatz 1 genannten Hochrisiko-KI-Systeme und im Hinblick auf die Gewährleistung der Kohärenz, der Vermeidung von Doppelarbeit und der Minimierung zusätzlicher Belastungen haben die Anbieter die Wahl, die erforderlichen Test- und Berichterstattungsverfahren, Informationen und Dokumentationen, die sie im Zusammenhang mit ihrem Produkt bereitstellen, gegebenenfalls in Dokumentationen und Verfahren zu integrieren, die bereits bestehen und gemäß den in Anhang I Abschnitt A aufgeführten Harmonisierungsrechtsvorschriften der Union vorgeschrieben sind.

Erläuterungen zu Art. 8 Abs. 2 finden sich im Umsetzungsleitfaden (Schritt 4.1.1.).

KI-Systeme bieten zahlreiche Vorteile, bergen jedoch auch potenzielle Risiken für Gesundheit, Sicherheit und Grundrechte. Deshalb ist es unerlässlich, diese Risiken korrekt zu identifizieren und zu mindern. Ein effektives Risikomanagement ist nicht nur eine rechtliche Verpflichtung, sondern auch eine organisatorische Notwendigkeit.

Risikomanagement umfasst den systematischen Prozess der Ermittlung, Bewertung und Steuerung von Risiken, die mit dem Einsatz von Künstlicher Intelligenz über ihren gesamten Lebenszyklus hinweg verbunden sind. Die Integration eines solchen Systems soll rechtliche und finanzielle Risiken minimieren und gleichzeitig Innovation und verantwortungsvollen Einsatz von KI fördern.

Art. 9 KI-VO regelt, wie das Risikomanagementsystem konkret auszugestalten ist. Die Implementierung eines effektiven Risikomanagementsystems umfasst folgende Schritte: 

• Risikoidentifizierung
• Risikoanalyse- und -bewertung
• Risikominderung
• Kontinuierliche Aktualisierung

Die einzelnen Schritte des Risikomanagementsystems werden im Umsetzungsleitfaden erläutert (Schritt 4.1.2.).

Art. 10 KI-VO regelt, wie die Daten-Governance auszugestalten ist. Sofern Hochrisiko-KI-Systeme mit Daten trainiert werden, müssen Trainings-, Validierungs- und Testdatensätze verwendet werden, die den dort genannten Qualitätskriterien entsprechen. Insbesondere gelten für Trainings-, Validierungs- und Testdatensätze Daten-Governance- und Datenverwaltungsverfahren, die für die Zweckbestimmung des jeweiligen Hochrisiko-KI-Systems geeignet sind (Absatz 2), die verwendeten Datensätze müssen im Hinblick auf die Zweckbestimmung relevant, hinreichend repräsentativ und so weit wie möglich fehlerfrei und vollständig sein (Absatz 3) und, soweit dies für die Zweckbestimmung erforderlich ist, die entsprechenden Merkmale oder Elemente berücksichtigen, die für die besonderen geografischen, kontextuellen, verhaltensbezogenen oder funktionalen Rahmenbedingungen, unter denen das Hochrisiko-KI-System bestimmungsgemäß verwendet werden soll, typisch sind (Absatz 4). Bei der Entwicklung von Hochrisiko-KI-Systemen, in denen keine Techniken eingesetzt werden, bei denen KI-Modelle trainiert werden, gelten diese Anforderungen nur für Testdatensätze (Absatz 6).

Weitere Erläuterungen zur Daten-Governance und Praxisbeispiele finden sich im Umsetzungsleitfaden (Schritt 4.1.3.).

Art. 11 KI-VO regelt, wie die technische Dokumentation auszugestalten ist. Die allgemeinen Anforderungen werden in Absatz 1 definiert. Die Konkretisierung dieser Anforderungen erfolgt in Anhang IV. Die wesentliche Aufgabe der technischen Dokumentation besteht darin, den Nachweis zu erbringen, dass das KI-System konform mit den Anforderungen aus Abschnitt 2 der KI-VO entworfen, hergestellt und betrieben werden kann.

Weitere Erläuterungen zur technischen Dokumentation und Praxisbeispiele finden sich im Umsetzungsleitfaden (Schritt 4.1.4.). 

Art. 12 KI-VO regelt, wie die Aufzeichnungspflichten zu erfüllen sind. Der Artikel befasst sich mit der Protokollierung und Rückverfolgbarkeit von Hochrisiko-KI-Systemen. Die Regelung zielt darauf ab, sicherzustellen, dass Ereignisse während des Lebenszyklus eines Hochrisiko-KI-Systems automatisch aufgezeichnet werden, um eine Rückverfolgung seiner Funktionsweise zu ermöglichen und potenzielle Risiken zu identifizieren. Erwägungsgrund 71 konkretisiert die Pflicht. 

Weitere Erläuterungen zur Aufzeichnungspflicht sowie eine Praxisanleitung finden sich im Umsetzungsleitfaden (Schritt 4.1.4.).

Art. 13 KI-VO regelt, wie die Transparenzpflichten zu erfüllen sind. Die Intention des Artikels 13 ist die Schaffung von Transparenz bezüglich der Konzeption und Entwicklung von Hochrisiko-KI-Systemen. Zudem soll gewährleistet werden, dass die Betreiber die mit diesen Systemen verbundenen Ausgaben und Ergebnisse adäquat interpretieren und nutzen können. Dies ist von entscheidender Bedeutung, um potenzielle Risiken zu minimieren und die Verpflichtungen von Anbietern und Betreibern zu erfüllen.

Nähere Ausführungen zu Art. 13 sowie eine beispielhafte Betriebsanleitung finden sich im Umsetzungsleitfaden (Schritt 4.1.6.).

Art. 14 KI-VO regelt, wie die menschliche Aufsicht zu gestalten ist. Das Konzept der menschlichen Aufsicht in der KI-Verordnung umfasst die folgenden Kern-Elemente:

• die Betrauung von natürlichen Personen, die über die erforderliche Kompetenz, Ausbildung und Befugnis verfügen, mit der Funktion der menschlichen Aufsicht durch Betreiber von Hochrisiko-KI-Systemen entsprechend der den Systemen beigefügten Betriebsanleitungen (Art. 26 Abs. 1 und 2 der KI-VO) 

• Angemessenheit der Aufsichtsmaßnahmen in Hinblick auf die Risiken, den Grad der Autonomie und den Kontext der Nutzung des Hochrisiko-KI-Systems (Art. 14 Abs. 3) 

• Zurverfügungstellung des Hochrisiko-KI-Systems durch den Anbieter in einer Weise, dass den natürlichen Personen des Betreibers, denen die menschliche Aufsicht übertragen wurde, angemessen und verhältnismäßig ermöglicht wird (Art. 14 Abs. 4)

Welche Maßnahmen konkret zu treffen sind, wird im Umsetzungsleitfaden erläutert (Schritt 4.1.7.).

Art. 15 KI-VO normiert zwingende Anforderungen an die Cybersicherheit, Robustheit und Genauigkeit bei Hochrisiko-KI-Systemen, die von den betroffenen Regelungsadressaten im Rahmen der KI-VO zu erfüllen sind. Die Vorschrift enthält den zentralen Pflichtenkatalog in Bezug auf die Abwehr von KI-spezifischen Sicherheitsrisiken. 

Die einzelnen Pflichten, ihre praktische Umsetzung, sowie der Bezug von Art. 15 zu anderen Hochrisiko-Anforderung der KI-VO werden im Umsetzungsleitfaden erläutert (Schritt 4.1.8.).

Gem. Art. 17 KI-VO müssen Anbieter ein Qualitätsmanagementsystem einrichten. Es soll sicherstellen, dass ihre Hochrisiko-KI-Systeme die Anforderungen der KI-VO erfüllen. Folgende Aspekte muss das Qualitätsmanagementsystem umfassen (Art. 17 Abs. 1 KI-VO): 

• Regulierungskonzept

• Entwurfsvalidierung

• Entwicklungs- und Qualitätskontrollen

• Prüf- und Validierungsverfahren

• Technische Spezifikationen und Normen

• Datenmanagementsysteme und -verfahren

• Risikomanagementsystem (Art. 9 KI-VO)

• System zur Beobachtung nach dem Inverkehrbringen (Art. 72 KI-VO) 

• Verfahren zur Meldung eines schwerwiegenden Vorfalls (Art. 73 KI-VO)

• Handhabung der Kommunikation

• Dokumentationssysteme

• Ressourcenmanagement:

• Rechenschaftsrahmen

Weitere Ausführungen zu den einzelnen Elementen des Qualitätsmanagementverfahrens finden sich im Umsetzungsleitfaden (Schritt 4.1.9.).

Art. 18 KI-VO konkretisiert die Pflicht des Anbieters zur Aufbewahrung der Dokumentation. Die Pflicht zur Dokumentierung besteht zehn Jahre lang und beginnt, nachdem das Hochrisiko-KI-System in Verkehr gebracht oder in Betrieb genommen wurde. 

Folgende Dokumente sind aufzubewahren: 

• Technische Dokumentation zum KI-System (Art. 11 KI-VO)

• Dokumentation zum Qualitätssicherungssystem (Art. 17 KI-VO)

• Die EU-Konformitätserklärung (Art. 47 KI-VO)

Folgende Dokumente sind aufzubewahren, falls vorhanden:

• Dokumentation über genehmigte Änderungen von notifizierten Stellen

• Entscheidungen und sonstige Dokumente von notifizierten Stellen

Weitere Ausführungen zur Aufbewahrung der Dokumentation finden sich im Umsetzungsleitfaden (Schritt 4.1.10.).

Art. 19 KI-VO konkretisiert die Pflicht des Anbieters, automatisch erzeugte Protokolle aufzubewahren (vgl. Art. 16 lit. e KI-VO). Anbieter von Hochrisiko-KI-Systemen müssen die automatisch erzeugten Protokolle (Art. 12 Abs. 1 KI-VO) aufbewahren. Dies ist aber nur dann der Fall, wenn die Protokolle ihrer Kontrolle unterliegen.  Die Dauer der Aufbewahrung richtet sich grundsätzlich nach den einschlägigen EU-Rechtsvorschriften (insbesondere zum Schutz personenbezogener Daten) bzw. den nationalen Gesetzen. Ansonsten besteht die Pflicht zur Aufbewahrung für mindestens sechs Monate. 

Weitere Ausführungen zur Aufbewahrung automatisch erzeugter Protokolle finden sich im Umsetzungsleitfaden (Schritt 4.1.11).

Art. 20 KI-VO konkretisiert die Pflicht des Anbieters, die erforderlichen Korrekturmaßnahmen zu ergreifen und die betroffenen Wirtschaftsakteure zu informieren (vgl. Art. 20 lit. j KI-VO). 

Wenn Anbieter von Hochrisiko-KI-Systemen denken oder den Verdacht haben, dass ihr System nicht den Vorschriften der KI-VO entspricht, müssen sie unverzüglich Maßnahmen ergreifen (Art. 20 Abs. 1 KI-VO). Das sind die Maßnahmen, die erforderlich sind, um die Konformität wieder herzustellen. Falls unmöglich, müssen sie KI-Systeme zurücknehmen, deaktivieren oder zurückrufen. Außerdem müssen sie alle Händler der Systeme informieren (sowie ggf. Betreiber, Vertreter und Importeure). Darüber hinaus müssen sie weitergehende Maßnahmen ergreifen, wenn das KI-System ein Risiko für die Gesundheit oder Sicherheit oder Grundrechte von Personen darstellt. 

Weitere Ausführungen zu Korrekturmaßnahmen und Informationspflichten finden sich im Umsetzungsleitfaden (Schritt 4.1.12).

Art. 21 KI-VO regelt näheres zur Pflicht des Anbieters, mit den zuständigen Behörden zusammenzuarbeiten (vgl. Art. 16 lit. k KI-VO).  Hiernach müssen Anbieter von Hochrisiko-KI-Systemen den Behörden auf begründete Anfrage alle Informationen und Dokumente offenlegen, die zeigen, dass ihr System den Vorschriften (Art. 8 – 15 KI-VO) entspricht.

Außerdem ist Zugang zu automatisch erzeugten Protokollen des Systems gewähren. 

Weitere Ausführungen zu Kooperationspflichten gegenüber der zuständigen Behörde finden sich im Umsetzungsleitfaden (Schritt 4.1.13).

An Hochrisiko-KI-Systeme stellt die KI-VO strenge Anforderungen – gerade, weil sie ein hohes Risiko für die Gesundheit und Sicherheit oder für die Grundrechte natürlicher Personen darstellen können. Wesentliche Verpflichtete sind primär die Anbieter von Hochrisiko-KI-Systemen, welche umfassenden Pflichten nach Art. 16 KI-VO unterliegen.  Diese Pflichten können allerdings auch für Betreiber von Hochrisiko-KI-Systemen Geltung entfalten, wenn diese als Anbieter eines Hochrisiko-KI-Systems zu klassifizieren sind. Den Anbieterpflichten unterliegen Betreiber dann, wenn

• sie ein bereits in Verkehr gebrachtes oder in Betrieb genommenes Hochrisiko-KI-System mit ihrem Namen oder ihrer Handelsmarke versehen, unbeschadet vertraglicher Vereinbarungen, die eine andere Aufteilung der Pflichten vorsehen;
• wenn sie eine wesentliche Änderung an einem Hochrisiko-KI-System, das bereits in Verkehr gebracht oder in Betrieb genommen wurde, so vornehmen, dass es weiterhin ein Hochrisiko-KI-System im Sinne von Artikel 6 bleibt;
• wenn sie die Zweckbestimmung eines KI-Systems, einschließlich eines KI-Systems mit allgemeinem Verwendungszweck, das nicht als hochriskant eingestuft wurde und bereits in Verkehr gebracht oder in Betrieb genommen

Weitere Ausführungen hierzu finden sich im Umsetzungsleitfaden (Schritt 4.2.1.).

Zusätzlich zu den Anbieterpflichten, die Wirkung auf Betreiber entfalten können, unterliegen Betreiber betreiberspezifischen Pflichten. Hiernach müssen Betreiber z. B.: 

• geeignete technische und organisatorische Maßnahmen treffen, um sicherzustellen, dass sie Hochrisiko-KI-Systeme gemäß der Gebrauchsanweisung nutzen (Art. 26 Abs. 1 KI-VO), 

• menschliche Aufsicht über das Hochrisiko-KI-System ermöglichen und dabei durch erforderliche Unterstützung sicherstellen, dass diese kompetent und ausreichend qualifiziert sind (Art. 26 Abs. 2 KI-VO),

• die Funktionsweise des Hochrisiko-KI-Systems überwachen, d. h. den Betrieb des Hochrisiko-KI-Systems anhand der Gebrauchsanweisung überwachen und falls nötig, Anbieter gem. Art. 72 KI-VO informieren (Art. 26 Abs. 5 KI-VO)

Weitere Ausführungen zu diesen und weiteren Betreiberpflichten finden sich im Umsetzungsleitfaden (Schritt 4.2.2.)

Betreiber, bei denen es sich um Einrichtungen des öffentlichen Rechts oder private Einrichtungen, die öffentliche Dienste erbringen, handelt, haben gemäß Art. 27 KI-VO außerdem eine Überprüfung im Hinblick auf Auswirkungen des Hochrisiko-KI-Systems auf Grundrechte durchzuführen, wenn es Hochrisiko-KI-Systeme gemäß Artikel 6 Absatz 2 — mit Ausnahme von Hochrisiko-KI-Systemen, die in dem in Anhang III Nummer 2 aufgeführten Bereich verwendet werden sollen.

Dies hat vor der Inbetriebnahme eines Hochrisiko-KI-Systems gemäß Art. 6 Abs. 2 KI-VO zu erfolgen. Die gleiche Verpflichtung gilt für Betreiber von Hochrisiko-KI-Systemen, die 

• bestimmungsgemäß für die Kreditwürdigkeitsprüfung und die Bonitätsbewertung natürlicher Personen verwendet werden sollen, mit Ausnahme von KI-Systemen, die zur Aufdeckung von Finanzbetrug verwendet werden (Art. 27 Abs. 1 i.V.m. Anhang III Nr. 5 lit. b KI-VO);
• bestimmungsgemäß für die Risikobewertung und Preisbildung in Bezug auf natürliche Personen im Fall von Lebens- und Krankenversicherungen verwendet werden sollen (Art. 27 Abs. 1 i.V.m. Anhang III Nr. 5 lit. c KI-VO

Wie die Grundrechte-Folgenabschätzung nach Art 27 konkret zu erfolgen hat, wird im Umsetzungsleitfaden erläutert (Schritt 4.2.3.).

Betreiber von Emotionserkennungssystemen oder Systemen zur biometrischen Kategorisierung müssen spätestens zum Zeitpunkt der Erstinteraktion oder -aussetzung in klar verständlicher Weise

• betroffene Personen über den Betrieb eines solchen Systems informieren (Art. 50 Abs. 3 KI-VO),
• bei der Verarbeitung personenbezogener Daten die Verordnung (EU) 2016/679, Verordnung (EU) 2016/1725 bzw. die Richtlinie (EU) 2016/280 einhalten (Art. 50 Abs. 3 KI-VO), 
• ausgenommen hiervon sind jedoch Emotionserkennungssysteme und Systeme zur biometrischen Kategorisierung, die zur Aufdeckung, Verhütung und Ermittlung von Straftaten zugelassen sind und im Einklang mit dem Unionsrecht verwendet werden, wenn die Rechte und Freiheiten Dritter geschützt sind (Art. 50 Abs. 3 KI-VO).

Weitere Ausführungen hierzu und zu den Pflichten, die Betreiber von Deepfakes zu erfüllen haben, finden sich im Umsetzungsleitfaden (Schritt 4.2.4.).

An Hochrisiko-KI-Systeme stellt die KI-VO strenge Anforderungen – gerade, weil sie ein hohes Risiko für die Gesundheit und Sicherheit oder für die Grundrechte natürlicher Personen darstellen können. Wesentliche Verpflichtete sind primär die Anbieter von Hochrisiko-KI-Systemen, welche umfassenden Pflichten nach Art. 16 KI-VO unterliegen.  Diese Pflichten können allerdings auch für Betreiber von Hochrisiko-KI-Systemen Geltung entfalten, wenn diese als Anbieter eines Hochrisiko-KI-Systems zu klassifizieren sind. Den Anbieterpflichten unterliegen Betreiber dann, wenn

• sie ein bereits in Verkehr gebrachtes oder in Betrieb genommenes Hochrisiko-KI-System mit ihrem Namen oder ihrer Handelsmarke versehen, unbeschadet vertraglicher Vereinbarungen, die eine andere Aufteilung der Pflichten vorsehen;
• wenn sie eine wesentliche Änderung an einem Hochrisiko-KI-System, das bereits in Verkehr gebracht oder in Betrieb genommen wurde, so vornehmen, dass es weiterhin ein Hochrisiko-KI-System im Sinne von Artikel 6 bleibt;
• wenn sie die Zweckbestimmung eines KI-Systems, einschließlich eines KI-Systems mit allgemeinem Verwendungszweck, das nicht als hochriskant eingestuft wurde und bereits in Verkehr gebracht oder in Betrieb genommen

Weitere Ausführungen hierzu finden sich im Umsetzungsleitfaden (Schritt 4.2.1.).

Zusätzlich zu den Anbieterpflichten, die Wirkung auf Betreiber entfalten können, unterliegen Betreiber betreiberspezifischen Pflichten. Hiernach müssen Betreiber z. B.: 

• geeignete technische und organisatorische Maßnahmen treffen, um sicherzustellen, dass sie Hochrisiko-KI-Systeme gemäß der Gebrauchsanweisung nutzen (Art. 26 Abs. 1 KI-VO), 

• menschliche Aufsicht über das Hochrisiko-KI-System ermöglichen und dabei durch erforderliche Unterstützung sicherstellen, dass diese kompetent und ausreichend qualifiziert sind (Art. 26 Abs. 2 KI-VO),

• die Funktionsweise des Hochrisiko-KI-Systems überwachen, d. h. den Betrieb des Hochrisiko-KI-Systems anhand der Gebrauchsanweisung überwachen und falls nötig, Anbieter gem. Art. 72 KI-VO informieren (Art. 26 Abs. 5 KI-VO)

Weitere Ausführungen zu diesen und weiteren Betreiberpflichten finden sich im Umsetzungsleitfaden (Schritt 4.2.2).

Betreiber, bei denen es sich um Einrichtungen des öffentlichen Rechts oder private Einrichtungen, die öffentliche Dienste erbringen, handelt, haben gemäß Art. 27 KI-VO außerdem eine Überprüfung im Hinblick auf Auswirkungen des Hochrisiko-KI-Systems auf Grundrechte durchzuführen, wenn es Hochrisiko-KI-Systeme gemäß Artikel 6 Absatz 2 — mit Ausnahme von Hochrisiko-KI-Systemen, die in dem in Anhang III Nummer 2 aufgeführten Bereich verwendet werden sollen.

Dies hat vor der Inbetriebnahme eines Hochrisiko-KI-Systems gemäß Art. 6 Abs. 2 KI-VO zu erfolgen. Die gleiche Verpflichtung gilt für Betreiber von Hochrisiko-KI-Systemen, die 

• bestimmungsgemäß für die Kreditwürdigkeitsprüfung und die Bonitätsbewertung natürlicher Personen verwendet werden sollen, mit Ausnahme von KI-Systemen, die zur Aufdeckung von Finanzbetrug verwendet werden (Art. 27 Abs. 1 i.V.m. Anhang III Nr. 5 lit. b KI-VO);
• bestimmungsgemäß für die Risikobewertung und Preisbildung in Bezug auf natürliche Personen im Fall von Lebens- und Krankenversicherungen verwendet werden sollen (Art. 27 Abs. 1 i.V.m. Anhang III Nr. 5 lit. c KI-VO

Wie die Grundrechte-Folgenabschätzung nach Art 27 konkret zu erfolgen hat, wird im Umsetzungsleitfaden erläutert (Schritt 4.2.3.).

Betreiber von Emotionserkennungssystemen oder Systemen zur biometrischen Kategorisierung müssen spätestens zum Zeitpunkt der Erstinteraktion oder -aussetzung in klar verständlicher Weise

• betroffene Personen über den Betrieb eines solchen Systems informieren (Art. 50 Abs. 3 KI-VO),
• bei der Verarbeitung personenbezogener Daten die Verordnung (EU) 2016/679, Verordnung (EU) 2016/1725 bzw. die Richtlinie (EU) 2016/280 einhalten (Art. 50 Abs. 3 KI-VO), 
• ausgenommen hiervon sind jedoch Emotionserkennungssysteme und Systeme zur biometrischen Kategorisierung, die zur Aufdeckung, Verhütung und Ermittlung von Straftaten zugelassen sind und im Einklang mit dem Unionsrecht verwendet werden, wenn die Rechte und Freiheiten Dritter geschützt sind (Art. 50 Abs. 3 KI-VO).

Weitere Ausführungen hierzu und zu den Pflichten, die Betreiber von Deepfakes zu erfüllen haben, finden sich im Umsetzungsleitfaden (Schritt 4.2.4.).

Art. 4 KI-VO sieht vor, dass im Hinblick auf alle KI-Systeme eine hinreichende KI-Kompetenz aufzubauen ist.

„Die Anbieter und Betreiber von KI-Systemen ergreifen Maßnahmen, um nach besten Kräften sicherzustellen, dass ihr Personal und andere Personen, die in ihrem Auftrag mit dem Betrieb und der Nutzung von KI-Systemen befasst sind, über ein ausreichendes Maß an KI-Kompetenz verfügen, wobei ihre technischen Kenntnisse, ihre Erfahrung, ihre Ausbildung und Schulung und der Kontext, in dem die KI-Systeme eingesetzt werden sollen, sowie die Personen oder Personengruppen, bei denen die KI-Systeme eingesetzt werden sollen, zu berücksichtigen sind."

KI-Kompetenz ist in Art. 3 lit. 56 KI-VO legaldefiniert als

„die Fähigkeiten, die Kenntnisse und das Verständnis, die es Anbietern, Betreibern und Betroffenen unter Berücksichtigung ihrer jeweiligen Rechte und Pflichten im Rahmen dieser Verordnung ermöglichen, KI-Systeme sachkundig einzusetzen sowie sich der Chancen und Risiken von KI und möglicher Schäden, die sie verursachen kann, bewusst zu werden."

Weitere Ausführungen hierzu finden sich im Umsetzungsleitfaden (Schritt 5.1.).

Art. 50 Abs. 1 KI-VO bezieht sich spezifisch auf KI-Systeme, die für die direkte Interaktion mit Menschen vorgesehen sind. Daher sind KI-Systeme, die nicht für eine direkte Interaktion mit natürlichen Personen bestimmt sind, von dieser Regelung nicht erfasst.

„Die Anbieter stellen sicher, dass KI-Systeme, die für die direkte Interaktion mit natürlichen Personen bestimmt sind, so konzipiert und entwickelt werden, dass die betreffenden natürlichen Personen informiert werden, dass sie mit einem KI-System interagieren, es sei denn, dies ist aus Sicht einer angemessen informierten, aufmerksamen und verständigen natürlichen Person aufgrund der Umstände und des Kontexts der Nutzung offensichtlich. Diese Pflicht gilt nicht für gesetzlich zur Aufdeckung, Verhütung, Ermittlung oder Verfolgung von Straftaten zugelassene KI-Systeme, wenn geeignete Schutzvorkehrungen für die Rechte und Freiheiten Dritter bestehen, es sei denn, diese Systeme stehen der Öffentlichkeit zur Anzeige einer Straftat zur Verfügung."

Weitere Erläuterungen zu den Pflichten, Beispielfälle und Hinweise zur praktischen Umsetzung finden sich im Umsetzungsleitfaden (Schritt 5.2.1.).

Art. 50 Abs. 2 KI-VO bezieht sich ausschließlich auf KI-Systeme, die synthetische Audio-, Text-, Bild- und Videoinhalte erzeugen: 

„(2) Anbieter von KI-Systemen, einschließlich KI-Systemen mit allgemeinem Verwendungszweck, die synthetische Audio-, Bild-, Video- oder Textinhalte erzeugen, stellen sicher, dass die Ausgaben des KI-Systems in einem maschinenlesbaren Format gekennzeichnet und als künstlich erzeugt oder manipuliert erkennbar sind. Die Anbieter sorgen dafür, dass — soweit technisch möglich — ihre technischen Lösungen wirksam, interoperabel, belastbar und zuverlässig sind und berücksichtigen dabei die Besonderheiten und Beschränkungen der verschiedenen Arten von Inhalten, die Umsetzungskosten und den allgemein anerkannten Stand der Technik, wie er in den einschlägigen technischen Normen zum Ausdruck kommen kann. Diese Pflicht gilt nicht, soweit die KI-Systeme eine unterstützende Funktion für die Standardbearbeitung ausführen oder die vom Betreiber bereitgestellten Eingabedaten oder deren Semantik nicht wesentlich verändern oder wenn sie zur Aufdeckung, Verhütung, Ermittlung oder Verfolgung von Straftaten gesetzlich zugelassen sind."

Weitere Erläuterungen zu den Pflichten, Beispielfälle und Hinweise zur praktischen Umsetzung finden sich im Umsetzungsleitfaden (Schritt 5.2.2.).

Art. 4 KI-VO sieht vor, dass im Hinblick auf alle KI-Systeme eine hinreichende KI-Kompetenz aufzubauen ist.

„Die Anbieter und Betreiber von KI-Systemen ergreifen Maßnahmen, um nach besten Kräften sicherzustellen, dass ihr Personal und andere Personen, die in ihrem Auftrag mit dem Betrieb und der Nutzung von KI-Systemen befasst sind, über ein ausreichendes Maß an KI-Kompetenz verfügen, wobei ihre technischen Kenntnisse, ihre Erfahrung, ihre Ausbildung und Schulung und der Kontext, in dem die KI-Systeme eingesetzt werden sollen, sowie die Personen oder Personengruppen, bei denen die KI-Systeme eingesetzt werden sollen, zu berücksichtigen sind."

KI-Kompetenz ist in Art. 3 lit. 56 KI-VO legaldefiniert als

„die Fähigkeiten, die Kenntnisse und das Verständnis, die es Anbietern, Betreibern und Betroffenen unter Berücksichtigung ihrer jeweiligen Rechte und Pflichten im Rahmen dieser Verordnung ermöglichen, KI-Systeme sachkundig einzusetzen sowie sich der Chancen und Risiken von KI und möglicher Schäden, die sie verursachen kann, bewusst zu werden."

Weitere Ausführungen hierzu finden sich im Umsetzungsleitfaden (Schritt 5.1.).

Art. 50 Abs. 1 KI-VO bezieht sich spezifisch auf KI-Systeme, die für die direkte Interaktion mit Menschen vorgesehen sind. Daher sind KI-Systeme, die nicht für eine direkte Interaktion mit natürlichen Personen bestimmt sind, von dieser Regelung nicht erfasst.

„Die Anbieter stellen sicher, dass KI-Systeme, die für die direkte Interaktion mit natürlichen Personen bestimmt sind, so konzipiert und entwickelt werden, dass die betreffenden natürlichen Personen informiert werden, dass sie mit einem KI-System interagieren, es sei denn, dies ist aus Sicht einer angemessen informierten, aufmerksamen und verständigen natürlichen Person aufgrund der Umstände und des Kontexts der Nutzung offensichtlich. Diese Pflicht gilt nicht für gesetzlich zur Aufdeckung, Verhütung, Ermittlung oder Verfolgung von Straftaten zugelassene KI-Systeme, wenn geeignete Schutzvorkehrungen für die Rechte und Freiheiten Dritter bestehen, es sei denn, diese Systeme stehen der Öffentlichkeit zur Anzeige einer Straftat zur Verfügung."

Weitere Erläuterungen zu den Pflichten, Beispielfälle und Hinweise zur praktischen Umsetzung finden sich im Umsetzungsleitfaden (Schritt 5.2.1.).

Art. 50 Abs. 2 KI-VO bezieht sich ausschließlich auf KI-Systeme, die synthetische Audio-, Text-, Bild- und Videoinhalte erzeugen: 

„(2) Anbieter von KI-Systemen, einschließlich KI-Systemen mit allgemeinem Verwendungszweck, die synthetische Audio-, Bild-, Video- oder Textinhalte erzeugen, stellen sicher, dass die Ausgaben des KI-Systems in einem maschinenlesbaren Format gekennzeichnet und als künstlich erzeugt oder manipuliert erkennbar sind. Die Anbieter sorgen dafür, dass — soweit technisch möglich — ihre technischen Lösungen wirksam, interoperabel, belastbar und zuverlässig sind und berücksichtigen dabei die Besonderheiten und Beschränkungen der verschiedenen Arten von Inhalten, die Umsetzungskosten und den allgemein anerkannten Stand der Technik, wie er in den einschlägigen technischen Normen zum Ausdruck kommen kann. Diese Pflicht gilt nicht, soweit die KI-Systeme eine unterstützende Funktion für die Standardbearbeitung ausführen oder die vom Betreiber bereitgestellten Eingabedaten oder deren Semantik nicht wesentlich verändern oder wenn sie zur Aufdeckung, Verhütung, Ermittlung oder Verfolgung von Straftaten gesetzlich zugelassen sind."

Weitere Erläuterungen zu den Pflichten, Beispielfälle und Hinweise zur praktischen Umsetzung finden sich im Umsetzungsleitfaden (Schritt 5.2.2.).

Art. 50 Abs. 3 KI-VO enthält eine besondere Informationspflicht für Betreiber von Emotionserkennungssystemen (Alt. 1) und Systemen zur biometrischen Kategorisierung (Alt. 2).

„(3) Die Betreiber eines Emotionserkennungssystems oder eines Systems zur biometrischen Kategorisierung informieren die davon betroffenen natürlichen Personen über den Betrieb des Systems und verarbeiten personenbezogene Daten gemäß den Verordnungen (EU) 2016/679 und (EU) 2018/1725 und der Richtlinie (EU) 2016/680. Diese Pflicht gilt nicht für gesetzlich zur Aufdeckung, Verhütung oder Ermittlung von Straftaten zugelassene KI-Systeme, die zur biometrischen Kategorisierung und Emotionserkennung im Einklang mit dem Unionsrecht verwendet werden, sofern geeignete Schutzvorkehrungen für die Rechte und Freiheiten Dritter bestehen."

Weitere Erläuterungen zu den Pflichten, Beispielfälle und Hinweise zur praktischen Umsetzung finden sich im Umsetzungsleitfaden (Schritt 5.2.3.).

Der Regelungsumfang von Art. 50 Abs. 4 KI-VO bezieht sich spezifisch auf KI-Systeme, die Bild-, Ton-, oder Videoinhalte erzeugen oder manipulieren, die ein Deepfake sind (Abs. 4 UAbs. 1) bzw. auf KI-Systeme, die Text erzeugen oder manipulieren, der veröffentlicht wird, um die Öffentlichkeit über Angelegenheiten von öffentlichem Interesse zu informieren (Abs. 4 UAbs. 2).

„(4) Betreiber eines KI-Systems, das Bild-, Ton- oder Videoinhalte erzeugt oder manipuliert, die ein Deepfake sind, müssen offenlegen, dass die Inhalte künstlich erzeugt oder manipuliert wurden. Diese Pflicht gilt nicht, wenn die Verwendung zur Aufdeckung, Verhütung, Ermittlung oder Verfolgung von Straftaten gesetzlich zugelassen ist. Ist der Inhalt Teil eines offensichtlich künstlerischen, kreativen, satirischen, fiktionalen oder analogen Werks oder Programms, so beschränken sich die in diesem Absatz festgelegten Transparenzpflichten darauf, das Vorhandensein solcher erzeugten oder manipulierten Inhalte in geeigneter Weise offenzulegen, die die Darstellung oder den Genuss des Werks nicht beeinträchtigt."

Weitere Erläuterungen zu den Pflichten, Beispielfälle und Hinweise zur praktischen Umsetzung finden sich im Umsetzungsleitfaden (Schritt 5.2.5.).

Auf ein hinreichend begründetes Ersuchen hin kann eine Marktüberwachungsbehörde das Inverkehrbringen oder die Inbetriebnahme bestimmter Hochrisiko-KI-Systeme aus außergewöhnlichen Gründen der öffentlichen Sicherheit, des Schutzes des Lebens und der Gesundheit von Personen, des Umweltschutzes oder des Schutzes wichtiger Industrie- und Infrastrukturanlagen genehmigen. Diese Genehmigung wird auf die Dauer der erforderlichen Konformitätsbewertungsverfahren befristet, wobei den außergewöhnlichen Gründen für die Ausnahme Rechnung getragen wird. 

Weitere Informationen zur Genehmigung finden sich im Umsetzungsleitfaden (Schritt 6.2).

Konformitätserklärung ausstellen

Die Artikel 47 bis 37 KI-VO regeln, was nach dem Konformitätsbewertungsverfahren zu tun ist.

(4) Mit der Ausstellung der EU-Konformitätserklärung übernimmt der Anbieter die Verantwortung für die Erfüllung der in Abschnitt 2 festgelegten Anforderungen. Der Anbieter hält die EU-Konformitätserklärung gegebenenfalls auf dem neuesten Stand. 

(5) Der Kommission ist befugt, gemäß Artikel 97 delegierte Rechtsakte zur Aktualisierung des in Anhang V festgelegten Inhalts der EU-Konformitätserklärung zu erlassen, um den genannten Anhang durch die Einführung von Elementen zu ändern, die angesichts des technischen Fortschritts erforderlich werden.

Weitere Ausführungen hierzu finden sich im Umsetzungsleitfaden (Schritt 6.3.). 

Registrierung in der Datenbank 

Vor dem Inverkehrbringen oder der Inbetriebnahme eines in Anhang III aufgeführten Hochrisiko-KI-Systeme – mit Ausnahme von Hochrisiko-KI-Systeme der Kritischen Infrastruktur (d. h. KI-Systeme, die bestimmungsgemäß als Sicherheitsbauteile im Rahmen der Verwaltung und des Betriebs kritischer digitaler Infrastruktur, des Straßenverkehrs oder der Wasser-, Gas-, Wärme- oder Stromversorgung verwendet werden sollen) – registriert der Anbieter oder gegebenenfalls sein Bevollmächtigter sich und sein System in einer von der Kommission betriebenen EU-Datenbank (Art. 16 lit. i i.V.m. Art. 49 KI-VO). Die Datenbank ist noch im Aufbau begriffen und wird wahrscheinlich über den Internetauftritt der Kommission erreichbar sein. 

Weitere Ausführungen hierzu finden sich im Umsetzungsleitfaden (Schritt 6.3.). 

Anbringung eines CE-Kennzeichens 

Hochrisiko-KI-Systeme müssen grundsätzlich mit der CE-Kennzeichnung versehen sein, aus der ihre Konformität mit der KI-Verordnung hervorgeht (Art. 48 KI-VO).

Weitere Ausführungen hierzu finden sich im Umsetzungsleitfaden (Schritt 6.3.).

Art. 43 Abs. 4 KI-VO regelt, was bei wesentlichen Änderungen zu tun ist. Hochrisiko-KI-Systeme, die bereits Gegenstand eines Konformitätsbewertungsverfahren gewesen sind, müssen im Falle einer wesentlichen Änderung einem neuen Konformitätsbewertungsverfahren unterzogen werden. Bei der Frage, welches Konformitätsverfahren zu wählen ist, gilt das oben Gesagte entsprechend.  Wann eine wesentliche Änderung vorliegt, wird im Umsetzungsleitfaden erläutert (Schritt 6.4.).