Zukunft- Daten - Vernetzen - Datenpolitik - Informationen

Umsetzungsleitfaden zur KI-Verordnung

Compliance in der Praxis – Schritt für Schritt

Jetzt mit dem Tool starten

1. Anwendbarkeit der KI-VO

1.1. Handelt es sich um ein KI-System i.S.d KI-VO?

Die KI-VO führt erstmals eine Definition von KI ein. Dabei definiert das Gesetz nur den Begriff „KI-System“ ausdrücklich. Nach Art. 3 Nr. 1 KI-VO ist ein KI-System:

ein maschinengestütztes System, das für einen in unterschiedlichem Grade autonomen Betrieb ausgelegt ist und das nach seiner Betriebsaufnahme anpassungsfähig sein kann und das aus den erhaltenen Eingaben für explizite oder implizite Ziele ableitet, z.B. Ausgaben wie etwa Vorhersagen, Inhalte, Empfehlungen oder Entscheidungen erstellt werden, die physische oder virtuelle Umgebungen beeinflussen können“.

Die Erwägungsgründe 4 und 12 konkretisieren die gesetzliche Definition und einige ihrer Merkmale.

Erläuterungen zu den einzelnen Tatbestandsmerkmalen und Ausnahmen sowie Beispiellisten und Grenzfälle finden sich im Umsetzungsleitfaden (Schritt 1.1).

Wenn es sich nicht um ein KI-System handelt, ist die Prüfung hier beendet. Die KI-VO findet keine Anwendung. 

1.2. Abgrenzungsfragen KI-System und KI-Modell mit allgemeinem Verwendungszweck

Für die Abgrenzung eines KI-Systems von einem KI-Modell mit allgemeinem Verwendungszweck sind Art. 3 Nr. 63, Art. 3 Nr. 66 und die Erwägungsgründe 97 und 99 maßgeblich. 

Definition des GPAI-Models in Art. 3 Nr. 63 der KI-VO:

„KI-Modell mit allgemeinem Verwendungszweck“ ein KI-Modell — einschließlich der Fälle, in denen ein solches KI-Modell mit einer großen Datenmenge unter umfassender Selbstüberwachung trainiert wird —, das eine erhebliche allgemeine Verwendbarkeit aufweist und in der Lage ist, unabhängig von der Art und Weise seines Inverkehrbringens ein breites Spektrum unterschiedlicher Aufgaben kompetent zu erfüllen, und das in eine Vielzahl nachgelagerter Systeme oder Anwendungen integriert werden kann, ausgenommen KI-Modelle, die vor ihrem Inverkehrbringen für Forschungs- und Entwicklungstätigkeiten oder die Konzipierung von Prototypen eingesetzt werden;

Definition des GPAI-Systems in Art. 3 Nr. 66 der KI-VO:

„KI-System mit allgemeinem Verwendungszweck“ ein KI-System, das auf einem KI-Modell mit allgemeinem Verwendungszweck beruht und in der Lage ist, einer Vielzahl von Zwecken sowohl für die direkte Verwendung als auch für die Integration in andere KI-Systeme zu dienen“.

Auch wenn der Begriff des Modells in der KI-Verordnung selbst nicht definiert wird, kann man sich die nachfolgenden, vereinfachten Grundsätze merken: Bei einem KI-System handelt es sich um die funktionsfähige und regelmäßig mit einer Benutzeroberfläche ausgestattete KI-Anwendung, während das KI-Modell das dahinterstehende (technische) Herzstück darstellt. Letzteres meint – am Beispiel eines Künstlichen Neuronalen Netzes (KNN) – bspw. die Architektur und Anzahl der Neuronen und Schichten sowie die dahinterstehenden Algorithmen und Gewichtungen. 

Weitere Erläuterungen zu Abgrenzung sowie ein Use Case zur Problemverdeutlichung finden sich im Umsetzungsleitfaden (Schritt 1.2).

Wenn es sich um ein KI-Modell handelt, finden die Art 53 ff. KI-VO Anwendung. Diese werden im Umsetzungsleitfaden in Schritt 5.2.5 ff. erläutert. 

1.3. Bin ich Regulierungsadressat?

Als Nächstes ist zu prüfen, ob sich die KI-VO mit ihren rechtlichen Vorgaben an Sie richtet. Die Regelungen der KI-VO gelten nämlich nur für die in der Verordnung vorgesehenen Adressaten. Falls die Prüfung ergibt, dass Sie nicht in den Adressatenkreis fallen, kann die Prüfung schon an diesem Punkt abgebrochen werden.

Art. 2 Abs. 1 KI-VO regelt, wer Adressat der Verordnung und ihren Regelungen somit unterworfen ist. Dies sind:

a) Anbieter, die in der Union KI-Systeme in Verkehr bringen oder in Betrieb nehmen oder KI-Modelle mit allgemeinem Verwendungszweck in Verkehr bringen, unabhängig davon, ob diese Anbieter in der Union oder in einem Drittland niedergelassen sind;

b) Betreiber von KI-Systemen, die ihren Sitz in der Union haben oder sich in der Union befinden;

c) Anbieter und Betreiber von KI-Systemen, die ihren Sitz in einem Drittland haben oder sich in einem Drittland befinden, wenn das vom System hervorgebrachte Ergebnis in der Union verwendet wird;

d) Einführer und Händler von KI-Systemen;

e) Produkthersteller, die KI-Systeme zusammen mit ihrem Produkt unter ihrem eigenen Namen oder ihrer Handelsmarke in Verkehr bringen oder in Betrieb nehmen;

f) Bevollmächtigte von Anbietern, die nicht in der Union niedergelassen sind;

g) betroffene Personen, die sich in der Union befinden.

1.3.1. Bin ich Anbieter?

Der Anbieter wird in Art. 3 Nr. 3 KI-VO definiert als eine natürliche oder juristische Person, Behörde, Einrichtung oder sonstige Stelle, die ein KI-System oder ein KI-Modell mit allgemeinem Verwendungszweck entwickelt oder entwickeln lässt und dieses unter ihrem eigenen Namen oder ihrer Handelsmarke in Verkehr bringt oder das KI-System unter ihrem eigenen Namen oder ihrer Handelsmarke in Betrieb nimmt, sei es entgeltlich oder unentgeltlich. 

Die Erwägungsgründe 21, 22, 82, 84, 97 konkretisieren die gesetzliche Definition und einige ihrer Merkmale.

Weitere Ausführungen zum Anbieterbegriff sowie ein Praxisbeispiel finden sich im Umsetzungsleitfaden (Schritt 1.3.1.).

1.3.2. Bin ich Betreiber?

Der Betreiber wird in Art. 3 Nr. 4 KI-VO als natürliche oder juristische Person, Behörde, Einrichtung oder sonstige Stelle definiert, die ein KI-System in eigener Verantwortung verwendet. 

Eine relevante Ausnahme gilt für Verwendungen von KI-Systemen im Rahmen einer persönlichen und nicht beruflichen Tätigkeit. Diese fallen nicht unter den Begriff des Betreibers und lösen daher keine Betreiberpflichten aus, Art. 3 Nr. 4, ErwG 13 KI-VO. Für derartige Verwendungen durch natürliche Personen gilt die KI-VO per se nicht, Art. 2 Abs. 10 KI-VO.

Die KI-VO gilt auch für Betreiber, die ihren Sitz nicht in der Union haben oder sich in der Union befinden, sofern die von dem KI-System hervorgebrachte Ausgabe (der Output) in der Union verwendet wird, Art. 2 Abs. 1 lit. c KI-VO.

Die Erwägungsgründe 13 und 93 konkretisieren die gesetzliche Definition und einige ihrer Merkmale. Wichtig zu beachten ist, dass der Betreiber jederzeit zum Anbieter werden kann.

Weitere Ausführungen zum Betreiberbegriff finden sich im Umsetzungsleitfaden (Schritt 1.3.2.).

1.3.3. Bin ich Einführer?

Der Einführer wird in Art. 3 Nr. 6 KI-VO als eine in der Union ansässige oder niedergelassene natürliche oder juristische Person definiert, die ein KI-System in Verkehr bringt, das den Namen oder die Handelsmarke einer in einem Drittland niedergelassenen natürlichen oder juristischen Person trägt. Das Inverkehrbringen ist wiederum gem. Art. 3 Abs. 9, Abs. 10 KI-VO als die erstmalige Bereitstellung des KI-Systems auf dem Unionsmarkt zu verstehen, also die entgeltliche oder unentgeltliche Abgabe des Systems zum Vertrieb oder zur Verwendung auf dem Unionsmarkt im Rahmen einer Geschäftstätigkeit.

Der Erwägungsgrund 83 konkretisiert die gesetzliche Definition und einige ihrer Merkmale. Wichtig zu beachten ist, dass der Einführer jederzeit zum Anbieter werden kann. 

Weitere Ausführungen zum Einführerbegriff finden sich im Umsetzungsleitfaden (Schritt 1.3.3.).

1.3.4. Bin ich Händler?

Der Händler wird in Art. 3 Nr. 7 KI-VO als eine natürliche oder juristische Person in der Lieferkette definiert, die ein KI-System auf dem Unionsmarkt bereitstellt, mit Ausnahme des Anbieters oder des Einführers. Unter einer solchen Bereitstellung auf dem Markt ist wiederum gem. Art. 3 Nr. 10 KI-VO die entgeltliche oder unentgeltliche Abgabe des KI-Systems zum Vertrieb oder zur Verwendung auf dem Unionsmarkt im Rahmen einer Geschäftstätigkeit zu verstehen.

Der Erwägungsgrund 83 konkretisiert die gesetzliche Definition und einige ihrer Merkmale. Wichtig zu beachten ist, dass der Händler jederzeit zum Anbieter werden kann. 

Weitere Ausführungen zum Händlerbegriff finden sich im Umsetzungsleitfaden (Schritt 1.3.4.).

1.3.5. Bin ich Produkthersteller?

Der Produkthersteller wird von der KI-VO neben Anbietern, Betreibern, Bevollmächtigten, Einführern und Händlern als möglicher „Akteur“ genannt, Art. 3 Nr. 8 KI-VO. Gemäß Art. 2 Abs. 1 lit. e KI-VO ist Produkthersteller, wer KI-Systeme zusammen mit seinem Produkt unter seinem eigenen Namen oder seiner Handelsmarke in Verkehr bringt oder in Betrieb nimmt.

Der Erwägungsgrund 87 konkretisiert die gesetzliche Definition und einige ihrer Merkmale. Wichtig zu beachten ist, dass der Produkthersteller jederzeit zum Anbieter werden kann. 
Weitere Ausführungen zum Herstellerbegriff finden sich im Umsetzungsleitfaden (Schritt 1.3.5.).

Als Produkthersteller treffen Sie nach der KI-VO keine speziellen Pflichten. Beachten Sie jedoch, dass sie jederzeit zum Anbieter i.S.d. KI-VO werden können. (s. Ausführungen im Leitfaden, 1.3.5) 

1.3.6. Bin ich Bevollmächtigter des Anbieters?

Die KI-VO gilt außerdem für Bevollmächtigte von Anbietern, die nicht in der Union niedergelassen sind, Art. 2 Abs. 1 lit. f KI-VO. Als Bevollmächtigter definiert Art. 3 Nr. 5 KI-VO eine in der Union ansässige oder niedergelassene natürliche oder juristische Person, die vom Anbieter eines KI-Systems oder eines KI-Modells mit allgemeinem Verwendungszweck schriftlich dazu bevollmächtigt wurde und sich damit einverstanden erklärt hat, in seinem Namen die in dieser Verordnung festgelegten Pflichten zu erfüllen bzw. Verfahren durchzuführen. 

Der Erwägungsgrund 82 konkretisiert die gesetzliche Definition und einige ihrer Merkmale. 
Weitere Ausführungen zum Begriff des Bevollmächtigten finden sich im Umsetzungsleitfaden (Schritt 1.3.6.).

Die Prüfung kann beendet werden, da sich aus der KI-VO keine weiteren speziellen Pflichten für den Bevollmächtigten ergeben.

Wenn Sie keiner der zuvor genannten Regulierungsadressaten sind, ist die Prüfung beendet, da die KI-Verordnung in diesem Fall nicht greift. 

1.4. Ist der räumliche Anwendungsbereich eröffnet?

Art. 2 Abs. 1 KI-VO regelt neben dem persönlichen Anwendungsbereich auch den räumlichen Anwendungsbereich, also wo die Verordnung Anwendung findet:

a) Anbieter, die in der Union KI-Systeme in Verkehr bringen oder in Betrieb nehmen oder KI-Modelle mit allgemeinem Verwendungszweck in Verkehr bringen, unabhängig davon, ob diese Anbieter in der Union oder in einem Drittland niedergelassen sind;

b) Betreiber von KI-Systemen, die ihren Sitz in der Union haben oder sich in der Union befinden;

c) Anbieter und Betreiber von KI-Systemen, die ihren Sitz in einem Drittland haben oder sich in einem Drittland befinden, wenn das vom System hervorgebrachte Ergebnis in der Union verwendet wird;

d) Einführer und Händler von KI-Systemen;

e) Produkthersteller, die KI-Systeme zusammen mit ihrem Produkt unter ihrem eigenen Namen oder ihrer Handelsmarke in Verkehr bringen oder in Betrieb nehmen;

f) Bevollmächtigte von Anbietern, die nicht in der Union niedergelassen sind;

g) betroffene Personen, die sich in der Union befinden.

Die ErwG 21 und 22 konkretisieren die Vorgaben in Art. 2 Abs. 1 KI-VO. Weitere Ausführungen zum räumlichen Anwendungsbereich finden sich im Umsetzungsleitfaden (Schritt 1.4.).

Ist der räumliche Anwendungsbereich der KI-VO nicht eröffnet, kann die Prüfung hier beendet werden. Das in Rede stehende KI-System fällt dann nicht unter die Vorgaben KI-VO.

2. Risikoklassifizierung

Nachdem festgestellt worden ist, dass es sich um ein KI-System i.S.d. KI-VO handelt und sowohl der persönliche als auch der räumliche Anwendungsbereich eröffnet sind, ist im nächsten Schritt zu prüfen, welcher Risikoklasse das KI-System zuzuordnen ist.

Da die KI-VO einen risikobasierten Regulierungsansatz verfolgt, richten sich die rechtlichen Anforderungen nach dem Risiko, das durch das konkrete KI-System hervorgerufen wird. Hierbei ist zwischen unannehmbarem Risiko (Verbote), hohem Risiko (strenge Anforderungen), geringem Risiko (weniger strenge Anforderungen) und minimalem Risiko (gar keine Anforderungen) zu unterscheiden. 

2.1. Ist einer der Verbotstatbestände aus Art. 5 einschlägig?

Verboten sind gem. Art. 5 Abs. 1 KI-VO eine Reihe von Praktiken. Hierunter fallen: 

  • Absichtlich manipulative und täuschende Techniken
  • Ausnutzung vulnerabler Personen oder Gruppen 
  • Einstufung von Personen aufgrund ihres Sozialverhaltens 
  • Risikobewertung aufgrund von Profiling in Bezug auf Straffälligkeit
  • Erstellung von Datenbanken durch ungezieltes Auslesen von Gesichtsbildern 
  • Ableitung von Emotionen am Arbeitsplatz und in Bildungseinrichtungen
  • Biometrischen Kategorisierung natürlicher Personen
  • biometrische Echtzeit-Fernidentifizierungssysteme

Im Umsetzungsleitfaden werden die Verbotstatbestände einzeln dargestellt und unter Einbeziehung der relevanten Erwägungsgründen erläutert. Außerdem werden Grenzfälle und Beispiele verbotener Praktiken skizziert  (Schritt 2.1.).

2.2. Ist das System hochriskant nach Art. 6 Abs. 1 i.V.m. Anhang I?

Art. 6 KI-VO regelt die Risikoklassifizierung von KI-Systemen. Diese Klassifizierung hat durch den Anbieter zu erfolgen. Gem. Art. 6 Abs. 1 KI-VO gilt ein KI-System als hochriskant, wenn folgende Voraussetzungen kumulativ erfüllt sind:

a) das KI-System soll als Sicherheitsbauteil eines unter den in Anhang I aufgeführten Harmonisierungsrechtsvorschriften der Union fallenden Produkts verwendet werden oder das KI-System ist selbst ein solches Produkt;

b) das Produkt, dessen Sicherheitsbauteil gemäß Buchstabe a das KI-System ist, oder das KI-System selbst als Produkt muss einer Konformitätsbewertung durch Dritte im Hinblick auf das Inverkehrbringen oder die Inbetriebnahme dieses Produkts gemäß den in Anhang I aufgeführten Harmonisierungsrechtsvorschriften der Union unterzogen werden.

Die Erwägungsgründe 46, 47, 48 und 49 konkretisieren die Regeln zur Risikoklassifizierung. Im Umsetzungsleitfaden wird die Risikoklassifizierung nach Art. 6 Abs. 1 i. V. m. Anhang I näher erläutert (Schritt 2.2.).

Einführer von Hochrisiko-KI-Systemen müssen die Pflichten nach Art. 23 KI-VO erfüllen. Weitere Erläuterungen finden sich im Umsetzungsleitfaden (Schritt 1.3.3).

Händler von Hochrisiko-KI-Systemen müssen die Pflichten nach Art. 24 KI-VO erfüllen. Weitere Erläuterungen finden sich im Umsetzungsleitfaden (Schritt 1.3.4).

Als Produkthersteller treffen Sie nach der KI-VO keine speziellen Pflichten. (s. Ausführungen im Leitfaden, 1.3.5)

2.3. Ist das System hochriskant nach Art. 6 Abs. 2 i.V.m. Anhang III?

Art. 6 Abs. 2 KI-VO regelt die zweite Alternative, nach der KI-Systeme als hochriskant einzustufen sind:

2) Zusätzlich zu den in Absatz 1 genannten Hochrisiko-KI-Systemen gelten die in Anhang III genannten KI-Systeme als hochriskant.

In Anhang III werden Bereiche aufgezählt, die der Gesetzgeber potenziell für besonders kritisch hält. Hierunter fallen: 

  • Biometrik 
  • Kritische Infrastruktur 
  • Allgemeine berufliche Bildung 
  • Beschäftigung, Personalmanagement und Zugang zur Selbstständigkeit
  • Zugänglichkeit und Inanspruchnahme grundlegender privater und grundlegender öffentlicher Dienste und Leistungen
  • Strafverfolgung
  • Migration, Asyl und Grenzkontrolle
  • Rechtspflege und demokratische Prozesse

Die Erwägungsgründe 46, 47 und 48 und konkretisieren die Regeln zur Risikoklassifizierung. Im Umsetzungsleitfaden wird die Risikoklassifizierung nach Art. 6 Abs. 2 i. V. m. Anhang III näher erläutert (Schritt 2.3.).

Einführer von KI-Systemen mit geringem Risiko müssen keine Pflichten nach der KI-VO erfüllen. Es ist jedoch zu beachten, dass Einführer jederzeit zum Anbieter werden können.

Händler von KI-Systemen mit geringem Risiko müssen keine Pflichten nach der KI-VO erfüllen. Es ist jedoch zu beachten, dass Händler jederzeit zum Anbieter werden können. 

2.4. Ist eine Ausnahme i.S.v. Art. 6 Abs. 3 KI-VO gegeben?

Art. 6 Abs. 3 KI-VO regelt, unter welchen Voraussetzungen ein KI-System, das in einem der Bereiche in Anhang III eingesetzt wird, ausnahmsweise nicht als hochriskant einzustufen ist: 

(3) Abweichend von Absatz 2 gilt ein KI-System nicht als hochriskant, wenn es kein erhebliches Risiko der Beeinträchtigung in Bezug auf die Gesundheit, Sicherheit oder Grundrechte natürlicher Personen birgt, indem es unter anderem nicht das Ergebnis der Entscheidungsfindung wesentlich beeinflusst. Dies ist der Fall, wenn eine oder mehrere der folgenden Bedingungen erfüllt sind:

a) das KI-System ist dazu bestimmt, eine eng gefasste Verfahrensaufgabe durchzuführen;

b) das KI-System ist dazu bestimmt, das Ergebnis einer zuvor abgeschlossenen menschlichen Tätigkeit zu verbessern;

c) das KI-System ist dazu bestimmt, Entscheidungsmuster oder Abweichungen von früheren Entscheidungsmustern zu erkennen, und ist nicht dazu gedacht, die zuvor abgeschlossene menschliche Bewertung, ohne eine angemessene menschliche Überprüfung zu ersetzen oder zu beeinflussen; oder

d) das KI-System ist dazu bestimmt, eine vorbereitende Aufgabe für eine Bewertung durchzuführen, die für die Zwecke der in Anhang III aufgeführten Anwendungsfälle relevant ist. Ungeachtet des Unterabsatzes 1 gilt ein in Anhang III aufgeführtes KI-System immer dann als hochriskant, wenn es ein Profiling natürlicher Personen vornimmt.

Die Erwägungsgründe 46, 47 und 48 und konkretisieren die Regeln zur Risikoklassifizierung. Im Umsetzungsleitfaden wird die Ausnahm nach Art. 6 Abs. 3 näher erläutert (Schritt 2.4.).

Liegt kein Hochrisiko-KI-System vor, müssen keine weiteren Pflichten nach der KI-VO erfüllt werden. Die Prüfung ist hier beendet.

Liegt kein Hochrisiko-KI-System vor, müssen keine weiteren Pflichten nach der KI-VO erfüllt werden. Die Prüfung ist hier beendet.

2.5. Geht vom KI-System ein geringes Risiko aus?

Wenn das KI-System weder unter Art. 6 Abs. 1 i.V.m. Anhang I noch unter Art. 6 Abs. 2 i.V.m. Anhang III subsumiert werden kann, und damit nicht den strengen Anforderungen an Hochrisiko-KI-Systeme unterliegt, ist als Nächstes zu prüfen, ob vom KI-System ein geringes/begrenztes oder nur ein minimales/kein Risiko ausgeht.  KI-Systeme mit geringem Risiko unterliegen etwa den Transparenzpflichten des Art. 50 KI-VO, während KI-Systeme, von denen bloß ein minimales Risiko ausgeht, nicht von der Verordnung erfasst sind. 

KI-Systeme mit geringem/begrenztem Risiko sind solche, die mit natürlichen Personen interagieren und eine Manipulationsgefahr bergen, wie beispielsweise Chatbots oder Empfehlungssysteme. Im Gegensatz dazu stehen KI-Systeme mit minimalem/keinem Risiko, die vom Anwendungsbereich der Verordnung ausgenommen sind. Zu dieser Kategorie zählen weitverbreitete administrative oder interne Anwendungen wie Spamfilter, KI-gestützte Videospiele oder Bestandsverwaltungssysteme.

Im Umsetzungsleitfaden finden sich weitere Ausführungen zur Abgrenzung zwischen begrenzt und minimal riskanten KI-Systemen (Schritt 2.5.).

2.5. Geht vom KI-System ein geringes Risiko aus?

Wenn das KI-System weder unter Art. 6 Abs. 1 i.V.m. Anhang I noch unter Art. 6 Abs. 2 i.V.m. Anhang III subsumiert werden kann, und damit nicht den strengen Anforderungen an Hochrisiko-KI-Systeme unterliegt, ist als Nächstes zu prüfen, ob vom KI-System ein geringes/begrenztes oder nur ein minimales/kein Risiko ausgeht.  KI-Systeme mit geringem Risiko unterliegen etwa den Transparenzpflichten des Art. 50 KI-VO, während KI-Systeme, von denen bloß ein minimales Risiko ausgeht, nicht von der Verordnung erfasst sind. 

KI-Systeme mit geringem/begrenztem Risiko sind solche, die mit natürlichen Personen interagieren und eine Manipulationsgefahr bergen, wie beispielsweise Chatbots oder Empfehlungssysteme. Im Gegensatz dazu stehen KI-Systeme mit minimalem/keinem Risiko, die vom Anwendungsbereich der Verordnung ausgenommen sind. Zu dieser Kategorie zählen weitverbreitete administrative oder interne Anwendungen wie Spamfilter, KI-gestützte Videospiele oder Bestandsverwaltungssysteme.

Im Umsetzungsleitfaden finden sich weitere Ausführungen zur Abgrenzung zwischen begrenzt und minimal riskanten KI-Systemen (Schritt 2.5.).

2.5. Geht vom KI-System ein geringes Risiko aus?

Wenn das KI-System weder unter Art. 6 Abs. 1 i.V.m. Anhang I noch unter Art. 6 Abs. 2 i.V.m. Anhang III subsumiert werden kann, und damit nicht den strengen Anforderungen an Hochrisiko-KI-Systeme unterliegt, ist als Nächstes zu prüfen, ob vom KI-System ein geringes/begrenztes oder nur ein minimales/kein Risiko ausgeht.  KI-Systeme mit geringem Risiko unterliegen etwa den Transparenzpflichten des Art. 50 KI-VO, während KI-Systeme, von denen bloß ein minimales Risiko ausgeht, nicht von der Verordnung erfasst sind. 

KI-Systeme mit geringem/begrenztem Risiko sind solche, die mit natürlichen Personen interagieren und eine Manipulationsgefahr bergen, wie beispielsweise Chatbots oder Empfehlungssysteme. Im Gegensatz dazu stehen KI-Systeme mit minimalem/keinem Risiko, die vom Anwendungsbereich der Verordnung ausgenommen sind. Zu dieser Kategorie zählen weitverbreitete administrative oder interne Anwendungen wie Spamfilter, KI-gestützte Videospiele oder Bestandsverwaltungssysteme.

Im Umsetzungsleitfaden finden sich weitere Ausführungen zur Abgrenzung zwischen begrenzt und minimal riskanten KI-Systemen (Schritt 2.5.).

Ist das KI-System nur minimal riskant, ist die Prüfung hier beendet. Die Regeln der KI-VO finden keine Anwendung.

Einführer von Hochrisiko-KI-Systemen müssen die Pflichten nach Art. 23 KI-VO erfüllen. Weitere Erläuterungen finden sich im Umsetzungsleitfaden (Schritt 1.3.3).

Händler von Hochrisiko-KI-Systemen müssen die Pflichten nach Art. 23 KI-VO erfüllen. Weitere Erläuterungen finden sich im Umsetzungsleitfaden (Schritt 1.3.4).

3. Einstellen verbotener Praktiken

Ist einer der Verbotstatbestände einschlägig, haben Anbieter die KI-Praktik einzustellen.

Weitere Ausführungen zum Einstellen verbotener KI-Praktiken finden sich im Umsetzungsleitfaden (Schritt 3).

Sind verbotene KI-Praktiken eingestellt, ist die Prüfung hier beendet. 

4. Compliance-Anforderungen für Hochrisiko-KI-Systeme (Anbieter)

Nachdem festgestellt worden ist, dass es sich um ein Hochrisiko-KI-System i.S.d. KI-VO handelt, ist im nächsten Schritt zu prüfen, welche Anforderungen vom Anbieter zu erfüllen sind.

Die KI-VO sieht im Abschnitt 2, also in den Art. 8 bis 15 KI-VO, eine Reihe von Pflichten vor, die vom Anbieter zu erfüllen sind. Nach Art. 8 Abs. 1 müssen Hochrisiko-KI-Systeme alle in den Art. 9–15 KI-VO genannten Anforderungen erfüllen.

4.1.1. Ist Art. 8 Abs. 2 einschlägig?

Sollte Art. 8 Abs. 2 KI-VO einschlägig sein, d.h. für das Produkt, in das ein Hochrisiko-KI-System integriert ist, zugleich Regelungen auf der Grundlage der im Anhang I Abschnitt A aufgelisteten Rechtsakte gelten, so sind die Anbieter dafür verantwortlich, sicherzustellen, dass ihr Produkt alle geltenden Anforderungen der geltenden Harmonisierungsrechtsvorschriften der Union vollständig entspricht. 

2) Enthält ein Produkt ein KI-System, für das die Anforderungen dieser Verordnung und die Anforderungen der in Anhang I Abschnitt A aufgeführten Harmonisierungsrechtsvorschriften der Union gelten, so sind die Anbieter dafür verantwortlich, sicherzustellen, dass ihr Produkt alle geltenden Anforderungen der geltenden Harmonisierungsrechtsvorschriften der Union vollständig erfüllt. Bei der Gewährleistung der Erfüllung der in diesem Abschnitt festgelegten Anforderungen durch die in Absatz 1 genannten Hochrisiko-KI-Systeme und im Hinblick auf die Gewährleistung der Kohärenz, der Vermeidung von Doppelarbeit und der Minimierung zusätzlicher Belastungen haben die Anbieter die Wahl, die erforderlichen Test- und Berichterstattungsverfahren, Informationen und Dokumentationen, die sie im Zusammenhang mit ihrem Produkt bereitstellen, gegebenenfalls in Dokumentationen und Verfahren zu integrieren, die bereits bestehen und gemäß den in Anhang I Abschnitt A aufgeführten Harmonisierungsrechtsvorschriften der Union vorgeschrieben sind.

Erläuterungen zu Art. 8 Abs. 2 finden sich im Umsetzungsleitfaden (Schritt 4.1.1.).

4.1.2. Wie ist das Risikomanagementsystem auszugestalten?

KI-Systeme bieten zahlreiche Vorteile, bergen jedoch auch potenzielle Risiken für Gesundheit, Sicherheit und Grundrechte. Deshalb ist es unerlässlich, diese Risiken korrekt zu identifizieren und zu mindern. Ein effektives Risikomanagement ist nicht nur eine rechtliche Verpflichtung, sondern auch eine organisatorische Notwendigkeit.

Risikomanagement umfasst den systematischen Prozess der Ermittlung, Bewertung und Steuerung von Risiken, die mit dem Einsatz von Künstlicher Intelligenz über ihren gesamten Lebenszyklus hinweg verbunden sind. Die Integration eines solchen Systems soll rechtliche und finanzielle Risiken minimieren und gleichzeitig Innovation und verantwortungsvollen Einsatz von KI fördern.

Art. 9 KI-VO regelt, wie das Risikomanagementsystem konkret auszugestalten ist. Die Implementierung eines effektiven Risikomanagementsystems umfasst folgende Schritte

  • Risikoidentifizierung
  • Risikoanalyse- und -bewertung
  • Risikominderung
  • Kontinuierliche Aktualisierung

Die einzelnen Schritte des Risikomanagementsystems werden im Umsetzungsleitfaden erläutert (Schritt 4.1.2.).

4.1.3. Wie ist die Daten-Governance zu gestalten?

Art. 10 KI-VO regelt, wie die Daten-Governance auszugestalten ist. Sofern Hochrisiko-KI-Systeme mit Daten trainiert werden, müssen Trainings-, Validierungs- und Testdatensätze verwendet werden, die den dort genannten Qualitätskriterien entsprechen. Insbesondere gelten für Trainings-, Validierungs- und Testdatensätze Daten-Governance- und Datenverwaltungsverfahren, die für die Zweckbestimmung des jeweiligen Hochrisiko-KI-Systems geeignet sind (Absatz 2), die verwendeten Datensätze müssen im Hinblick auf die Zweckbestimmung relevant, hinreichend repräsentativ und so weit wie möglich fehlerfrei und vollständig sein (Absatz 3) und, soweit dies für die Zweckbestimmung erforderlich ist, die entsprechenden Merkmale oder Elemente berücksichtigen, die für die besonderen geografischen, kontextuellen, verhaltensbezogenen oder funktionalen Rahmenbedingungen, unter denen das Hochrisiko-KI-System bestimmungsgemäß verwendet werden soll, typisch sind (Absatz 4). Bei der Entwicklung von Hochrisiko-KI-Systemen, in denen keine Techniken eingesetzt werden, bei denen KI-Modelle trainiert werden, gelten diese Anforderungen nur für Testdatensätze (Absatz 6).

Weitere Erläuterungen zur Daten-Governance und Praxisbeispiele finden sich im Umsetzungsleitfaden (Schritt 4.1.3.).

4.1.4. Wie ist die technische Dokumentation auszugestalten?

Art. 11 KI-VO regelt, wie die technische Dokumentation auszugestalten ist. Die allgemeinen Anforderungen werden in Absatz 1 definiert. Die Konkretisierung dieser Anforderungen erfolgt in Anhang IV. Die wesentliche Aufgabe der technischen Dokumentation besteht darin, den Nachweis zu erbringen, dass das KI-System konform mit den Anforderungen aus Abschnitt 2 der KI-VO entworfen, hergestellt und betrieben werden kann.

Weitere Erläuterungen zur technischen Dokumentation und Praxisbeispiele finden sich im Umsetzungsleitfaden (Schritt 4.1.4.). 

4.1.5. Wie sind die Aufzeichnungspflichten zu erfüllen?

Art. 12 KI-VO regelt, wie die Aufzeichnungspflichten zu erfüllen sind. Der Artikel befasst sich mit der Protokollierung und Rückverfolgbarkeit von Hochrisiko-KI-Systemen. Die Regelung zielt darauf ab, sicherzustellen, dass Ereignisse während des Lebenszyklus eines Hochrisiko-KI-Systems automatisch aufgezeichnet werden, um eine Rückverfolgung seiner Funktionsweise zu ermöglichen und potenzielle Risiken zu identifizieren. Erwägungsgrund 71 konkretisiert die Pflicht.  

Weitere Erläuterungen zur Aufzeichnungspflicht sowie eine Praxisanleitung finden sich im Umsetzungsleitfaden (Schritt 4.1.4). 

4.1.6. Wie sind die Transparenzpflichten zu erfüllen?

Art. 13 KI-VO regelt, wie die Transparenzpflichten zu erfüllen sind. Die Intention des Artikels 13 ist die Schaffung von Transparenz bezüglich der Konzeption und Entwicklung von Hochrisiko-KI-Systemen. Zudem soll gewährleistet werden, dass die Betreiber die mit diesen Systemen verbundenen Ausgaben und Ergebnisse adäquat interpretieren und nutzen können. Dies ist von entscheidender Bedeutung, um potenzielle Risiken zu minimieren und die Verpflichtungen von Anbietern und Betreibern zu erfüllen. 

Nähere Ausführungen zu Art. 13 sowie eine beispielhafte Betriebsanleitung finden sich im Umsetzungsleitfaden (Schritt 4.1.6.). 

4.1.7. Wie ist die menschliche Aufsicht zu gestalten?

Art. 14 KI-VO regelt, wie die menschliche Aufsicht zu gestalten ist. Das Konzept der menschlichen Aufsicht in der KI-Verordnung umfasst die folgenden Kern-Elemente:

  • die Betrauung von natürlichen Personen, die über die erforderliche Kompetenz, Ausbildung und Befugnis verfügen, mit der Funktion der menschlichen Aufsicht durch Betreiber von Hochrisiko-KI-Systemen entsprechend der den Systemen beigefügten Betriebsanleitungen (Art. 26 Abs. 1 und 2 der KI-VO) 

  • Angemessenheit der Aufsichtsmaßnahmen in Hinblick auf die Risiken, den Grad der Autonomie und den Kontext der Nutzung des Hochrisiko-KI-Systems (Art. 14 Abs. 3) 

  • Zurverfügungstellung des Hochrisiko-KI-Systems durch den Anbieter in einer Weise, dass den natürlichen Personen des Betreibers, denen die menschliche Aufsicht übertragen wurde, angemessen und verhältnismäßig ermöglicht wird (Art. 14 Abs. 4)

Welche Maßnahmen konkret zu treffen sind, wird im Umsetzungsleitfaden erläutert (Schritt 4.1.7.).

4.1.8. Wie sind Genauigkeit, Robustheit und Cybersicherheit zu gewährleisten?

Art. 15 KI-VO normiert zwingende Anforderungen an die Cybersicherheit, Robustheit und Genauigkeit bei Hochrisiko-KI-Systemen, die von den betroffenen Regelungsadressaten im Rahmen der KI-VO zu erfüllen sind. Die Vorschrift enthält den zentralen Pflichtenkatalog in Bezug auf die Abwehr von KI-spezifischen Sicherheitsrisiken. 

Die einzelnen Pflichten, ihre praktische Umsetzung, sowie der Bezug von Art. 15 zu anderen Hochrisiko-Anforderung der KI-VO werden im Umsetzungsleitfaden erläutert (Schritt 4.1.8.)

4.1.9. Wie ist das Qualitätsmanagement zu gestalten?

Gem. Art. 17 KI-VO müssen Anbieter ein Qualitätsmanagementsystem einrichten. Es soll sicherstellen, dass ihre Hochrisiko-KI-Systeme die Anforderungen der KI-VO erfüllen. Folgende Aspekte muss das Qualitätsmanagementsystem umfassen (Art. 17 Abs. 1 KI-VO): 

  • Regulierungskonzept

  • Entwurfsvalidierung

  • Entwicklungs- und Qualitätskontrollen

  • Prüf- und Validierungsverfahren

  • Technische Spezifikationen und Normen

  • Datenmanagementsysteme und -verfahren

  • Risikomanagementsystem (Art. 9 KI-VO)

  • System zur Beobachtung nach dem Inverkehrbringen (Art. 72 KI-VO) 

  • Verfahren zur Meldung eines schwerwiegenden Vorfalls (Art. 73 KI-VO)

  • Handhabung der Kommunikation

  • Dokumentationssysteme

  • Ressourcenmanagement:

  • Rechenschaftsrahmen

Weitere Ausführungen zu den einzelnen Elementen des Qualitätsmanagementverfahrens finden sich im Umsetzungsleitfaden (Schritt 4.1.9.).

4.1.10. Wie ist die Dokumentation aufzubewahren?

Art. 18 KI-VO konkretisiert die Pflicht des Anbieters zur Aufbewahrung der Dokumentation. Die Pflicht zur Dokumentierung besteht zehn Jahre lang und beginnt, nachdem das Hochrisiko-KI-System in Verkehr gebracht oder in Betrieb genommen wurde. 

Folgende Dokumente sind aufzubewahren: 

  • Technische Dokumentation zum KI-System (Art. 11 KI-VO)

  • Dokumentation zum Qualitätssicherungssystem (Art. 17 KI-VO)

  • Die EU-Konformitätserklärung (Art. 47 KI-VO)

Folgende Dokumente sind aufzubewahren, falls vorhanden:

  • Dokumentation über genehmigte Änderungen von notifizierten Stellen

  • Entscheidungen und sonstige Dokumente von notifizierten Stellen

Weitere Ausführungen zur Aufbewahrung der Dokumentation finden sich im Umsetzungsleitfaden (Schritt 4.1.10.).

4.1.11. Wie sind die automatisch erzeugten Protokolle aufzubewahren?

Art. 19 KI-VO konkretisiert die Pflicht des Anbieters, automatisch erzeugte Protokolle aufzubewahren (vgl. Art. 16 lit. e KI-VO). Anbieter von Hochrisiko-KI-Systemen müssen die automatisch erzeugten Protokolle (Art. 12 Abs. 1 KI-VO) aufbewahren. Dies ist aber nur dann der Fall, wenn die Protokolle ihrer Kontrolle unterliegen.  Die Dauer der Aufbewahrung richtet sich grundsätzlich nach den einschlägigen EU-Rechtsvorschriften (insbesondere zum Schutz personenbezogener Daten) bzw. den nationalen Gesetzen. Ansonsten besteht die Pflicht zur Aufbewahrung für mindestens sechs Monate. 

Weitere Ausführungen zur Aufbewahrung automatisch erzeugter Protokolle finden sich im Umsetzungsleitfaden (Schritt 4.1.11.).

4.1.12. Welche Korrekturmaßnahmen und Informationspflichten obliegen dem Anbieter?

Art. 20 KI-VO konkretisiert die Pflicht des Anbieters, die erforderlichen Korrekturmaßnahmen zu ergreifen und die betroffenen Wirtschaftsakteure zu informieren (vgl. Art. 20 lit. j KI-VO). 

Wenn Anbieter von Hochrisiko-KI-Systemen denken oder den Verdacht haben, dass ihr System nicht den Vorschriften der KI-VO entspricht, müssen sie unverzüglich Maßnahmen ergreifen (Art. 20 Abs. 1 KI-VO). Das sind die Maßnahmen, die erforderlich sind, um die Konformität wieder herzustellen. Falls unmöglich, müssen sie KI-Systeme zurücknehmen, deaktivieren oder zurückrufen. Außerdem müssen sie alle Händler der Systeme informieren (sowie ggf. Betreiber, Vertreter und Importeure). Darüber hinaus müssen sie weitergehende Maßnahmen ergreifen, wenn das KI-System ein Risiko für die Gesundheit oder Sicherheit oder Grundrechte von Personen darstellt. 

Weitere Ausführungen zu Korrekturmaßnahmen und Informationspflichten finden sich im Umsetzungsleitfaden (Schritt 4.1.12.).

4.1.13. Wie gestaltet sich die Zusammenarbeit mit Behörden?

Art. 21 KI-VO regelt näheres zur Pflicht des Anbieters, mit den zuständigen Behörden zusammenzuarbeiten (vgl. Art. 16 lit. k KI-VO).  Hiernach müssen Anbieter von Hochrisiko-KI-Systemen den Behörden auf begründete Anfrage alle Informationen und Dokumente offenlegen, die zeigen, dass ihr System den Vorschriften (Art. 8 – 15 KI-VO) entspricht.

Außerdem ist Zugang zu automatisch erzeugten Protokollen des Systems gewähren. 

Weitere Ausführungen zu Kooperationspflichten gegenüber der zuständigen Behörde finden sich im Umsetzungsleitfaden (Schritt 4.1.13.).

Um ein Hochrisiko-KI-System in Verkehr bringen zu können, müssen alle Compliance-Anforderungen erfüllt sein. Bitte erfüllen Sie erst diese Anforderung, bevor Sie fortfahren können.

4. Compliance-Anforderungen für Hochrisiko-KI-Systeme (Anbieter)

Nachdem festgestellt worden ist, dass es sich um ein Hochrisiko-KI-System i.S.d. KI-VO handelt, ist im nächsten Schritt zu prüfen, welche Anforderungen vom Anbieter zu erfüllen sind.

Die KI-VO sieht im Abschnitt 2, also in den Art. 8 bis 15 KI-VO, eine Reihe von Pflichten vor, die vom Anbieter zu erfüllen sind. Nach Art. 8 Abs. 1 müssen Hochrisiko-KI-Systeme alle in den Art. 9–15 KI-VO genannten Anforderungen erfüllen.

4.1.1. Ist Art. 8 Abs. 2 einschlägig?

Sollte Art. 8 Abs. 2 KI-VO einschlägig sein, d.h. für das Produkt, in das ein Hochrisiko-KI-System integriert ist, zugleich Regelungen auf der Grundlage der im Anhang I Abschnitt A aufgelisteten Rechtsakte gelten, so sind die Anbieter dafür verantwortlich, sicherzustellen, dass ihr Produkt alle geltenden Anforderungen der geltenden Harmonisierungsrechtsvorschriften der Union vollständig entspricht. 

2) Enthält ein Produkt ein KI-System, für das die Anforderungen dieser Verordnung und die Anforderungen der in Anhang I Abschnitt A aufgeführten Harmonisierungsrechtsvorschriften der Union gelten, so sind die Anbieter dafür verantwortlich, sicherzustellen, dass ihr Produkt alle geltenden Anforderungen der geltenden Harmonisierungsrechtsvorschriften der Union vollständig erfüllt. Bei der Gewährleistung der Erfüllung der in diesem Abschnitt festgelegten Anforderungen durch die in Absatz 1 genannten Hochrisiko-KI-Systeme und im Hinblick auf die Gewährleistung der Kohärenz, der Vermeidung von Doppelarbeit und der Minimierung zusätzlicher Belastungen haben die Anbieter die Wahl, die erforderlichen Test- und Berichterstattungsverfahren, Informationen und Dokumentationen, die sie im Zusammenhang mit ihrem Produkt bereitstellen, gegebenenfalls in Dokumentationen und Verfahren zu integrieren, die bereits bestehen und gemäß den in Anhang I Abschnitt A aufgeführten Harmonisierungsrechtsvorschriften der Union vorgeschrieben sind.

Erläuterungen zu Art. 8 Abs. 2 finden sich im Umsetzungsleitfaden (Schritt 4.1.1.).

4.1.2. Wie ist das Risikomanagementsystem auszugestalten?

KI-Systeme bieten zahlreiche Vorteile, bergen jedoch auch potenzielle Risiken für Gesundheit, Sicherheit und Grundrechte. Deshalb ist es unerlässlich, diese Risiken korrekt zu identifizieren und zu mindern. Ein effektives Risikomanagement ist nicht nur eine rechtliche Verpflichtung, sondern auch eine organisatorische Notwendigkeit.

Risikomanagement umfasst den systematischen Prozess der Ermittlung, Bewertung und Steuerung von Risiken, die mit dem Einsatz von Künstlicher Intelligenz über ihren gesamten Lebenszyklus hinweg verbunden sind. Die Integration eines solchen Systems soll rechtliche und finanzielle Risiken minimieren und gleichzeitig Innovation und verantwortungsvollen Einsatz von KI fördern.

Art. 9 KI-VO regelt, wie das Risikomanagementsystem konkret auszugestalten ist. Die Implementierung eines effektiven Risikomanagementsystems umfasst folgende Schritte

  • Risikoidentifizierung
  • Risikoanalyse- und -bewertung
  • Risikominderung
  • Kontinuierliche Aktualisierung

Die einzelnen Schritte des Risikomanagementsystems werden im Umsetzungsleitfaden erläutert (Schritt 4.1.2.).

4.1.3. Wie ist die Daten-Governance zu gestalten?

Art. 10 KI-VO regelt, wie die Daten-Governance auszugestalten ist. Sofern Hochrisiko-KI-Systeme mit Daten trainiert werden, müssen Trainings-, Validierungs- und Testdatensätze verwendet werden, die den dort genannten Qualitätskriterien entsprechen. Insbesondere gelten für Trainings-, Validierungs- und Testdatensätze Daten-Governance- und Datenverwaltungsverfahren, die für die Zweckbestimmung des jeweiligen Hochrisiko-KI-Systems geeignet sind (Absatz 2), die verwendeten Datensätze müssen im Hinblick auf die Zweckbestimmung relevant, hinreichend repräsentativ und so weit wie möglich fehlerfrei und vollständig sein (Absatz 3) und, soweit dies für die Zweckbestimmung erforderlich ist, die entsprechenden Merkmale oder Elemente berücksichtigen, die für die besonderen geografischen, kontextuellen, verhaltensbezogenen oder funktionalen Rahmenbedingungen, unter denen das Hochrisiko-KI-System bestimmungsgemäß verwendet werden soll, typisch sind (Absatz 4). Bei der Entwicklung von Hochrisiko-KI-Systemen, in denen keine Techniken eingesetzt werden, bei denen KI-Modelle trainiert werden, gelten diese Anforderungen nur für Testdatensätze (Absatz 6).

Weitere Erläuterungen zur Daten-Governance und Praxisbeispiele finden sich im Umsetzungsleitfaden (Schritt 4.1.3.).

4.1.4. Wie ist die technische Dokumentation auszugestalten?

Art. 11 KI-VO regelt, wie die technische Dokumentation auszugestalten ist. Die allgemeinen Anforderungen werden in Absatz 1 definiert. Die Konkretisierung dieser Anforderungen erfolgt in Anhang IV. Die wesentliche Aufgabe der technischen Dokumentation besteht darin, den Nachweis zu erbringen, dass das KI-System konform mit den Anforderungen aus Abschnitt 2 der KI-VO entworfen, hergestellt und betrieben werden kann.

Weitere Erläuterungen zur technischen Dokumentation und Praxisbeispiele finden sich im Umsetzungsleitfaden (Schritt 4.1.4.). 

4.1.5. Wie sind die Aufzeichnungspflichten zu erfüllen?
Art. 12 KI-VO regelt, wie die Aufzeichnungspflichten zu erfüllen sind. Der Artikel befasst sich mit der Protokollierung und Rückverfolgbarkeit von Hochrisiko-KI-Systemen. Die Regelung zielt darauf ab, sicherzustellen, dass Ereignisse während des Lebenszyklus eines Hochrisiko-KI-Systems automatisch aufgezeichnet werden, um eine Rückverfolgung seiner Funktionsweise zu ermöglichen und potenzielle Risiken zu identifizieren. Erwägungsgrund 71 konkretisiert die Pflicht.  Weitere Erläuterungen zur Aufzeichnungspflicht sowie eine Praxisanleitung finden sich im Umsetzungsleitfaden (Schritt 4.1.4.).
4.1.6. Wie sind die Transparenzpflichten zu erfüllen?

Art. 13 KI-VO regelt, wie die Transparenzpflichten zu erfüllen sind. Die Intention des Artikels 13 ist die Schaffung von Transparenz bezüglich der Konzeption und Entwicklung von Hochrisiko-KI-Systemen. Zudem soll gewährleistet werden, dass die Betreiber die mit diesen Systemen verbundenen Ausgaben und Ergebnisse adäquat interpretieren und nutzen können. Dies ist von entscheidender Bedeutung, um potenzielle Risiken zu minimieren und die Verpflichtungen von Anbietern und Betreibern zu erfüllen.

Nähere Ausführungen zu Art. 13 sowie eine beispielhafte Betriebsanleitung finden sich im Umsetzungsleitfaden (Schritt 4.1.6.).

4.1.7. Wie ist die menschliche Aufsicht zu gestalten?

Art. 14 KI-VO regelt, wie die menschliche Aufsicht zu gestalten ist. Das Konzept der menschlichen Aufsicht in der KI-Verordnung umfasst die folgenden Kern-Elemente:

  • die Betrauung von natürlichen Personen, die über die erforderliche Kompetenz, Ausbildung und Befugnis verfügen, mit der Funktion der menschlichen Aufsicht durch Betreiber von Hochrisiko-KI-Systemen entsprechend der den Systemen beigefügten Betriebsanleitungen (Art. 26 Abs. 1 und 2 der KI-VO) 

  • Angemessenheit der Aufsichtsmaßnahmen in Hinblick auf die Risiken, den Grad der Autonomie und den Kontext der Nutzung des Hochrisiko-KI-Systems (Art. 14 Abs. 3) 

  • Zurverfügungstellung des Hochrisiko-KI-Systems durch den Anbieter in einer Weise, dass den natürlichen Personen des Betreibers, denen die menschliche Aufsicht übertragen wurde, angemessen und verhältnismäßig ermöglicht wird (Art. 14 Abs. 4)

Welche Maßnahmen konkret zu treffen sind, wird im Umsetzungsleitfaden erläutert (Schritt 4.1.7.).

4.1.8. Wie sind Genauigkeit, Robustheit und Cybersicherheit zu gewährleisten?

Art. 15 KI-VO normiert zwingende Anforderungen an die Cybersicherheit, Robustheit und Genauigkeit bei Hochrisiko-KI-Systemen, die von den betroffenen Regelungsadressaten im Rahmen der KI-VO zu erfüllen sind. Die Vorschrift enthält den zentralen Pflichtenkatalog in Bezug auf die Abwehr von KI-spezifischen Sicherheitsrisiken. 

Die einzelnen Pflichten, ihre praktische Umsetzung, sowie der Bezug von Art. 15 zu anderen Hochrisiko-Anforderung der KI-VO werden im Umsetzungsleitfaden erläutert (Schritt 4.1.8.).

4.1.9. Wie ist das Qualitätsmanagement zu gestalten?

Gem. Art. 17 KI-VO müssen Anbieter ein Qualitätsmanagementsystem einrichten. Es soll sicherstellen, dass ihre Hochrisiko-KI-Systeme die Anforderungen der KI-VO erfüllen. Folgende Aspekte muss das Qualitätsmanagementsystem umfassen (Art. 17 Abs. 1 KI-VO): 

  • Regulierungskonzept

  • Entwurfsvalidierung

  • Entwicklungs- und Qualitätskontrollen

  • Prüf- und Validierungsverfahren

  • Technische Spezifikationen und Normen

  • Datenmanagementsysteme und -verfahren

  • Risikomanagementsystem (Art. 9 KI-VO)

  • System zur Beobachtung nach dem Inverkehrbringen (Art. 72 KI-VO) 

  • Verfahren zur Meldung eines schwerwiegenden Vorfalls (Art. 73 KI-VO)

  • Handhabung der Kommunikation

  • Dokumentationssysteme

  • Ressourcenmanagement:

  • Rechenschaftsrahmen

Weitere Ausführungen zu den einzelnen Elementen des Qualitätsmanagementverfahrens finden sich im Umsetzungsleitfaden (Schritt 4.1.9.).

4.1.10. Wie ist die Dokumentation aufzubewahren?

Art. 18 KI-VO konkretisiert die Pflicht des Anbieters zur Aufbewahrung der Dokumentation. Die Pflicht zur Dokumentierung besteht zehn Jahre lang und beginnt, nachdem das Hochrisiko-KI-System in Verkehr gebracht oder in Betrieb genommen wurde. 

Folgende Dokumente sind aufzubewahren: 

  • Technische Dokumentation zum KI-System (Art. 11 KI-VO)

  • Dokumentation zum Qualitätssicherungssystem (Art. 17 KI-VO)

  • Die EU-Konformitätserklärung (Art. 47 KI-VO)

Folgende Dokumente sind aufzubewahren, falls vorhanden:

  • Dokumentation über genehmigte Änderungen von notifizierten Stellen

  • Entscheidungen und sonstige Dokumente von notifizierten Stellen

Weitere Ausführungen zur Aufbewahrung der Dokumentation finden sich im Umsetzungsleitfaden (Schritt 4.1.10.).

4.1.11. Wie sind die automatisch erzeugten Protokolle aufzubewahren?

Art. 19 KI-VO konkretisiert die Pflicht des Anbieters, automatisch erzeugte Protokolle aufzubewahren (vgl. Art. 16 lit. e KI-VO). Anbieter von Hochrisiko-KI-Systemen müssen die automatisch erzeugten Protokolle (Art. 12 Abs. 1 KI-VO) aufbewahren. Dies ist aber nur dann der Fall, wenn die Protokolle ihrer Kontrolle unterliegen.  Die Dauer der Aufbewahrung richtet sich grundsätzlich nach den einschlägigen EU-Rechtsvorschriften (insbesondere zum Schutz personenbezogener Daten) bzw. den nationalen Gesetzen. Ansonsten besteht die Pflicht zur Aufbewahrung für mindestens sechs Monate. 

Weitere Ausführungen zur Aufbewahrung automatisch erzeugter Protokolle finden sich im Umsetzungsleitfaden (Schritt 4.1.11).

4.1.12. Welche Korrekturmaßnahmen und Informationspflichten obliegen dem Anbieter?

Art. 20 KI-VO konkretisiert die Pflicht des Anbieters, die erforderlichen Korrekturmaßnahmen zu ergreifen und die betroffenen Wirtschaftsakteure zu informieren (vgl. Art. 20 lit. j KI-VO). 

Wenn Anbieter von Hochrisiko-KI-Systemen denken oder den Verdacht haben, dass ihr System nicht den Vorschriften der KI-VO entspricht, müssen sie unverzüglich Maßnahmen ergreifen (Art. 20 Abs. 1 KI-VO). Das sind die Maßnahmen, die erforderlich sind, um die Konformität wieder herzustellen. Falls unmöglich, müssen sie KI-Systeme zurücknehmen, deaktivieren oder zurückrufen. Außerdem müssen sie alle Händler der Systeme informieren (sowie ggf. Betreiber, Vertreter und Importeure). Darüber hinaus müssen sie weitergehende Maßnahmen ergreifen, wenn das KI-System ein Risiko für die Gesundheit oder Sicherheit oder Grundrechte von Personen darstellt. 

Weitere Ausführungen zu Korrekturmaßnahmen und Informationspflichten finden sich im Umsetzungsleitfaden (Schritt 4.1.12).

4.1.13. Wie gestaltet sich die Zusammenarbeit mit Behörden?

Art. 21 KI-VO regelt näheres zur Pflicht des Anbieters, mit den zuständigen Behörden zusammenzuarbeiten (vgl. Art. 16 lit. k KI-VO).  Hiernach müssen Anbieter von Hochrisiko-KI-Systemen den Behörden auf begründete Anfrage alle Informationen und Dokumente offenlegen, die zeigen, dass ihr System den Vorschriften (Art. 8 – 15 KI-VO) entspricht.

Außerdem ist Zugang zu automatisch erzeugten Protokollen des Systems gewähren. 

Weitere Ausführungen zu Kooperationspflichten gegenüber der zuständigen Behörde finden sich im Umsetzungsleitfaden (Schritt 4.1.13).

Um ein Hochrisiko-KI-System in Verkehr bringen zu können, müssen alle Compliance-Anforderungen erfüllt sein. Bitte erfüllen Sie erst diese Anforderung, bevor Sie fortfahren können.

4. Compliance-Anforderungen für Hochrisiko-KI-Systeme (Betreiber)

4.2.1. Wann muss ich Anbieterpflichten erfüllen?

An Hochrisiko-KI-Systeme stellt die KI-VO strenge Anforderungen – gerade, weil sie ein hohes Risiko für die Gesundheit und Sicherheit oder für die Grundrechte natürlicher Personen darstellen können. Wesentliche Verpflichtete sind primär die Anbieter von Hochrisiko-KI-Systemen, welche umfassenden Pflichten nach Art. 16 KI-VO unterliegen.  Diese Pflichten können allerdings auch für Betreiber von Hochrisiko-KI-Systemen Geltung entfalten, wenn diese als Anbieter eines Hochrisiko-KI-Systems zu klassifizieren sind. Den Anbieterpflichten unterliegen Betreiber dann, wenn

  • sie ein bereits in Verkehr gebrachtes oder in Betrieb genommenes Hochrisiko-KI-System mit ihrem Namen oder ihrer Handelsmarke versehen, unbeschadet vertraglicher Vereinbarungen, die eine andere Aufteilung der Pflichten vorsehen;
  • wenn sie eine wesentliche Änderung an einem Hochrisiko-KI-System, das bereits in Verkehr gebracht oder in Betrieb genommen wurde, so vornehmen, dass es weiterhin ein Hochrisiko-KI-System im Sinne von Artikel 6 bleibt;
  • wenn sie die Zweckbestimmung eines KI-Systems, einschließlich eines KI-Systems mit allgemeinem Verwendungszweck, das nicht als hochriskant eingestuft wurde und bereits in Verkehr gebracht oder in Betrieb genommen

Weitere Ausführungen hierzu finden sich im Umsetzungsleitfaden (Schritt 4.2.1.).

4.2.2. Welche spezifischen Betreiberpflichten sieht Art. 26 KI-VO vor?

Zusätzlich zu den Anbieterpflichten, die Wirkung auf Betreiber entfalten können, unterliegen Betreiber betreiberspezifischen Pflichten. Hiernach müssen Betreiber z. B.: 

  • geeignete technische und organisatorische Maßnahmen treffen, um sicherzustellen, dass sie Hochrisiko-KI-Systeme gemäß der Gebrauchsanweisung nutzen (Art. 26 Abs. 1 KI-VO), 

  • menschliche Aufsicht über das Hochrisiko-KI-System ermöglichen und dabei durch erforderliche Unterstützung sicherstellen, dass diese kompetent und ausreichend qualifiziert sind (Art. 26 Abs. 2 KI-VO),

  • die Funktionsweise des Hochrisiko-KI-Systems überwachen, d. h. den Betrieb des Hochrisiko-KI-Systems anhand der Gebrauchsanweisung überwachen und falls nötig, Anbieter gem. Art. 72 KI-VO informieren (Art. 26 Abs. 5 KI-VO)

Weitere Ausführungen zu diesen und weiteren Betreiberpflichten finden sich im Umsetzungsleitfaden (Schritt 4.2.2.)

Erfüllen Sie die spezifischen Betreiberpflichten nach Art. 26 KI-VO, um fortzufahren.

4.2.3. Erfülle ich die Betreiberpflicht zur Grundrechte-Folgenabschätzung nach Art 27?

Betreiber, bei denen es sich um Einrichtungen des öffentlichen Rechts oder private Einrichtungen, die öffentliche Dienste erbringen, handelt, haben gemäß Art. 27 KI-VO außerdem eine Überprüfung im Hinblick auf Auswirkungen des Hochrisiko-KI-Systems auf Grundrechte durchzuführen, wenn es Hochrisiko-KI-Systeme gemäß Artikel 6 Absatz 2 — mit Ausnahme von Hochrisiko-KI-Systemen, die in dem in Anhang III Nummer 2 aufgeführten Bereich verwendet werden sollen.

Dies hat vor der Inbetriebnahme eines Hochrisiko-KI-Systems gemäß Art. 6 Abs. 2 KI-VO zu erfolgen. Die gleiche Verpflichtung gilt für Betreiber von Hochrisiko-KI-Systemen, die 

  • bestimmungsgemäß für die Kreditwürdigkeitsprüfung und die Bonitätsbewertung natürlicher Personen verwendet werden sollen, mit Ausnahme von KI-Systemen, die zur Aufdeckung von Finanzbetrug verwendet werden (Art. 27 Abs. 1 i.V.m. Anhang III Nr. 5 lit. b KI-VO);
  • bestimmungsgemäß für die Risikobewertung und Preisbildung in Bezug auf natürliche Personen im Fall von Lebens- und Krankenversicherungen verwendet werden sollen (Art. 27 Abs. 1 i.V.m. Anhang III Nr. 5 lit. c KI-VO

Wie die Grundrechte-Folgenabschätzung nach Art 27 konkret zu erfolgen hat, wird im Umsetzungsleitfaden erläutert (Schritt 4.2.3.).

Erfüllen Sie die Betreiberpflicht zur Grundrechte-Folgenabschätzung nach Art. 27, um fortzufahren.

4.2.4. Erfülle ich die Transparenzpflichten des Betreibers, Art. 50 Abs. 3 und 4?

Betreiber von Emotionserkennungssystemen oder Systemen zur biometrischen Kategorisierung müssen spätestens zum Zeitpunkt der Erstinteraktion oder -aussetzung in klar verständlicher Weise

  • betroffene Personen über den Betrieb eines solchen Systems informieren (Art. 50 Abs. 3 KI-VO),
  • bei der Verarbeitung personenbezogener Daten die Verordnung (EU) 2016/679, Verordnung (EU) 2016/1725 bzw. die Richtlinie (EU) 2016/280 einhalten (Art. 50 Abs. 3 KI-VO), 
  • ausgenommen hiervon sind jedoch Emotionserkennungssysteme und Systeme zur biometrischen Kategorisierung, die zur Aufdeckung, Verhütung und Ermittlung von Straftaten zugelassen sind und im Einklang mit dem Unionsrecht verwendet werden, wenn die Rechte und Freiheiten Dritter geschützt sind (Art. 50 Abs. 3 KI-VO).

Weitere Ausführungen hierzu und zu den Pflichten, die Betreiber von Deepfakes zu erfüllen haben, finden sich im Umsetzungsleitfaden (Schritt 4.2.4.).

Erfüllen Sie die Transparenzpflichten für Betreiber nach Art. 50 Abs. 3 und 4, um fortzufahren.

4. Compliance-Anforderungen für Hochrisiko-KI-Systeme (Betreiber)

4.2.1. Wann muss ich Anbieterpflichten erfüllen?

An Hochrisiko-KI-Systeme stellt die KI-VO strenge Anforderungen – gerade, weil sie ein hohes Risiko für die Gesundheit und Sicherheit oder für die Grundrechte natürlicher Personen darstellen können. Wesentliche Verpflichtete sind primär die Anbieter von Hochrisiko-KI-Systemen, welche umfassenden Pflichten nach Art. 16 KI-VO unterliegen.  Diese Pflichten können allerdings auch für Betreiber von Hochrisiko-KI-Systemen Geltung entfalten, wenn diese als Anbieter eines Hochrisiko-KI-Systems zu klassifizieren sind. Den Anbieterpflichten unterliegen Betreiber dann, wenn

  • sie ein bereits in Verkehr gebrachtes oder in Betrieb genommenes Hochrisiko-KI-System mit ihrem Namen oder ihrer Handelsmarke versehen, unbeschadet vertraglicher Vereinbarungen, die eine andere Aufteilung der Pflichten vorsehen;
  • wenn sie eine wesentliche Änderung an einem Hochrisiko-KI-System, das bereits in Verkehr gebracht oder in Betrieb genommen wurde, so vornehmen, dass es weiterhin ein Hochrisiko-KI-System im Sinne von Artikel 6 bleibt;
  • wenn sie die Zweckbestimmung eines KI-Systems, einschließlich eines KI-Systems mit allgemeinem Verwendungszweck, das nicht als hochriskant eingestuft wurde und bereits in Verkehr gebracht oder in Betrieb genommen

Weitere Ausführungen hierzu finden sich im Umsetzungsleitfaden (Schritt 4.2.1.).

4.2.2. Welche spezifischen Betreiberpflichten sieht Art. 26 KI-VO vor?

Zusätzlich zu den Anbieterpflichten, die Wirkung auf Betreiber entfalten können, unterliegen Betreiber betreiberspezifischen Pflichten. Hiernach müssen Betreiber z. B.: 

  • geeignete technische und organisatorische Maßnahmen treffen, um sicherzustellen, dass sie Hochrisiko-KI-Systeme gemäß der Gebrauchsanweisung nutzen (Art. 26 Abs. 1 KI-VO), 

  • menschliche Aufsicht über das Hochrisiko-KI-System ermöglichen und dabei durch erforderliche Unterstützung sicherstellen, dass diese kompetent und ausreichend qualifiziert sind (Art. 26 Abs. 2 KI-VO),

  • die Funktionsweise des Hochrisiko-KI-Systems überwachen, d. h. den Betrieb des Hochrisiko-KI-Systems anhand der Gebrauchsanweisung überwachen und falls nötig, Anbieter gem. Art. 72 KI-VO informieren (Art. 26 Abs. 5 KI-VO)

Weitere Ausführungen zu diesen und weiteren Betreiberpflichten finden sich im Umsetzungsleitfaden (Schritt 4.2.2).

Erfüllen Sie die spezifischen Betreiberpflichten nach Art. 26 KI-VO, um fortzufahren.

4.2.3. Erfülle ich die Betreiberpflicht zur Grundrechte-Folgenabschätzung nach Art 27?

Betreiber, bei denen es sich um Einrichtungen des öffentlichen Rechts oder private Einrichtungen, die öffentliche Dienste erbringen, handelt, haben gemäß Art. 27 KI-VO außerdem eine Überprüfung im Hinblick auf Auswirkungen des Hochrisiko-KI-Systems auf Grundrechte durchzuführen, wenn es Hochrisiko-KI-Systeme gemäß Artikel 6 Absatz 2 — mit Ausnahme von Hochrisiko-KI-Systemen, die in dem in Anhang III Nummer 2 aufgeführten Bereich verwendet werden sollen.

Dies hat vor der Inbetriebnahme eines Hochrisiko-KI-Systems gemäß Art. 6 Abs. 2 KI-VO zu erfolgen. Die gleiche Verpflichtung gilt für Betreiber von Hochrisiko-KI-Systemen, die 

  • bestimmungsgemäß für die Kreditwürdigkeitsprüfung und die Bonitätsbewertung natürlicher Personen verwendet werden sollen, mit Ausnahme von KI-Systemen, die zur Aufdeckung von Finanzbetrug verwendet werden (Art. 27 Abs. 1 i.V.m. Anhang III Nr. 5 lit. b KI-VO);
  • bestimmungsgemäß für die Risikobewertung und Preisbildung in Bezug auf natürliche Personen im Fall von Lebens- und Krankenversicherungen verwendet werden sollen (Art. 27 Abs. 1 i.V.m. Anhang III Nr. 5 lit. c KI-VO

Wie die Grundrechte-Folgenabschätzung nach Art 27 konkret zu erfolgen hat, wird im Umsetzungsleitfaden erläutert (Schritt 4.2.3.).

Erfüllen Sie die Betreiberpflicht zur Grundrechte-Folgenabschätzung nach Art. 27, um fortzufahren.

4.2.4. Erfülle ich die Transparenzpflichten des Betreibers, Art. 50 Abs. 3 und 4?

Betreiber von Emotionserkennungssystemen oder Systemen zur biometrischen Kategorisierung müssen spätestens zum Zeitpunkt der Erstinteraktion oder -aussetzung in klar verständlicher Weise

  • betroffene Personen über den Betrieb eines solchen Systems informieren (Art. 50 Abs. 3 KI-VO),
  • bei der Verarbeitung personenbezogener Daten die Verordnung (EU) 2016/679, Verordnung (EU) 2016/1725 bzw. die Richtlinie (EU) 2016/280 einhalten (Art. 50 Abs. 3 KI-VO), 
  • ausgenommen hiervon sind jedoch Emotionserkennungssysteme und Systeme zur biometrischen Kategorisierung, die zur Aufdeckung, Verhütung und Ermittlung von Straftaten zugelassen sind und im Einklang mit dem Unionsrecht verwendet werden, wenn die Rechte und Freiheiten Dritter geschützt sind (Art. 50 Abs. 3 KI-VO).

Weitere Ausführungen hierzu und zu den Pflichten, die Betreiber von Deepfakes zu erfüllen haben, finden sich im Umsetzungsleitfaden (Schritt 4.2.4.).

Erfüllen Sie die Transparenzpflichten für Betreiber nach Art. 50 Abs. 3 und 4, um fortzufahren.

5. Compliance-Anforderungen für KI-Systeme mit geringem Risiko (Anbieter)

Die folgenden Compliance-Anforderungen gelten für Anbieter von KI-Systemen mit geringem Risiko und für Anbieter von Hochrisiko-Systemen („Erst-Recht-Schluss“)

5.1. Wie baue ich KI-Kompetenz auf?

Art. 4 KI-VO sieht vor, dass im Hinblick auf alle KI-Systeme eine hinreichende KI-Kompetenz aufzubauen ist.

Die Anbieter und Betreiber von KI-Systemen ergreifen Maßnahmen, um nach besten Kräften sicherzustellen, dass ihr Personal und andere Personen, die in ihrem Auftrag mit dem Betrieb und der Nutzung von KI-Systemen befasst sind, über ein ausreichendes Maß an KI-Kompetenz verfügen, wobei ihre technischen Kenntnisse, ihre Erfahrung, ihre Ausbildung und Schulung und der Kontext, in dem die KI-Systeme eingesetzt werden sollen, sowie die Personen oder Personengruppen, bei denen die KI-Systeme eingesetzt werden sollen, zu berücksichtigen sind."

KI-Kompetenz ist in Art. 3 lit. 56 KI-VO legaldefiniert als

die Fähigkeiten, die Kenntnisse und das Verständnis, die es Anbietern, Betreibern und Betroffenen unter Berücksichtigung ihrer jeweiligen Rechte und Pflichten im Rahmen dieser Verordnung ermöglichen, KI-Systeme sachkundig einzusetzen sowie sich der Chancen und Risiken von KI und möglicher Schäden, die sie verursachen kann, bewusst zu werden."

Weitere Ausführungen hierzu finden sich im Umsetzungsleitfaden (Schritt 5.1.).

Stellen Sie ein ausreichendes Maß an KI-Kompetenz sicher, um fortzufahren.

5.2.1. Ist mein System für die direkte Interaktion mit Menschen bestimmt und erfülle ich die Transparenzpflichten? (Art. 50 Abs. 1 KI-VO)

Art. 50 Abs. 1 KI-VO bezieht sich spezifisch auf KI-Systeme, die für die direkte Interaktion mit Menschen vorgesehen sind. Daher sind KI-Systeme, die nicht für eine direkte Interaktion mit natürlichen Personen bestimmt sind, von dieser Regelung nicht erfasst.

Die Anbieter stellen sicher, dass KI-Systeme, die für die direkte Interaktion mit natürlichen Personen bestimmt sind, so konzipiert und entwickelt werden, dass die betreffenden natürlichen Personen informiert werden, dass sie mit einem KI-System interagieren, es sei denn, dies ist aus Sicht einer angemessen informierten, aufmerksamen und verständigen natürlichen Person aufgrund der Umstände und des Kontexts der Nutzung offensichtlich. Diese Pflicht gilt nicht für gesetzlich zur Aufdeckung, Verhütung, Ermittlung oder Verfolgung von Straftaten zugelassene KI-Systeme, wenn geeignete Schutzvorkehrungen für die Rechte und Freiheiten Dritter bestehen, es sei denn, diese Systeme stehen der Öffentlichkeit zur Anzeige einer Straftat zur Verfügung."

Weitere Erläuterungen zu den Pflichten, Beispielfälle und Hinweise zur praktischen Umsetzung finden sich im Umsetzungsleitfaden (Schritt 5.2.1.).

5.2.2. Kann mein System synthetische Audio-, Bild-, Video- oder Textinhalte erzeugen und erfülle ich die Pflichten?(Art. 50 Abs. 2 KI-VO)

Art. 50 Abs. 2 KI-VO bezieht sich ausschließlich auf KI-Systeme, die synthetische Audio-, Text-, Bild- und Videoinhalte erzeugen: 

(2) Anbieter von KI-Systemen, einschließlich KI-Systemen mit allgemeinem Verwendungszweck, die synthetische Audio-, Bild-, Video- oder Textinhalte erzeugen, stellen sicher, dass die Ausgaben des KI-Systems in einem maschinenlesbaren Format gekennzeichnet und als künstlich erzeugt oder manipuliert erkennbar sind. Die Anbieter sorgen dafür, dass — soweit technisch möglich — ihre technischen Lösungen wirksam, interoperabel, belastbar und zuverlässig sind und berücksichtigen dabei die Besonderheiten und Beschränkungen der verschiedenen Arten von Inhalten, die Umsetzungskosten und den allgemein anerkannten Stand der Technik, wie er in den einschlägigen technischen Normen zum Ausdruck kommen kann. Diese Pflicht gilt nicht, soweit die KI-Systeme eine unterstützende Funktion für die Standardbearbeitung ausführen oder die vom Betreiber bereitgestellten Eingabedaten oder deren Semantik nicht wesentlich verändern oder wenn sie zur Aufdeckung, Verhütung, Ermittlung oder Verfolgung von Straftaten gesetzlich zugelassen sind."

Weitere Erläuterungen zu den Pflichten, Beispielfälle und Hinweise zur praktischen Umsetzung finden sich im Umsetzungsleitfaden (Schritt 5.2.2.).

Erfüllen Sie die Pflichten, um fortzufahren.

Wenn Ihr System synthetische Audio-, Bild- Video- oder Textinhalte erzeugen kann und Sie die Pflichten erfüllen, ist die Prüfung an dieser Stelle für Sie beendet.

Wenn Ihr System synthetische Audio-, Bild- Video- oder Textinhalte erzeugen kann und Sie die Pflichten erfüllen, ist die Prüfung an dieser Stelle für Sie beendet.

5. Compliance-Anforderungen für KI-Systeme mit geringem Risiko (Betreiber)

Die folgenden Compliance-Anforderungen gelten für Betreiber von KI-Systemen mit geringem Risiko und für Betreiber von Hochrisiko-Systemen („Erst-Recht-Schluss“).

5.1. Wie baue ich KI-Kompetenz auf?

Art. 4 KI-VO sieht vor, dass im Hinblick auf alle KI-Systeme eine hinreichende KI-Kompetenz aufzubauen ist.

Die Anbieter und Betreiber von KI-Systemen ergreifen Maßnahmen, um nach besten Kräften sicherzustellen, dass ihr Personal und andere Personen, die in ihrem Auftrag mit dem Betrieb und der Nutzung von KI-Systemen befasst sind, über ein ausreichendes Maß an KI-Kompetenz verfügen, wobei ihre technischen Kenntnisse, ihre Erfahrung, ihre Ausbildung und Schulung und der Kontext, in dem die KI-Systeme eingesetzt werden sollen, sowie die Personen oder Personengruppen, bei denen die KI-Systeme eingesetzt werden sollen, zu berücksichtigen sind."

KI-Kompetenz ist in Art. 3 lit. 56 KI-VO legaldefiniert als

die Fähigkeiten, die Kenntnisse und das Verständnis, die es Anbietern, Betreibern und Betroffenen unter Berücksichtigung ihrer jeweiligen Rechte und Pflichten im Rahmen dieser Verordnung ermöglichen, KI-Systeme sachkundig einzusetzen sowie sich der Chancen und Risiken von KI und möglicher Schäden, die sie verursachen kann, bewusst zu werden."

Weitere Ausführungen hierzu finden sich im Umsetzungsleitfaden (Schritt 5.1.).

Stellen Sie ein ausreichendes Maß an KI-Kompetenz sicher, um fortzufahren.

5.2.1. Ist mein System für die direkte Interaktion mit Menschen bestimmt und erfülle ich die Transparenzpflichten? (Art. 50 Abs. 1 KI-VO)

Art. 50 Abs. 1 KI-VO bezieht sich spezifisch auf KI-Systeme, die für die direkte Interaktion mit Menschen vorgesehen sind. Daher sind KI-Systeme, die nicht für eine direkte Interaktion mit natürlichen Personen bestimmt sind, von dieser Regelung nicht erfasst.

Die Anbieter stellen sicher, dass KI-Systeme, die für die direkte Interaktion mit natürlichen Personen bestimmt sind, so konzipiert und entwickelt werden, dass die betreffenden natürlichen Personen informiert werden, dass sie mit einem KI-System interagieren, es sei denn, dies ist aus Sicht einer angemessen informierten, aufmerksamen und verständigen natürlichen Person aufgrund der Umstände und des Kontexts der Nutzung offensichtlich. Diese Pflicht gilt nicht für gesetzlich zur Aufdeckung, Verhütung, Ermittlung oder Verfolgung von Straftaten zugelassene KI-Systeme, wenn geeignete Schutzvorkehrungen für die Rechte und Freiheiten Dritter bestehen, es sei denn, diese Systeme stehen der Öffentlichkeit zur Anzeige einer Straftat zur Verfügung."

Weitere Erläuterungen zu den Pflichten, Beispielfälle und Hinweise zur praktischen Umsetzung finden sich im Umsetzungsleitfaden (Schritt 5.2.1.).

Erfüllen Sie die Pflichten, um fortzufahren.

5.2.2. Kann mein System synthetische Audio-, Bild-, Video- oder Textinhalte erzeugen und erfülle ich die Pflichten?(Art. 50 Abs. 2 KI-VO)

Art. 50 Abs. 2 KI-VO bezieht sich ausschließlich auf KI-Systeme, die synthetische Audio-, Text-, Bild- und Videoinhalte erzeugen: 

(2) Anbieter von KI-Systemen, einschließlich KI-Systemen mit allgemeinem Verwendungszweck, die synthetische Audio-, Bild-, Video- oder Textinhalte erzeugen, stellen sicher, dass die Ausgaben des KI-Systems in einem maschinenlesbaren Format gekennzeichnet und als künstlich erzeugt oder manipuliert erkennbar sind. Die Anbieter sorgen dafür, dass — soweit technisch möglich — ihre technischen Lösungen wirksam, interoperabel, belastbar und zuverlässig sind und berücksichtigen dabei die Besonderheiten und Beschränkungen der verschiedenen Arten von Inhalten, die Umsetzungskosten und den allgemein anerkannten Stand der Technik, wie er in den einschlägigen technischen Normen zum Ausdruck kommen kann. Diese Pflicht gilt nicht, soweit die KI-Systeme eine unterstützende Funktion für die Standardbearbeitung ausführen oder die vom Betreiber bereitgestellten Eingabedaten oder deren Semantik nicht wesentlich verändern oder wenn sie zur Aufdeckung, Verhütung, Ermittlung oder Verfolgung von Straftaten gesetzlich zugelassen sind."

Weitere Erläuterungen zu den Pflichten, Beispielfälle und Hinweise zur praktischen Umsetzung finden sich im Umsetzungsleitfaden (Schritt 5.2.2.).

Erfüllen Sie die Pflichten, um fortzufahren.

5.2.3. Bin ich Betreiber von Emotionserkennungssystemen und Systemen zur biometrischen Kategorisierung und erfülle ich alle genannten Transparenzpflichten? (Art. 50 Abs. 3 KI-VO)

Art. 50 Abs. 3 KI-VO enthält eine besondere Informationspflicht für Betreiber von Emotionserkennungssystemen (Alt. 1) und Systemen zur biometrischen Kategorisierung (Alt. 2).

(3) Die Betreiber eines Emotionserkennungssystems oder eines Systems zur biometrischen Kategorisierung informieren die davon betroffenen natürlichen Personen über den Betrieb des Systems und verarbeiten personenbezogene Daten gemäß den Verordnungen (EU) 2016/679 und (EU) 2018/1725 und der Richtlinie (EU) 2016/680. Diese Pflicht gilt nicht für gesetzlich zur Aufdeckung, Verhütung oder Ermittlung von Straftaten zugelassene KI-Systeme, die zur biometrischen Kategorisierung und Emotionserkennung im Einklang mit dem Unionsrecht verwendet werden, sofern geeignete Schutzvorkehrungen für die Rechte und Freiheiten Dritter bestehen."

Weitere Erläuterungen zu den Pflichten, Beispielfälle und Hinweise zur praktischen Umsetzung finden sich im Umsetzungsleitfaden (Schritt 5.2.3.).

5.2.4. Bin ich Betreiber von KI-Systemen, die Deepfakes oder Texte erzeugen oder manipulieren und erfülle ich alle genannten Transparenzpflichten? (Art. 50 Abs. 4 KI-VO)

Der Regelungsumfang von Art. 50 Abs. 4 KI-VO bezieht sich spezifisch auf KI-Systeme, die Bild-, Ton-, oder Videoinhalte erzeugen oder manipulieren, die ein Deepfake sind (Abs. 4 UAbs. 1) bzw. auf KI-Systeme, die Text erzeugen oder manipulieren, der veröffentlicht wird, um die Öffentlichkeit über Angelegenheiten von öffentlichem Interesse zu informieren (Abs. 4 UAbs. 2).

(4) Betreiber eines KI-Systems, das Bild-, Ton- oder Videoinhalte erzeugt oder manipuliert, die ein Deepfake sind, müssen offenlegen, dass die Inhalte künstlich erzeugt oder manipuliert wurden. Diese Pflicht gilt nicht, wenn die Verwendung zur Aufdeckung, Verhütung, Ermittlung oder Verfolgung von Straftaten gesetzlich zugelassen ist. Ist der Inhalt Teil eines offensichtlich künstlerischen, kreativen, satirischen, fiktionalen oder analogen Werks oder Programms, so beschränken sich die in diesem Absatz festgelegten Transparenzpflichten darauf, das Vorhandensein solcher erzeugten oder manipulierten Inhalte in geeigneter Weise offenzulegen, die die Darstellung oder den Genuss des Werks nicht beeinträchtigt."

Weitere Erläuterungen zu den Pflichten, Beispielfälle und Hinweise zur praktischen Umsetzung finden sich im Umsetzungsleitfaden (Schritt 5.2.5.).

Die Prüfung ist für Sie als Betreiber beendet.

Wenn Ihr System keine Deepfakes oder Texte erzeugen oder manipulieren kann, ist die Prüfung für Sie beendet.

Erfüllen Sie die Pflichten, um fortzufahren.

Die Prüfung ist für Sie als Anbieter hiermit beendet.

6. Das Konformitätsbewertungsverfahren

Wenn alle Compliance-Anforderungen, die die KI-VO an Hochrisiko-KI-Systeme stellt, erfüllt worden sind, wird als Nächstes das Konformitätsbewertungsverfahren durchgeführt.

6.1. Gibt es harmonisierte Normen oder gemeinsame Spezifikationen, die die Anforderungen aus Kapitel III Abschnitt 2 abdecken?

Bei Übereinstimmung des KI-Systems mit relevanten harmonisierten Normen wird eine Konformität mit den Anforderungen gemäß Abschnitt 2 von Kapitel III vermutet, soweit diese Anforderungen oder Verpflichtungen von den Normen abgedeckt sind. Die relevanten harmonisierten Normen müssen solche sein, deren Fundstellen gemäß der Verordnung (EU) Nr. 1025/2012 im Amtsblatt der Europäischen Union veröffentlicht wurden. Sie werden von anerkannten europäischen Normungsorganisationen entwickelt, nämlich von der CEN (Europäisches Komitee für Normung), der CENELEC (Europäisches Komitee für elektrotechnische Normung) oder der ETSI (Europäisches Institut für Telekommunikationsnormen).

Das Gemeinsame Technische Komitee 21 von CEN and CENELEC ist derzeit damit befasst, bestehende ISO/IEC Normen anzupassen und neue zu entwickeln. Dafür hat das Komitee ein Arbeitsprogramm veröffentlicht, anhand dessen die Standardsetzung verfolgt werden kann: CEN – CEN/CLC/JTC 21 (cencenelec.eu). Bisher wurden keine Fundstellen für harmonisierte Normen mit Bezugnahme auf die KI-Verordnung im Amtsblatt der Europäischen Union veröffentlicht. 

Ausführungen zu gemeinsamen Spezifikationen und anderen technischen Lösungen finden sich im Umsetzungsleitfaden (Schritt 6.1.)

6.2. Ist das einschlägige Konformitätsbewertungsverfahren durchgeführt worden?

Art. 43 KI-VO regelt, welche Konformitätsbewertungsverfahren für welche Hochrisiko-KI-Systeme durchgeführt werden muss: 

  • Für Biometrische KI-Systeme gem. Anhang III Nummer 1, d. kann der Anbieter das Konformitätsbewertungsverfahren der internen Kontrolle gemäß Anhang VI wählen, wenn er alle Anforderungen vollständig durch Anwendung harmonisierter Normen gemäß Artikel 40 oder gemeinsamer Spezifikationen gemäß Artikel 41 umgesetzt hat. Falls dies nicht der Fall ist, kommt nur das Konformitätsbewertungsverfahren unter Beteiligung einer notifizierten Stelle gemäß Anhang VII infrage.
  • Hochrisiko-KI-Systemen gem. Anhang III Nummern 2 bis 8 ist das Konformitätsbewertungsverfahren der internen Kontrolle gemäß Anhang VI einschlägig. 
  • Für Hochrisiko-KI-Systemen, die unter die in Anhang I Abschnitt A aufgeführten Harmonisierungsrechtsakte der Union fallen, ist das Konformitätsbewertungsverfahren einschlägig, das nach dem jeweiligen Rechtsakt erforderlich ist. Die in Abschnitt 2 des Kapitels III festgelegten Anforderungen werden in diese Bewertung einbezogen. Anhang VII Nummern 4.3, 4.4 und 4.5 sowie Nummer 4.6 Absatz 5 finden ebenfalls Anwendung.

Weitere Erläuterungen finden sich im Umsetzungsleitfaden (Schritt 6.2).

6.2.1. Ist eine Ausnahme von der Erforderlichkeit eines Konformitätsbewertungsverfahrens einschlägig?

Auf ein hinreichend begründetes Ersuchen hin kann eine Marktüberwachungsbehörde das Inverkehrbringen oder die Inbetriebnahme bestimmter Hochrisiko-KI-Systeme aus außergewöhnlichen Gründen der öffentlichen Sicherheit, des Schutzes des Lebens und der Gesundheit von Personen, des Umweltschutzes oder des Schutzes wichtiger Industrie- und Infrastrukturanlagen genehmigen. Diese Genehmigung wird auf die Dauer der erforderlichen Konformitätsbewertungsverfahren befristet, wobei den außergewöhnlichen Gründen für die Ausnahme Rechnung getragen wird. 

Weitere Informationen zur Genehmigung finden sich im Umsetzungsleitfaden (Schritt 6.2).

Führen Sie erst das Konformitätsverfahren durch, um mit der Prüfung fortzufahren.

Die Prüfung ist an dieser Stelle für Sie beendet.

6.3. Was ist nach dem Konformitätsbewertungsverfahren zu tun?

Konformitätserklärung ausstellen

Die Artikel 47 bis 37 KI-VO regeln, was nach dem Konformitätsbewertungsverfahren zu tun ist.

(4) Mit der Ausstellung der EU-Konformitätserklärung übernimmt der Anbieter die Verantwortung für die Erfüllung der in Abschnitt 2 festgelegten Anforderungen. Der Anbieter hält die EU-Konformitätserklärung gegebenenfalls auf dem neuesten Stand. 

(5) Der Kommission ist befugt, gemäß Artikel 97 delegierte Rechtsakte zur Aktualisierung des in Anhang V festgelegten Inhalts der EU-Konformitätserklärung zu erlassen, um den genannten Anhang durch die Einführung von Elementen zu ändern, die angesichts des technischen Fortschritts erforderlich werden.

Weitere Ausführungen hierzu finden sich im Umsetzungsleitfaden (Schritt 6.3.)

Registrierung in der Datenbank 

Vor dem Inverkehrbringen oder der Inbetriebnahme eines in Anhang III aufgeführten Hochrisiko-KI-Systeme – mit Ausnahme von Hochrisiko-KI-Systeme der Kritischen Infrastruktur (d. h. KI-Systeme, die bestimmungsgemäß als Sicherheitsbauteile im Rahmen der Verwaltung und des Betriebs kritischer digitaler Infrastruktur, des Straßenverkehrs oder der Wasser-, Gas-, Wärme- oder Stromversorgung verwendet werden sollen) – registriert der Anbieter oder gegebenenfalls sein Bevollmächtigter sich und sein System in einer von der Kommission betriebenen EU-Datenbank (Art. 16 lit. i i.V.m. Art. 49 KI-VO). Die Datenbank ist noch im Aufbau begriffen und wird wahrscheinlich über den Internetauftritt der Kommission erreichbar sein. 

Weitere Ausführungen hierzu finden sich im Umsetzungsleitfaden (Schritt 6.3.). 

Anbringung eines CE-Kennzeichens 

Hochrisiko-KI-Systeme müssen grundsätzlich mit der CE-Kennzeichnung versehen sein, aus der ihre Konformität mit der KI-Verordnung hervorgeht (Art. 48 KI-VO).

Weitere Ausführungen hierzu finden sich im Umsetzungsleitfaden (Schritt 6.3.).

Erfüllen Sie die oben genannten Pflichten, um fortzufahren.

6.4. Vorgehen bei wesentlichen Änderungen

Art. 43 Abs. 4 KI-VO regelt, was bei wesentlichen Änderungen zu tun ist. Hochrisiko-KI-Systeme, die bereits Gegenstand eines Konformitätsbewertungsverfahren gewesen sind, müssen im Falle einer wesentlichen Änderung einem neuen Konformitätsbewertungsverfahren unterzogen werden. Bei der Frage, welches Konformitätsverfahren zu wählen ist, gilt das oben Gesagte entsprechend.  Wann eine wesentliche Änderung vorliegt, wird im Umsetzungsleitfaden erläutert (Schritt 6.4.).

Sofern wesentliche Änderungen vorliegen, beginnen Sie bitte wieder bei Schritt 6.1. "Gibt es harmonisierte Normen oder gemeinsame Spezifikationen, die die Anforderungen aus Kapitel III Abschnitt 2 abdecken? " 

7. Welche Pflichten sind nach dem Inverkehrbringen zu erfüllen?

Fortlaufende Pflichten sind gesetzliche Vorgaben, die sich an Unternehmen richten, die KI-Systeme entwickeln, vertreiben oder einsetzen. Diese Pflichten dienen dazu, sicherzustellen, dass KI-Systeme während des gesamten Lebenszyklus sicher, transparent und ethisch entwickelt und eingesetzt werden.  

Die Pflichten nach Art. 16, 72 und 73 werden im Einzelnen im Umsetzungsleitfaden erläutert (Schritt 7.). 

Erfüllen Sie die fortlaufenden Pflichten der Anbieter um fortzufahren.

Herzlichen Glückwunsch, die Prüfung ist beendet. 

Für Anbieter (und ggf. auch für Betreiber) von Hochrisiko-KI-Systemen, können die folgenden Kapitel des Umsetzungsleitfadens ebenfalls von Interesse sein. 

  • Kapitel 10: Ko- und Selbstregulierungsmechanismen der KI-VO
  • Kapitel 11: Standardisierungsfragen
  • Kapitel 12: KI-Reallabore  
Sprechen Sie uns bei Fragen gerne an.
Mitarbeiterfoto: Lea Ossmann Magiera, Bitkom e.V.
Lea Ossmann-Magiera

Wissenschaftliche Mitarbeiterin Künstliche Intelligenz

Bitkom e.V.
MA-Foto Janis Hecker
Janis Hecker
Referent Künstliche Intelligenz
Bitkom e.V.