Künstliche Intelligenz in Unternehmen: Die erste Stufe der europäischen KI-Verordnung gilt

Seit dem 2. Februar sind die ersten Bestimmungen der KI-Verordnung der Europäischen Union ("EU") (Verordnung zur Festlegung harmonisierter Vorschriften für künstliche Intelligenz) unmittelbar anwendbar für alle Unternehmen, die KI-Systeme anbieten oder anwenden. Unternehmen sollten sich frühzeitig damit auseinandersetzen, um einschätzen zu können, welche Maßnahmen sie ergreifen müssen und welche Pflichten auf sie zukommen. Wir geben hier einen Überblick über die wesentlichen Inhalte der KI-Verordnung.

In Kraft getreten ist sie am 1. August 2024 und sie gilt seitdem in den Mitgliedstaaten der EU unmittelbar, war aber bislang noch nicht anwendbar. Dies hat sich mit dem 2. Februar 2025 geändert, der die Anwendbarkeit der ersten Stufe der KI-VO markiert. Ab diesem Zeitpunkt finden die allgemeinen Bestimmungen, die Anforderungen an Anbieter und Betreiber bei der Vermittlung von KI-Kompetenz an ihre Mitarbeiter sowie das Verbot bestimmter Praktiken im KI-Bereich Anwendung. 

Die KI-VO hat einen weiten räumlichen Anwendungsbereich und erfasst Anbieter¹ und Betreiber von KI-Systemen und weitere Akteure auch unabhängig von ihrem Standort, soweit sie KI-Systeme in der EU in den Verkehr bringen oder der Output solcher Systeme in der EU genutzt wird. Damit beansprucht die KI-VO extraterritoriale Geltung über das Gebiet der EU hinaus.

Insbesondere für Anbieter und Betreiber von KI-Systemen enthält sie ein umfangreiches Pflichtenprogramm bei der Einführung und dem Einsatz von KI-Systemen.

Pflichten und Adressaten

Die KI-VO wirkt sich im Wesentlichen auf Akteure aus, die an der Entwicklung, dem Inverkehrbringen, der Bereitstellung, der Verwendung und der Nutzung von KI-Systemen in der EU beteiligt sind. Ihre Pflichten können daher je nach Ihrer Rolle und der Risikokategorie des KI-Systems variieren. 

KI-Anbieter

Anbieter im Sinne des Art. 3 Nr. 3 KI-VO ist "eine natürliche oder juristische Person, Behörde, Einrichtung oder sonstige Stelle, die ein KI‑System oder ein KI‑Modell mit allgemeinem Verwendungszweck entwickelt oder entwickeln lässt und es unter ihrem eigenen Namen oder ihrer Handelsmarke in Verkehr bringt oder das KI‑System unter ihrem eigenen Namen oder ihrer Handelsmarke in Betrieb nimmt, sei es entgeltlich oder unentgeltlich".

Anbieter von Hochrisiko-KI-Systemen treffen z.B. die nachfolgenden Pflichten: Informationsbereitstellung (sog. Betriebsanleitung) für Betreiber, Betrieb eines Qualitätsmanagementsystems, Training des Hochrisiko-KI-Systems mit qualitativ geeigneten Datensätzen, Durchführung eines Konformitätsbewertungsverfahrens, Registrierung in einer EU-Datenbank, CE-Kennzeichnung sowie Nachweispflichten gegenüber einer noch zu bestimmenden Behörde. Anbieter von KI-Modellen mit allgemeinem Verwendungszweck treffen insbesondere Dokumentations- und Informationspflichten und die Pflicht zur Zusammenarbeit mit den zuständigen nationalen Behörden.

Betreiber von KI-Systemen

Betreiber im Sinne des Art. 3 Nr. 4 KI-VO ist "eine natürliche oder juristische Person, Behörde, Einrichtung oder sonstige Stelle, die ein KI‑System in eigener Verantwortung verwendet, es sei denn, das KI‑System wird im Rahmen einer persönlichen und nicht beruflichen Tätigkeit verwendet".

Auch Betreiber von Hochrisiko-KI-Systemen treffen nach der KI-VO besondere Pflichten wie z.B. die Bestellung eines KI-Beauftragten, Informationspflichten gegenüber Beschäftigten und Arbeitnehmervertretern, Prüf- und Dokumentationspflichten, Überwachung des KI-Systems anhand der Betriebsanleitung sowie Meldepflichten an die zuständige noch zu benennende Marktüberwachungsbehörde.

Einführer und Händler

Darüber hinaus sieht die KI-VO für Einführer und Händler von Hochrisiko-KI-Systemen besondere Pflichten vor. Einführer von KI-Systemen treffen z.B. vor dem Inverkehrbringen des KI-Systems Überprüfungs- und Dokumentationspflichten sowie Informationspflichten an nationale Behörden. Händler von Hochrisiko-KI-Systemen sind zur Prüfung verpflichtet, ob eine CE-Konformitätskennzeichnung vorliegt und dem KI-System eine Betriebsanleitung beigefügt ist.

Achtung: Für Sie könnten auch die Pflichten eines Anbieters gelten!

Arbeitgeber werden in der Regel als Betreiber von KI zu qualifizieren sein, soweit sie KI-Systeme im Personalbereich einsetzen. Sie können jedoch nach der KI-VO auch als Anbieter eines Hochrisiko-KI-Systems gelten, soweit Sie ein bereits in Verkehr gebrachtes oder in Betrieb genommenes Hochrisiko-KI‑System mit Ihrem Namen oder Ihrer Handelsmarke versehen (sog. Branding), wesentliche Änderungen vornehmen oder die Zweckbestimmung des KI-Systems verändern. Dies dürfte zum Beispiel bereits dann der Fall sein, wenn Sie ein KI-System mit Ihrem Firmenlogo versehen und nutzen. 

Einstufung der KI-Systeme

Die Einordnung der KI-Systeme erfolgt in vier Risikokategorien:

Verbotene Praktiken

Bestimmte KI-Systeme wie z.B. "Social Scoring-Systeme" sind nach der KI-VO generell verboten, da sie mit den Grundrechten der EU unvereinbar sind. Am Beispiel des Einsatzes von KI in Arbeitsverhältnissen dürften etwa KI-Anreizsysteme, die auf die Verhaltensbeeinflussung von Mitarbeitern abzielen, sowie KI-Systeme, die allein zur Bewertung von Mitarbeitern im Arbeitsverhältnis eingesetzt werden, verboten sein. Sofern ein KI-System in der Lage ist, bestimmte Emotionen des Mitarbeiters wie Langeweile oder Überforderung zu erkennen, könnte dies ebenfalls eine nach der KI-VO verbotene Praktik sein.

Hochrisiko-KI-Systeme

Diese KI-Systeme unterliegen strengen Anforderungen der KI-VO. Dazu gehören z.B. KI-Systeme, die vom Arbeitgeber im Bewerbungsverfahren für die Auswahl und Einstellung von Bewerbern eingesetzt werden (z.B. Sichtung von Bewerbungen oder Filterung und Bewertung von Bewerbern durch KI-Systeme). Auch KI-Systeme, welche Entscheidungen des Arbeitgebers über Arbeitsbedingungen, Beförderungen oder die Beendigung von Arbeitsverhältnissen beeinflussen können, können als Hochrisiko-KI-Systeme qualifiziert werden. Hierunter fallen auch solche KI-Systeme, die die Zuweisung von Aufgaben auf der Grundlage von individuellem Verhalten oder persönlichen Eigenschaften der Mitarbeiter beeinflussen können. KI-Systeme, die für die Beobachtung und Bewertung von Leistungen und des Verhaltens von Mitarbeitern eingesetzt werden, könnten auch als Hochrisiko-KI-Systeme einzustufen sein, sollten sie nicht bereits verbotene Praktiken darstellen.

KI-Modelle mit allgemeinem Verwendungszweck

KI-Modelle mit allgemeinem Verwendungszweck sind u.a. solche, die auf einer breiten Datenbasis trainiert wurden und an ein breites Spektrum weiterführender Aufgaben angepasst werden können. Hierunter fallen z.B. "Chatbots", welche auf der Grundlage bestimmter Fragestellungen neue Bild-, Audio- oder Videoinhalte erzeugen können. Solche KI-Modelle unterliegen technischen Dokumentationspflichten, einschließlich der Kennzeichnung des KI-Modells als solches. 

Sonstige KI-Systeme

Anbieter und Betreiber sonstiger KI-Systeme, die nicht in die oben genannten Kategorien fallen, müssen bestimmte Transparenzpflichten erfüllen. So müssen etwa mit solchen Systemen künstlich erzeugte Inhalte wie Bilder, Videos und Texte entsprechend maschinenlesbar gekennzeichnet sein. Die Entwicklung und Einhaltung von Verhaltenskodizes ist freiwillig. Seit dem 2. Februar 2025 ist die Anforderung in Art. 4 der KI-VO an Anbieter und Betreiber von KI-Systemen anwendbar, bei Personen, die diese Systeme in ihrem Auftrag betreiben oder nutzen, ein ausreichendes Maß an KI-Kompetenz sicherzustellen. Entsprechende Schulungen, die im Zusammenhang mit der Einführung interner Policies für die Verwendung von KI in Unternehmen stehen sollten, sollten daher zeitnah stattfinden. Diese Policies sollten daneben unter anderem die in Art. 5 der KI-VO, der ebenfalls seit dem 2. Februar 2025 anwendbar ist, geregelten verbotenen Praktiken adressieren.

Bußgelder

Die KI-VO sieht ab dem 2. August 2025 in Abhängigkeit von Art und Schwere des Verstoßes gegen die KI-VO Bußgelder bis zu EUR 35 Mio. oder bis zu 7 % des weltweiten Jahresumsatzes vor.
 

Zeitplan für Anwendbarkeit der KI-VO

Die KI-VO wird zeitlich gestaffelt wie folgt anwendbar: 

Handlungsempfehlungen

Im Hinblick auf die schon anwendbaren bzw. zukünftig anwendbar werdenden Teile der KI-VO empfehlen wir, folgende Maßnahmen zeitnah umzusetzen:

• Start des Umsetzungsprojekts KI-Verordnung (insbesondere Erfassung der verwendeten KI-Systeme, Einordnung der KI-Systeme in die jeweilige Risikokategorie, Identifikation, Prüfung und Umsetzung der einschlägigen Pflichten, u.a. Erstellung eines Pflichtenkataloges),
• Abstellen verbotener Praktiken nach Art. 5 KI-VO – bereits jetzt verpflichtend,
• Erstellung und Anpassung interner Richtlinien und Policies für Mitarbeiter (z.B. ein Verhaltenskodex, in dem geregelt ist, was Mitarbeiter bei der KI-Nutzung zu beachten haben und um rechtliche Verstöße bei der KI-Nutzung durch Mitarbeiter zu vermeiden),
• Schulungen von Mitarbeitern zum Umgang mit KI-Systemen zur Umsetzung der Verpflichtung zur Vermittlung von KI-Kompetenz nach Art. 4 KI-VO – bereits jetzt verpflichtend,
• Ermittlung, ob ein KI-Beauftragter benannt werden soll, 
• Dokumentation der Einhaltung der Bestimmungen der KI-VO,
• Entwurf, Prüfung und Verhandlung von Verträgen und Nutzungsbedingungen im Zusammenhang mit KI-Leistungen,
• Berücksichtigung weiterer rechtlicher Vorgaben, insbesondere:
  • Neuerungen in der Betriebsverfassung zur KI (z.B. Der Betriebsrat kann sich nach § 80 Abs. 3 Betriebsverfassungsgesetz über neue Technologien, einschließlich KI, von einem Sachverständigen beraten lassen; der Arbeitgeber muss den Betriebsrat über geplante Änderungen von Arbeitsverfahren und Arbeitsabläufen nach § 90 Abs. 1 Nr. 3 Betriebsverfassungsgesetz einschließlich des Einsatzes von KI informieren),
  • Informations- und Mitbestimmungsrechte des Betriebsrats (z.B. beim Abschluss und den Verhandlungen von Betriebsvereinbarungen zum Einsatz von KI-Systemen oder einer Rahmenbetriebsvereinbarung sowie bei Auswahlrichtlinien unter Verwendung von KI),
  • Datenschutzrecht (z.B. datenschutzrechtliche Analyse bei der Integration von KI-Systemen, Anpassung der Datenschutzinformationen nach Art. 13, 14 Datenschutzgrundverordnung, Klärung der datenschutzrechtlichen Verantwortlichkeiten und Abschluss entsprechender Vereinbarungen (z.B. Auftragsverarbeitungsvertrag), Prüfung und Dokumentation der Rechtsgrundlagen der Datenverarbeitungen, Anpassung der bestehenden Löschkonzepte),
  • Geschäftsgeheimnisgesetz (z.B. Erstellung eines Schutzkonzeptes sowie Schulungsmaßnahmen für Mitarbeiter über die Verwendung und Übertragung der Geschäftsgeheimnisse in KI-Systeme),
  • Urheberrecht (z.B. Sicherstellung, dass Trainingsdaten, Eingaben in KI-Systeme oder von KI-Systemen generierte Inhalte keine Rechte Dritter verletzen; Überprüfung, ob und wie eigens durch KI generierte Inhalte urheberrechtlich geschützt und kommerziell nutzbar sind; Klärung von Haftungsfragen),
  • Gewährleistung und Haftung nach den seit 2022 geltenden Bestimmungen im Bürgerlichen Gesetzbuch zu Verträgen über digitale Produkte sowie auf Grundlage der am 9. Dezember 2024 in Kraft getretenen neuen europäischen Produkthaftungsrichtlinie, die nunmehr ausdrücklich auch für Software und damit auch für KI-Systeme gilt. 

¹ Aus Gründen der besseren Lesbarkeit wurde auf eine geschlechtsspezifische Unterscheidung verzichtet. Die verwendeten Personenbezeichnungen sind geschlechtsneutral zu sehen.