KI-VO: Verpflichtende KI-Kompetenzen!

Die im März 2024 erlassende EU-KI-Verordnung tritt in den kommenden Jahren schrittweise in Kraft. Nach Artikel 4 der KI-VO sind Unternehmen und Organisationen, die KI-Systeme entwickeln, anbieten oder einsetzen dazu verpflichtet, für alle beteiligten Personen eine „ausreichende KI-Kompetenz“ sicherzustellen. 

Verpflichtende KI-Kompetenzen

Die KI-Verordnung definiert dabei den Begriff der "KI-Kompetenz" wie folgt (Artikel 3, Nr. 56):

„KI-Kompetenz“ ist das Wissen, die Fähigkeiten und das Verständnis, das nötig ist, um KI-Systeme verantwortlich und informiert einsetzen zu können – und sich der Chancen, Risiken und Auswirkungen bewusst zu sein.

Das bedeutet also, dass es nicht ausreicht "nur" die technische Einhaltung (z.B. durch Gewährleistung von Risikomanagement, Dokumentation und Transparenz) sicherzustellen. Es wird darüber hinaus verlangt, dass Menschen, die KI einsetzen oder überwachen, über die nötige Kompetenz verfügen müssen. Man muss also verstehen, wie KI Entscheidungen trifft, wie sie sich auf Menschen auswirkt – und wo ethische oder rechtliche Probleme entstehen können.

Betroffene Unternehmen und Organisationen werden durch die Verordnung verpflichtet, geeignete Trainings, interne Richtlinien und Qualifizierungsmaßnahmen anzubieten. Klares Ziel ist, dass Nutzer KI-Entscheidungen verstehen, KI korrekt bedienen, überwachen und ggf. eingreifen können – um Fehlentscheidungen, Diskriminierung oder Missbrauch zu verhindern. Damit wird „KI-Kompetenz“ zu einer rechtlich verbindlichen Voraussetzung für den Einsatz bestimmter KI-Systeme, ähnlich wie Datenschutzkompetenz durch die DSGVO. 

Die resultierenden Pflichten für KI-Hersteller und Betreiber

Ganz besondere Pflichten treffen Hersteller und Entwickler von KI-Systemen. Es muss professionelle Risikomanagement installiert sein, die Qualitätskontrolle muss sichergestellt sein und für die Dokumentation und Nachvollziehbarkeit der Abläufe muss gesorgt sein. Auch die Transparenz über Datenquellen und Funktionsweise muss gegeben sein. Daher ist ausgeprägte KI-Kompetenz für die betroffenen Entwicklerteams (Data Scientists, Ingenieure) erforderlich - aber auch für beteiligte Compliance- & Legal-Teams sowie für Qualitäts- und Risiko-Manager.

Betreiber bzw. Inverkehrbringer (Unternehmen, die KI nutzen oder einsetzen) sind für die sorgfältige Auswahl und Überwachung von KI-Systemen, für die Einrichtung interner Kontrollmechanismen und für die nachweisliche Schulung der Beschäftigten verantwortlich. Sie müssen demnach sicherstellen, dass ihre IT- und Fachabteilungen (z.B. HR bei Bewerber-KI, Marketing bei Empfehlungssystemen), ihre Führungskräfte (strategische Entscheidungen über KI-Einsatz) und betroffene Datenschutz- und Compliance-Beauftragte über die nötigen KI-Kompetenzen verfügen.

Besondere Auflagen für Nutzer von Hochrisiko-KI-Systemen 

Die höchsten Auflagen gibt es im Bereich von definierten "Hochrisiko-Systemen" (Art. 6, Anhang II & III KI-VO) wie etwa im Gesundheitswesen im Bereich der medizinischen Diagnostik. 

Denn nicht einwandfrei funktionierende KI-Systeme im Bereich der Diagnose, der OP-Robotik oder der Arzneimittelentwicklung haben unmittelbare Auswirkungen auf Menschenleben. In der Folge müssen Ärzte und alle betroffenen Leistungserbringer in der Lage sein, KI-Ergebnisse kritisch zu bewerten, Fehler zu erkennen und menschliche Entscheidungen über KI zu stellen. 

Entwickler eines Hochrisiko-Systems müssen ein umfassendes Maßnahmenpaket umsetzen, das sich stark an die Anforderungen aus dem Medizinprodukterecht (MDR/IVDR) anlehnt, aber zusätzlich spezifische Pflichten für KI enthält: Strenge Regeln zu Datenqualität, Risikomanagement, Transparenz, technischer Dokumentation, Konformitätsbewertung, CE-Kennzeichnung und Marktüberwachung sind einzuhalten.

In der Praxis ist die enge Verzahnung mit MDR/IVDR-Prozessen und unter Beteiligung einer benannten Stelle zu empfehlen, um die Auflagen sicher erfüllen zu können.