Besondere Auflagen für Entwickler von "Hoch­risiko-KI"

Die KI-Verordnung der EU (KI-VO) legt für KI-Systeme im Bereich der medizinischen Diagnostik besonders strenge Anforderungen fest, da diese als „Hochrisiko-KI-Systeme“ eingestuft sind (Art. 6, Anhang II & III KI-VO). Entwickler derartiger KI-Systeme müssen ein umfassende Maßnahmenpaket umsetzen, das sich stark an die Anforderungen aus dem Medizinprodukterecht (MDR/IVDR) anlehnt, aber zusätzlich spezifische Pflichten für KI enthält.

Vorab muss natürlich grundsätzliche geprüft werden, ob das betreffende Softwareprodukt überhaupt in den Anwendungsbereich der KI-VO fällt: Als "KI-System" wird eine Software verstanden, die mit maschinellem Lernen, logikbasierten Ansätzen oder statistischen Verfahren arbeitet. Und KI-Systeme, die medizinische Diagnostik unterstützen, fallen praktisch automatisch unter den Bereich der „Hochrisiko-KI“, da bei Fehlern der Software Menschenleben in Gefahr sind.

Erforderliche Maßnahmenpakete

Was ist für den Hersteller einer „Hochrisiko-KI“ konkret zu tun? 
 

Professionelles Qualitäts- und Risikomanagement

Allem voran ist die Installation eines professionellen Risikomanagementsystems (Art. 9), vergleichbar mit ISO 14971 ist aufgrund der Bestimmungen der Verordnung unerlässlich. Die Dokumentation aller Gefahren durch Fehlklassifikationen, Bias, Datenunsicherheit etc. ist ebenso vorgeschrieben, wie aktive Maßnahmen zur Risikominimierung.

Erfüllung von besonderen Datenanforderungen

Die Verwendung von hochwertigen Trainings-, Validierungs- und Testdaten ist einzuhalten (Art. 10). Eingesetzte Daten müssen repräsentativ, fehlerfrei und vollständig sein. Mögliche Biases (z.B. Geschlecht, Ethnie, Alter) müssen minimiert werden und klinisch relevante Populationen müssen abgedeckt sein. Darüber hinaus müssen dokumentierte Daten-Governance-Prozesse eingehalten werden.

Hohe technische Anforderungen

Die besonderen Anforderungen an die technische Dokumentation ist im Art. 11 der Verordnung geregelt. Sie muss insbesondere Auskunft darüber geben, was der eigentliche Zweck des Systems ist, welche Trainingsmethoden eingesetzt werden, welche Modellarchitektur zugrunde liegt und welche Leistungsmetriken herangezogen werden. Der Artikel 12 sieht Logging & Traceability vor: Die Protokollierung aller automatisierten Entscheidungen muss abgeblidet sein. Der Verordnunsartikel 13 fordert Transparenz ein: Das System muss erklärbar und nachvollziehbar sein. Genauigkeit, Robustheit und Cybersicherheit muss zudem gewährleistet sein (Art. 15).

Konformitätsbewertung & CE-Kennzeichnung

Die KI-Verordnung schreibt die Durchführung eines umfassenden Konformitätsbewertungsverfahrens (Art. 19 ff.) vor. Empfohlen wird, hierzu eine offiziell benannte Stelle nach MDR/IVDR einzurichten und beauftragen. Das Resultat des Prozesses soll schließlich die Erstellung einer EU-Konformitätserklärung sein, die zum Anbringen der CE-Kennzeichnung mit Hinweis auf die KI-VO führt.

Achtung: Grundsätzlich gilt für die "Doppelregulierung MDR/IVDR und KI-VO", dass für Medizinprodukte die MDR/IVDR vorrangig gilt und die KI-VO ergänzt sie. Der Hersteller muss also beide Rechtsrahmen einhalten.

Die expliziten Pflichten des Herstellers

• Qualitätsmanagementsystem einrichten (z. B. ISO 13485).
• Technische Dokumentation und Risikodokumentation stets aktuell halten.
• Registrierung des Systems in der EU-Datenbank für Hochrisiko-KI.
• Post-Market-Surveillance (PMS): fortlaufende Überwachung der Systemleistung im Feld.
• Meldepflichten bei schwerwiegenden Vorfällen und Fehlfunktionen (ähnlich Vigilanz MDR).