Der EU AI Act und seine Auswirkungen auf Medizinprodukte
Ein Expertenbeitrag von Prof. Dr. Dagmar Krefting, Direktorin des Instituts für Medizinische Informatik an der Universitätsmedizin Göttingen und Mitglied der Plattform Lernende Systeme
Medizinprodukte, die auf Methoden der künstlichen Intelligenz (KI) aufbauen, verbessern bereits heute die Gesundheitsversorgung. Beispiele sind Softwaresysteme zur teilautomatisierten Bildanalyse in der Radiologie oder Kamerasysteme mit KI-gestützter Bildauswertung für komplexe Operationen. Sie bieten darüber hinaus großes Potenzial für eine verstärkte Automatisierung von Routineaufgaben und eröffnen völlig neue Wege in der Prävention, Diagnostik, Therapie und Pflege.
Medizinprodukte müssen im Sinne der Sicherheit für Patientinnen und Patienten für eine Marktzulassung hohen regulatorische Anforderungen genügen. Die Anforderungen sind seit 2017 in der Medical Device Regulation kurz MDR (EU-Verordnung 2017/745 über Medizinprodukte) und der In-vitro Device Regulation kurz IVDR (EU-Verordnung 2017/746 über In-vitro-Diagnostika) geregelt. Sind KI-Modelle Teil eines Medizinprodukts, so wird seit August 2024 zusätzlich der EU AI Act (EU-Verordnung 2024/1689 zur Festlegung harmonisierter Vorschriften für Künstliche Intelligenz) relevant.
Die Umsetzung der MDR ist auch im achten Jahr ihres Bestehens komplex. Durch die MDR sind bei Herstellern von Medizinprodukten und Zulassungsstellen die finanziellen und personellen Aufwände gestiegen, zum Beispiel für die notwendige Dokumentation sowie die Erstellung und Prüfung der Zulassungsanträge. Laut Zahlen aus einer Umfrage aus dem Jahr 2022 hat sich die durchschnittliche Zeit für eine Zertifizierung eines Medizinprodukts in Folge der MDR von circa 6 auf aktuell 13–18 Monate mehr als verdoppelt. Die Übergangsfristen für die umfassende Gültigkeit der Anforderungen aus der MDR wurden wegen der Aufwände für die Rezertifizierung bestehender Produkte bereits von 2024 auf 2028 verlängert und eine Initiative zur Vereinfachung der der Vorschriften gestartet.
Der EU AI Act zielt darauf ab, die verantwortungsvolle Entwicklung von innovativen Anwendungen auf Grundlage von KI-Verfahren in der Europäischen Union zu vereinheitlichen. Die Verordnung stellt eine rechtssichere Grundlage für die einheitliche Nutzung von KI-Anwendungen dar. Im Gesundheitswesen trifft sie als horizontale Regulierung auf vorhandene sektorale Vorgaben, wie zum Beispiel die MDR, und verschärft damit potenziell das Spannungsfeld zwischen Innovationsfähigkeit und Produktsicherheit, z. B. durch Überschneidungen und Doppelregulierungen.
Die deutsche Medizintechnikbranche wird Stand 2024 zu 93 Prozent von kleinen und mittelständischen Unternehmen (KMU) getragen und ist ein wesentlicher Wirtschaftsfaktor mit über 210.000 Arbeitsplätzen und fast 20 Milliarden Euro jährlicher Wertschöpfung. Großunternehmen der Branche verfügen über spezialisierte Abteilungen mit Expertinnen und Experten für die Umsetzung regulatorischer Anforderungen. KMU sowie Start-Ups stellt die Umsetzung komplexer regulatorischer Anforderungen jedoch vor Herausforderungen, da sie nicht über die notwendigen personellen und finanziellen Ressourcen verfügen.
Einige mögliche Innovationshemmnisse insbesondere für KMU und Start-Ups wurden bei der Ausarbeitung des AI Acts bereits beachtet: Für KMU und Start-ups soll beispielsweise eine vereinfachte technische Dokumentation bei der Zulassung von Hochrisiko-Systemen ermöglicht werden und diese Unternehmen sollen einen vorrangigen und erleichterten Zugang zu Testumgebungen erhalten.
Damit der AI Act auch langfristig zur Entwicklung und zum Einsatz innovativer Medizinprodukte mit KI-Nutzung unter Wahrung der strikten Anforderungen an die Produktsicherheit beiträgt, sind weitere Maßnahmen notwendig. Am Anfang steht dabei der Abgleich bestehender Anforderungen, zum Beispiel durch die MDR, und neuer Anforderungen durch den EU AI Act, insbesondere die Möglichkeit einer einheitlichen technischen Dokumentation, die sowohl für die Konformität nach MDR als auch AI Act genutzt werden kann. Im AI Act ist diese Möglichkeit in Erwägungsgrund 64 bereits angelegt: den Anbietern von Medizinprodukten mit KI wird Flexibilität dahingehend eingeräumt, dass die durch den AI Act zusätzlich erforderliche Dokumentation in bestehende Unterlagen aus der Zulassung des Produkts im Rahmen der MDR integriert werden kann, solange alle geltenden Anforderungen erfüllt werden.
Die technologischen Fortschritte von KI sollen künftig noch stärker durch innovative Medizinprodukte nutzbar werden. Die Erklärbarkeit von KI-Anwendungen (explainable AI – XAI) auf Basis von Artikel 14 des AI Acts ist eines der Grundprinzipien für eine menschenzentrierte Entwicklung von KI-Anwendungen. Erklärbarkeit meint technische Verfahren, die es den Nutzenden von KI-Systemen ermöglichen, nachvollziehbar die Gründe für Entscheidungen des KI-Systems zu bewerten und zu überwachen. Bei komplexeren nicht-linearen KI-Verfahren, wie Deep-Learning-Verfahren, ist die Erklärbarkeit noch Teil aktueller Forschung. Aber gerade solche nicht-lineare KI-Modelle bieten oft einen großen Mehrwert, da sie zum Beispiel eine hohe Modellgüte bei komplexeren Aufgaben erreichen, vielseitiger einsetzbar sind und hochdimensionale, multimodale Datensätze besser verarbeiten können. Perspektivisch müssen daher auch unter Berücksichtigung von technologischen Entwicklungen im Bereich KI Zwischenlösungen in Bezug auf Erklärbarkeit ermöglicht werden.
Aus der in Artikel 14 des AI Acts genannten Forderung zur menschlichen Aufsicht bei Hochrisiko-Systemen ergeben sich potenziell weitere Herausforderungen: Die Weiterentwicklung von KI-Methoden könnte dazu führen, dass menschliche Aufsicht zum Risikofaktor beim Einsatz von KI-basierten Systemen allgemein und damit auch bei KI-basierten Medizinprodukten – speziell im Bereich der Entscheidungsunterstützung – wird. Untersuchungen in unterschiedlichen Anwendungsbereichen zeigen unter anderem zwei mögliche Fehlerquellen bei der Kopplung von KI-basierten Vorschlägen mit menschlicher Entscheidungsfindung: Erstens, wenn den Vorschlägen des KI-Systems ohne Prüfung quasi blind vertraut wird und zweitens, wenn den Ergebnissen der KI zu wenig vertraut wird. Im ersten Fall erfüllt der Mensch nicht die im AI Act angedachte Aufgabe einer Kontrollinstanz, im zweiten Fall senkt die menschliche Aufsicht potenziell die Ergebnisqualität des KI-Systems. Die Frage, ob eine menschliche Aufsicht bei automatisierten Entscheidungssystemen zu besseren Ergebnissen führt, ist daher noch nicht abschließend geklärt. Ähnlich zu den Anforderungen für die Erklärbarkeit von KI-Systemen im AI Act sollte die Pflicht zur menschlichen Aufsicht daher ebenfalls dynamisch und in Abhängigkeit des jeweiligen KI-Systems und Anwendungsbereichs betrachtet werden.
Der AI Act bietet auch Möglichkeiten, um KI-basierte Medizinprodukte in der universitären Forschung leichter einzusetzen. Laut AI Act sind KI-Systeme und -Modelle, die eigens für den alleinigen Zweck der wissenschaftlichen Forschung und Entwicklung entwickelt und in Betrieb genommen werden, von den Regeln des AI Acts ausgenommen. Dies gilt auch für produktorientierte Forschung, Entwicklung und Testung, bevor diese Systeme auf den Markt gebracht werden. Die Anforderungen der MDR greifen hingegen größtenteils schon bei Geräten, die für Forschungszwecke an Patientinnen und Patienten genutzt werden sollen. Die innovationsfreundliche Regelung des AI Acts sollte daher für die Entwicklung von Medizinprodukten nicht durch Anforderungen aus der MDR negiert werden, wodurch auch hier ein Abstimmungsbedarf zwischen den beiden Regulierungen besteht.
Ein weiterer Aspekt sind kontinuierlich lernende KI-Systeme. Üblicherweise werden sogenannte statische KI-Modelle einmalig erstellt und dann im Betrieb nicht mehr geändert. Bei kontinuierlichem Lernen werden den KI-Modellen stattdessen sukzessive immer neue Datenpunkte zum iterativen Training zur Verfügung gestellt, um mit Hilfe der stetig wachsenden Datengrundlage deren Prognosequalität zu verbessern. Aktuell sind auf Grund der Zulassungsregeln nur statische KI-Anwendungen im Gesundheitswesen im Einsatz, da die Zulassung nur eine bestimmte Modellversion berücksichtigt. Dabei könnte ein kontinuierlich lernendes KI-System Fachkräfte besser unterstützen und seine bereits erlernten Aufgaben stetig verfeinern, zum Beispiel bei der Erstellung von Diagnosen. Der AI Act berücksichtigt kontinuierlich lernende KI-Systeme; deren Inverkehrbringen ist auch ohne zusätzliche Rezertifizierung möglich, wenn der Anbieter bereits im Rahmen der initialen Konformitätsbewertung konkrete Änderungen der Leistungen des Systems definiert und diese Änderungen keine nachteiligen Auswirkungen auf die Nutzung des Systems haben. Zur Umsetzung dieser Möglichkeiten werden bereits Werkzeuge entwickelt, wie beispielsweise eine sogenannte antizipierende CE-Konformitätsbewertung als Vorschlag einer Arbeitsgruppe der Deutschen Gesellschaft für Biomedizinische Technik oder ein Plan für die Kontrolle von im Vorhinein festgelegten Änderungen von Seiten der US-Amerikanischen Zulassungsbehörde FDA.
Die umsetzungsfreundliche Ausgestaltung des AI Acts ist ein wichtiger, aber nicht der einzige Baustein zur Steigerung der Innovationsfähigkeit im Bereich KI-gestützter Medizinprodukte. Trotz technischer Fortschritte, wie die Nutzung von synthetischen Daten zur Entwicklung von KI-Modellen oder Ansätzen wie Transfer Learning zur Reduktion der für das Training von KI-Modellen notwendigen Datenmenge, ist die Verfügbarkeit von realen und qualitativ hochwertige Gesundheitsdaten nach wie vor eine zentrale Voraussetzung für die Entwicklung neuer KI-Systeme. Dabei kann und sollte der europäische Gesundheitsdatenraum eine wesentliche Rolle spielen, da er erstmals Zugang zu einer Vielzahl von nationalen Datenquellen ermöglichen soll. Auch auf nationaler Ebene gibt es eine Vielzahl an positiven Entwicklungen: Beispiele sind das Gesundheitsdatennutzungsgesetz oder auf universitärer Seite das Netzwerk Universitätsmedizin und das Forschungsdatenportal Gesundheit (FDPG) der Medizininformatik-Initiative. Im FDPG stehen bereits heute strukturierte und standardisierte Daten für Forschung und Entwicklung zur Verfügung.
Für Deutschland und Europa bietet sich so die Chance, der bestehenden Marktmacht internationaler Unternehmen mit einer gesteigerten EU-Innovationsfähigkeit entgegenzutreten. Einerseits werden Verbesserungen in der Gesundheitsversorgung und die Zukunftsfähigkeit der Gesundheitswirtschaft gestärkt. Andererseits kann durch eine aktive Entwicklung KI-gestützter Anwendungen für das Gesundheitssystem verhindert werden, dass die Bedingungen und Möglichkeiten für die Nutzung von Gesundheitsdaten ausschließlich von nicht-europäischen Akteuren definiert werden. Nur so wird auch in Zukunft ein souveräner Umgang mit KI-Gesundheitsanwendungen innerhalb der EU möglich sein.
Das Impulspaper „KI-Verordnung: Ihre Auswirkungen für Medizinprodukte. Herausforderungen und offene Fragen“ steht hier zum Download zur Verfügung.
Beitrag erschienen in:
Blog „Fostering Innovation“ der Bertelsmann Stiftung
Dezember 2025