Aktuelle Anforderungen zur Nutzung von KI-Systemen

Die digitale Transformation hat auch in der pharmazeutischen Industrie begonnen. In diesem Zusammenhang wird vermehrt über den Einsatz von KI-Systemen nachgedacht. Inzwischen kommen erste KI-Anwendungen bereits produktiv zum Einsatz. Beispiele hierfür sind Systeme zur:

• Prozessüberwachung und -steuerung
• Qualitätskontrolle (z.B. Bildklassifikation)
• Wartung / Instandhaltung
• Dokumentationsunterstützung
• Systeme zur Auswertung von Regularien
  

Regulatorischer Hintergrund

Der Einsatz von KI-basierten Systemen ist im pharmazeutischen Umfeld noch relativ neu. Spezifische Regulierungen in Form von gültigen Gesetzen, Verordnungen und Guidelines existieren bislang nicht oder befinden sich in der Erarbeitung.
Übergeordnet, aber nicht pharmaspezifisch, existiert seit 2024 die EU-Verordnung 2024 / 1689 (Artificial Intelligence Act), welche Künstliche Intelligenz sektorübergreifend nach 4 Risikoklassen reguliert:

• Inakzeptables Risiko - verboten
• Hohes Risiko - streng reguliert
• Begrenztes Risiko - Transparenzpflichten
• Minimales oder kein Risiko - unreguliert
  

Inakzeptable Risiken, z.B. "Social Scoring Systems", sind verboten. Systeme mit minimalem Risiko – dazu zählen vermutlich, wenngleich derzeit noch nicht abschließend geklärt, die meisten KI-Systeme im GMP-Bereich – werden nicht reguliert.
Weiterhin veröffentlichte die EMA (European Medicines Agency) in 2024 ein Reflection paper on the use of Artificial Intelligence (AI) in the medicinal product lifecycle mit einigen grundlegenden Betrachtungen.

Situation in den USA

Momentan gibt es zum Thema KI einen Entwurf "FDA Guidance for Industry - Considerations for the Use of Artificial Intelligence to Support Regulatory Decision-Making for Drug and Biological Products". Dieser betrachtet nur KI-Modelle, deren Zweck darin besteht, Informationen oder Daten zu generieren, die behördliche Entscheidungsfindung in Bezug auf die Sicherheit, Wirksamkeit oder Qualität von Arzneimitteln unterstützen. Nicht betrachtet werden KI-Modelle in der Arzneimittelforschung oder KI-Modelle zu Steigerung betrieblicher Effizienz, die keinen Einfluss auf die Patientensicherheit und die Arzneimittelqualität haben.

Situation in Europa im GMP-Umfeld

Klassische Regularien wie der EU-GMP-Leitfaden, insbesondere dessen Kapitel 4 (Dokumentation) und dessen Anhang 11 (Computergestützte Systeme) können grundsätzlich auch auf KI angewendet werden. KI-spezifisch Aspekte werden auch hier bislang nicht dezidiert angesprochen. Derzeit befindet sich der Anhang 11 und das Kapitel 4 in Überarbeitung. Ein Konzeptpapier aus 2022 gab bereits die Richtung der Überarbeitung vor, insbesondere in Hinblick auf die Digitale Transformation und den Einsatz von KI und ML (Machine Learning) bei kritischen GMP Anwendungen. Erste Entwürfe veröffentlichte die EU-Kommission am 5. Juli 2025 und stellte diese zur Diskussion. 
Neben den Entwürfen zu Anhang 11 und Kapitel 4 wurde zeitgleich ein recht detaillierter Entwurf für einen neuen Annex 22 (Artificial Intelligence) veröffentlicht. Die Entscheidung zu einem eigenständigen Annex 22 ist durchaus umstritten. KI entwickelt sich aktuell rasant, sodass fraglich ist, ob die regulatorische Entwicklung dieser Dynamik überhaupt folgen kann. Alternativ hätte eine grundlegende Betrachtung von KI im Annex 11 erfolgen können, ergänzt durch aktuelle Leitdokumente der Überwachungsbehörden.
Die Entwürfe zu Kapitel 4, Annex 11 und Annex 22 wurden umfangreich kommentiert. Es bleibt abzuwarten, wie sich diese Kommentare auf die finale Fassung der für 2026 geplanten Dokumente – vermutlich erst 2027 – auswirken werden.

Was genau wird im Entwurf zum Annex 22 (Artificial Intelligence) geregelt?

Beim Annex 22 handelt es sich bislang um einen Entwurf, der von Seiten der Industrie teilweise stark kritisiert wird. Wie die Kommentierung der Industrie die finale Fassung beeinflusst bleibt abzuwarten.
Der Annex 22 selbst betrachtet alle Typen von computergestützten Systemen in der Herstellung von Arzneimitteln und pharmazeutischen Wirkstoffen, die KI-Modelle bei kritischen Anwendungen mit direktem Bezug zur Patientensicherheit, Produktqualität und Datenintegrität verwenden. Nicht betrachtet werden bislang KI-Modelle ohne direkten Einfluss auf die 3 Kriterien, z.B.

• Trainingssysteme
• Systeme bei der Wartung und Instandhaltung
• Unterstützungssysteme bei der Auditierung
• Systeme im Bereich Validierung und Dokumentenmanagement
• Abweichungsmanagement

Generell sind einige Vorgaben / Konzepte aus dem Entwurf umstritten, z.B.

• Das Dokument bezieht sich nur auf statische Modelle, also Modelle die ihre Leistungsfähigkeit nicht durch die Einbeziehung neuer Daten steigern. Der Gebrauch dynamischer Modelle mit einem kontinuierlichen und automatischen Lernen ist von dem Entwurf nicht erfasst und sollte nicht bei kritischen GMP-Anwendungen verwendet werden. Momentan wird ein "eingefrorenes Modell" erwartet, mit den klassischen GMP-Ansätzen Entwicklung-Testen-Einfrieren-Einsatz-Änderungskontrolle
• Das Dokument ist nur auf Modelle mit "deterministischem Output" bezogen, bei dem identischer Input identischen Output generiert. Demzufolge wird der Einsatz von Generativer KI und von Large Language Modellen (LLMs) nicht erfasst.

Was betrachtet der Annex 22 Entwurf im Detail?

Kapitel 3: Intended Use
Der beabsichtigte Zweck eines Modells und dessen Aufgaben sollten aufbauend auf einer tiefen Prozesskenntnis im Detail beschrieben werden.

Kapitel 4: Acceptance Criteria
Geeignete, anwendungsabhängige Testmetriken (z. B. Sensitivität, Spezifität, F1-Score) sind vorab festzulegen. Akzeptanzkriterien müssen dokumentiert und durch einen Subject Matter Expert (SME) genehmigt werden. Die Modellleistung darf nicht schlechter sein als der ersetzte Prozess.

Kapitel 5: Test Data
Testdaten müssen repräsentativ, ausreichend groß und statistisch belastbar sein. Sie sollen alle Subgruppen sowie seltene Varianten enthalten. Vorverarbeitung, Ausschlüsse und Datengenerierung sind zu begründen und zu dokumentieren.

Kapitel 6: Test Data Independency
Testdaten müssen strikt unabhängig von Trainings- und Validierungsdaten sein. Technische und organisatorische Maßnahmen sichern Zugriffskontrolle, Audit Trail und personelle Unabhängigkeit. Nutzung, Zeitpunkt und Häufigkeit der Tests sind nachvollziehbar zu dokumentieren.

Kapitel 7: Test Execution
Ein genehmigter Testplan mit definierten Metriken, Akzeptanzkriterien und Testskript ist erforderlich. Das Modell muss Generalisierungsfähigkeit zeigen. Abweichungen oder Nichterfüllung sind zu dokumentieren, zu untersuchen und zu begründen. Sämtliche Testunterlagen sind aufzubewahren.

Kapitel 8: Explainability
Während der Tests sind beitragende Merkmale zu erfassen (z. B. mittels Feature Attribution). Entscheidungsgrundlagen müssen nachvollziehbar sein. Relevanz und Angemessenheit der verwendeten Features sind risikobasiert zu prüfen und Bestandteil der Freigabe.

Kapitel 9: Confidence
Modelle sollen, sofern anwendbar, Confidence Scores protokollieren. Geeignete Schwellenwerte sind festzulegen. Bei niedriger Sicherheit ist ein "undecided"-Ergebnis zu prüfen, um unzuverlässige Klassifikationen oder Vorhersagen zu vermeiden

Kapitel 10 Operation
Nach Testfreigabe unterliegen Modell, System und Prozess Change- und Configuration-Control. Leistungs- und Input-Drift-Monitoring ist verpflichtend. Änderungen erfordern Bewertung hinsichtlich Re-Test. Bei Human-in-the-Loop sind Überprüfungs- und Dokumentationspflichten festgelegt.

Fazit

Die regulatorische Landschaft für KI in der Pharmaindustrie ist 2026 klarer strukturiert als je zuvor. Mit dem Entwurf von Annex 22 etabliert die EU erstmals einen GMP-spezifischen, strukturierten Rahmen für KI-Systeme. Parallel entwickelt die FDA ein kontextbezogenes Glaubwürdigkeitsmodell, welches regulatorische Entscheidungsprozesse systematisch absichert. Damit wird klar: KI-Compliance wird zu einem integralen Bestandteil moderner Qualitätssysteme. Den aktuellen Stand des Einsatzes von KI im pharmazeutischen Umfeld erfahren Sie in der 2. Pharma KI-Konferenz am 29./30. April in Karlsruhe. Ergänzende Weiterbildungsangebote finden Sie auf der Themenseite des GMP-Navigators.