KI und Halluzinationen im GMP Umfeld, das sagt die KI

Im GMP Umfeld wird die Nutzung von KI derzeit umfangreich diskutiert. Viele Unternehmen möchten GMP Aufgaben mit KI Unterstützung oder auch vollständig mit KI Systemen realisieren. Aber was ist möglich und wo sind die Grenzen?

Regulatorische Anforderungen an KI im GMP Umfeld

Die EU hat die Herausforderung erkannt und den EU GMP Annex 22 als Entwurf am 7. Juli 2025 publiziert. Dieser Entwurf führte zu einer Vielzahl von Kommentaren durch die Industrieverbände, siehe u.a. Annex 22 Kommentar der ECA und European QP Association. Im Mittelpunkt vieler Kommentare: der Wunsch generative KI also z.B. auch LLMs (wie ChatGPT, Gemini, etc) nutzen zu können. Der aktuelle Entwurf von EU GMP Annex 22 schließt das momentan für GMP kritische Systeme aus. Zusätzlich hat die EMA auch das Reflection paper on the use of artificial intelligence in the lifecycle of medicines mit zusätzlichen Informationen publiziert. 

Kritiker von generativer KI verweisen auf die Risiken von Halluzinationen bei KI Systemen und das diese Halluzinationen zu Fehlentscheidungen im GMP regulierten Umfeld führen können. Aber kann man nicht Halluzinationen vollständig ausschließen, in dem man generative KI System kontrolliert reguliert, validiert und überwacht?

Was liegt näher als die KI selbst zu fragen?

Wir haben das ChatGPT 5.5 gefragt und im nachfolgenden die Antwort einkopiert. Zusätzlich haben wir dann noch weitere KI Systeme, darunter Mistral Large 3, Gemeni 2.5 Pro, Opus 4.7 befragt. Die Einschätzungen sind sehr ähnlich.

Die Frage: Gibt es Einstellung, Validierungsaktivitäten oder andere weitere Sicherheitsmaßnahmen, die ich ergreifen kann, um die Halluzination einer KI vollständig zu vermeiden, um KI System im GMP regulierten Bereich einzusetzen?

"In einem GMP-regulierten Umfeld kannst du derzeit nicht davon ausgehen, dass ein generatives KI-System dauerhaft fehlerfrei arbeitet - insbesondere nicht bei autonomen Entscheidungen oder Reviews mit regulatorischer Relevanz.

Im pharmazeutischen Kontext ist das ein zentrales Problem, weil GMP-Systeme auf folgenden Grundannahmen beruhen:
" Determinismus
" Reproduzierbarkeit
" Nachvollziehbarkeit
" Validierbarkeit
" kontrolliertes Änderungsverhalten
" dokumentierte Entscheidungslogik

Generative KI verletzt mehrere dieser Eigenschaften zumindest teilweise.

Das Kernproblem unter GMP: Ein klassisches validiertes System verhält sich idealerweise so: Gleicher Input -> gleicher Output

Bei LLMs gilt das oft nicht zuverlässig:
" Antworten können variieren,
" Gewichtungen ändern sich,
" Modellupdates verändern Verhalten,
" Halluzinationen bleiben möglich,
" Begründungen können konstruiert wirken,
" Unsicherheit ist schwer quantifizierbar.

Für GMP ist das kritisch.

Beispiel: Batch Record Review

Wenn eine KI prüft:
" fehlende Unterschriften,
" falsche Grenzwerte,
" Abweichungen,
" Inkonsistenzen,
" OOS/OOT-Indikatoren,
" Prozessverletzungen,

dann entstehen regulatorische Risiken, wenn die KI:
" etwas übersieht,
" etwas falsch interpretiert,
" Daten falsch zusammenführt,
" oder eine plausible, aber falsche Begründung erzeugt.

Das Problem ist nicht nur der Fehler selbst, sondern:
" fehlende Vorhersagbarkeit,
" fehlende vollständige Erklärbarkeit,
" und die Schwierigkeit der formalen Validierung.

Was Regulatoren aktuell typischerweise akzeptabler finden. Eher akzeptiert:
" Assistenzsysteme
" Priorisierung
" Vorschläge
" semantische Suche
" Dokumentenzusammenfassung
" Signal Detection
" Risikoindikatoren

Weniger akzeptiert:
" autonome Freigabeentscheidungen,
" finale QA-Entscheidungen,
" selbständige Deviation-Bewertung,
" vollautomatische Chargenfreigabe.

Der Mensch bleibt typischerweise "final decision maker".

GMP-validierungstechnisch relevant: In GMP-Umgebungen gelten u. a.:
" European Medicines Agency
" U.S. Food and Drug Administration
" GAMP 5
" CSV / CSA
" Annex 11
" 21 CFR Part 11
" Data Integrity Anforderungen

Diese verlangen kontrollierbares Systemverhalten. Ein probabilistisches Modell ist schwer vollständig zu validieren, weil:
" die Zustandsräume enorm sind,
" Outputs nicht vollständig testbar sind,
" und keine vollständige Spezifikation aller möglichen Antworten existiert.

Deshalb entsteht gerade ein neuer Ansatz. Die Industrie bewegt sich eher Richtung:
KI als "decision support"
nicht
KI als "decision authority"

Also:
" KI identifiziert Auffälligkeiten,
" erstellt Draft Reviews,
" markiert Risiken,
" schlägt CAPAs vor,
" priorisiert Dokumente,

aber:
" QA prüft,
" QA genehmigt,
" QA bleibt verantwortlich.

Technisch kann man das Risiko stark reduzieren. Zum Beispiel durch:
" abgeschottete Modelle,
" kein freies Generieren,
" constrained generation,
" regelbasierte Checks,
" feste Ontologien,
" Retrieval aus SOPs,
" Audit Trails,
" deterministic pipelines,
" Human-in-the-loop,
" statistische Performance-Messung,
" kontinuierliche Revalidierung.

Dann wird die KI eher: "regelunterstütztes Analysesystem" statt: "frei formulierendes Sprachmodell"

Praktische Realität. Viele Pharmafirmen experimentieren bereits mit KI in:
" QA
" Regulatory Affairs
" PV
" Manufacturing
" Tech Transfer
" Dokumentenreview

Aber meist unter sehr engen Grenzen und mit starker menschlicher Kontrolle. Der regulatorisch schwierigste Punkt ist weniger:
"Kann die KI meistens richtig liegen?" sondern: "Kann ich gegenüber einem Auditor nachweisen, dass das System kontrolliert, reproduzierbar und valide arbeitet?"´Und genau dort wird generative KI momentan noch problematisch."

Die Selbsteinschätzung der KI liefert hier interessante Informationen. Mit großer Spannung wird erwartet, wie die EU im finalen Annex 22 die Antwort auf die Frage zur Nutzung von generativer KI im GMP Umfeld geben wird. Concept Heidelberg begleitet das Thema KI im GMP Umfeld mit Fortbildungsveranstaltungen live und onDemand. 

Wie bewerten Sie die Nutzung von KI, insbesondere generative KI, im GMP Umfeld? Welche Erfahrungen habe Sie gemacht? Erwarten Sie das Personal eingespart und durch KI (teilweise) ersetzt wird. Sehen Sie mehr Vorteile oder mehr Gefahren? Schreiben Sie uns an info@concept-heidelberg.de mit dem Betreff - Erfahrungen mit KI Nutzung.