Konzeptpaper · Karolinska Institutet · Spring 2026

Regulatory & Compliance Intelligence (RCI) in Pharma/MedTech

KI-gestütztes Vorprüfungs- und Dokumentationssystem für AI-Use-Cases: risikobasierte Triage, regulatorisches Retrieval, Compliance-Memo und Human-in-the-Loop-Governance.

Kurzfassung

RCI beschleunigt Compliance-Triage, ersetzt aber keine fachliche Freigabe

Das RCI-Konzept adressiert eine wiederkehrende Governance-Aufgabe in Pharma und MedTech: Jedes neue AI-Vorhaben – etwa Chatbots, Predictive Models, Workflow-Optimierer, automatisierte Marketing-Tools oder kundenspezifische Projekte – muss gegen ein überlappendes regulatorisches Umfeld geprüft werden. Dazu zählen insbesondere EU AI Act, Datenschutz, Medizinprodukterecht, nationale Werberegeln wie das HWG sowie interne Standards. RCI ist deshalb nicht als autonomes Compliance-Urteil zu verstehen, sondern als strukturierte, KI-gestützte Vorprüfung: Das System sammelt Use-Case-Daten, klassifiziert das regulatorische Risiko vorläufig, ruft relevante Normen und Leitlinien ab und erstellt einen prüffähigen Compliance-Memo-Entwurf. Die Freigabe bleibt beim Menschen.[1,2,6,9]
Prozessvisualisierung

Darstellung des RCI Triage-Prozesses

Schritt-für-Schritt-Visualisierung des vollständigen RCI-Workflows: Use-Case-Eingabe, Risikoklassifikation (Ampellogik), regulatorisches Retrieval und Human-in-the-Loop-Freigabe.

Prozess ansehen →
Grundprinzip

Vom manuellen Fragenkatalog zum lernenden Compliance-Workflow

Die manuelle Triage ist langsam, inkonsistent und risikobehaftet. Eine Unterklassifikation kritischer Fälle kann zu nicht-konformen Anwendungen und potenziellen Patientenschäden führen; eine Überklassifikation bindet knappe Expert:innenressourcen. RCI löst dieses Spannungsfeld durch einheitliche Eingaben, maschinelle Vorbewertung und verpflichtende menschliche Prüfung.

Die Kernlogik ist risikobasiert: Niedrig-riskante interne Tools werden schneller durch standardisierte Kontrollen geführt; HCP- oder patientennahe Anwendungen, medizinische Zweckbestimmung, personenbezogene Daten oder komplexe Vendor-Konstellationen lösen vertiefte Prüfung aus. Damit wird RCI zum Steuerungsinstrument für Innovation unter Compliance-Bedingungen.[3,4]

Risiken, Automation Bias & Validierung

Systemrisiken, Gegenmaßnahmen und Performance-Metriken

Systemrisiken

  • Historische Trainingsdaten können institutionelle Verzerrungen kodieren (Abteilungslenienz, Jurisdiktionslücken, Recency-Bias)[10,11]
  • Unterklassifikation von HIGH-Risk-Fällen: Patientenschaden und Haftungsrisiko
  • Überklassifikation: Verschwendung knapper Compliance-Kapazitäten
  • Halluzinationsrisiko bei generativen Memo-Komponenten ohne RAG-Guardrails[5,6]

Automation Bias & Gegenmaßnahmen

HITL-Design verhindert Automation Bias nicht automatisch – die unkritische Akzeptanz konfidenter KI-Outputs ist ein dokumentiertes Patientensicherheitsrisiko.[15,16]

  • Alle Outputs als „DRAFT — PENDING REVIEW“ markiert
  • Konfidenzwerte und XAI-Erklärungen explizit sichtbar
  • Kalibrierungsschulungen für Reviewer verpflichtend
  • Sinkende Override-Rate als Frühwarnsignal für unkritische Akzeptanz

Performance-Metriken

Primäres Ziel: HIGH-Class Recall — Fehlklassifikation als LOW/MEDIUM ist gefährlicher als Überklassifikation.

  • Accuracy, Precision, Recall, Macro-F1; Brier Score für Kalibrierung
  • Generativ: Halluzinationsrate & Citation Accuracy
  • Reporting nach TRIPOD+AI, CONSORT-AI, SPIRIT-AI[8]
  • Ongoing: Input-Distribution-Drift-Monitoring (AI Act Art. 72)[18]
  • Pilot (konzeptuelle Schätzung): Memo-Erstellung von Wochen auf Stunden; ca. 60 % LOW / 25 % MEDIUM / 15 % HIGH Risk
Haftungsverteilung

Wer trägt Verantwortung?

Die unterzeichnende Expert:in trägt die professionelle Verantwortung für das finale Compliance-Memo. Die Organisation haftet als Betreiber gemäß EU AI Act Art. 26; der Entwickler ist verantwortlich für transparente Dokumentation der Systemgrenzen. Der unveränderliche Audit Trail ist primärer Evidenzmechanismus bei strittigen Entscheidungen.[16,17]

↗ EU AI Act (Reg. EU 2024/1689) — Volltext auf EUR-Lex
Literaturverzeichnis

Quellen

Grundlage: Vorlesungsskript „AI in Healthcare, Foundation and Technical Methods“ (Abtahi & Astaraki, Karolinska Institutet) sowie die nachfolgenden peer-reviewten Publikationen. Metadaten und DOIs geprüft gegen Primärquellen (Stand: 29. April 2026).

  1. European Commission, DG Health and Food Safety. Artificial Intelligence in healthcare. health.ec.europa.eu. URL: health.ec.europa.eu/…/artificial-intelligence-healthcare_en. Abgerufen am 29. April 2026.
  2. European Commission. AI Act — Shaping Europe’s digital future. digital-strategy.ec.europa.eu. Aktualisiert 27. Januar 2026. URL: digital-strategy.ec.europa.eu/…/regulatory-framework-ai. Abgerufen am 29. April 2026.
  3. Aboy M, Minssen T, Vayena E. Navigating the EU AI Act: implications for regulated digital medical products. npj Digit Med. 2024;7:237. DOI: 10.1038/s41746-024-01232-3
  4. Sides T, Kbaier D. Bridging trust gaps: Stakeholder perspectives on AI adoption in the United Kingdom NHS primary care. Digit Health. 2025;11:1–11. DOI: 10.1177/20552076251386706
  5. Patel J, Tirmizi Z, Waheed AA, et al. Large language models in artificial intelligence to answer patient questions in spine surgery: an evaluation of current evidence. J Neurosurg Sci. 2026 Apr 1. PMID: 41920160. DOI: 10.23736/S0390-5616.26.06678-6
  6. Yang R, et al. Retrieval-augmented generation for generative artificial intelligence in health care. npj Health Syst. 2025;2:2. DOI: 10.1038/s44401-024-00004-1
  7. Niazi SK. Regulatory Perspectives for AI/ML Implementation in Pharmaceutical GMP Environments. Pharmaceuticals. 2025;18:901. DOI: 10.3390/ph18060901
  8. Welch ML, Grant B, Deutschman C, McElcheran C, et al. A practical framework for operationalising responsible and equitable artificial intelligence in health care: tackling bias, inequity, and implementation challenges. Lancet Digit Health. 2026. DOI: 10.1016/j.landig.2025.100957
  9. Wells BJ, et al. A practical framework for appropriate implementation and review of artificial intelligence (FAIR-AI) in healthcare. npj Digit Med. 2025;8:514. DOI: 10.1038/s41746-025-01900-y
  10. Yang Y, Lin M, Zhao H, Peng Y, Huang F, Lu Z. A survey of recent methods for addressing AI fairness and bias in biomedicine. J Biomed Inform. 2024;154:104646. DOI: 10.1016/j.jbi.2024.104646
  11. Uddin S, et al. Gender-based data bias and model fairness evaluation in benchmarked open-access disease prediction datasets. Comput Biol Med. 2026;203:111503. DOI: 10.1016/j.compbiomed.2026.111503
  12. Vieira C, et al. Exploring transparency: A comparative analysis of explainable artificial intelligence techniques in retinography images to support the diagnosis of glaucoma. Comput Biol Med. 2025;185:109556. DOI: 10.1016/j.compbiomed.2024.109556
  13. Mingels S, Piehl H, Therrien M, Akhmad E, et al. Understanding Clinicians’ Informational Needs for AI-Driven Clinical Decision Support Systems: Qualitative Interview Study. JMIR Med Educ. 2026;12:e85228. DOI: 10.2196/85228
  14. Olawade DB, et al. Human in the loop artificial intelligence in healthcare: applications, outcomes, and implementation challenges. Int J Med Inform. 2026;213:106362. DOI: 10.1016/j.ijmedinf.2026.106362
  15. Brunyé TT, et al. Artificial intelligence and computer-aided diagnosis in diagnostic decisions: 5 questions for medical informatics and human-computer interface research. J Am Med Inform Assoc (JAMIA). 2026;33:543–550. DOI: 10.1093/jamia/ocaf123
  16. Chau MT, Spuur KM, White S, et al. Malpractice in the machine age: Legal and ethical responses to machine learning in medical imaging. Radiography. 2026;32:103339. DOI: 10.1016/j.radi.2026.103339
  17. van Kolfschooten H, Goosen S, van Oirschot J, Schouten B, et al. Legal, ethical, and policy challenges of artificial intelligence translation tools in healthcare. Discov Public Health. 2025;22:904. DOI: 10.1186/s12982-025-01277-z
  18. Palama V, Kadiri C, Babarinde AO, Nwanze J, et al. Auditing and Monitoring Artificial Intelligence Systems in Healthcare: A Multilayer Framework for Bias Detection, Explainability, and Regulatory Compliance. Cureus. 2026;18:e104547. DOI: 10.7759/cureus.104547
  19. Allgaier J, et al. How does the model make predictions? A systematic literature review on the explainability power of machine learning in healthcare. Artif Intell Med. 2023;143:102616. DOI: 10.1016/j.artmed.2023.102616
  20. Hur S, et al. Comparison of SHAP and clinician friendly explanations reveals effects on clinical decision behaviour. npj Digit Med. 2025;8:578. DOI: 10.1038/s41746-025-01958-8
← Zurück zum Profil