Der EU AI Act: Neue rechtliche Spielregeln für Künstliche Intelligenz in der Pharmaindustrie

Künstliche Intelligenz ist nicht länger Zukunftsmusik – sie ist die treibende Kraft hinter der nächsten industriellen Revolution. Besonders die Pharmaindustrie steht an der Schwelle zu einem tiefgreifenden Wandel. Von der Beschleunigung der Arzneimittelforschung über hocheffizientes Marketing bis hin zum personalisierten Kundenmanagement – die Potenziale sind immens. Doch wo große Chancen liegen, lauern auch erhebliche rechtliche Risiken. Die streng regulierte Pharmabranche sieht sich mit komplexen Fragen zu Datenschutz, Urheberrecht, Haftung und branchenspezifischen Vorschriften wie dem Heilmittelwerbegesetz (HWG) konfrontiert. Der neue EU AI Act, die weltweit erste umfassende KI-Verordnung, schafft nun einen verbindlichen Rechtsrahmen, den Unternehmen kennen und verstehen müssen, um wettbewerbsfähig und rechtssicher zu agieren. Wer die neuen Regeln ignoriert, riskiert nicht nur empfindliche Strafen, sondern auch den Verlust von Vertrauen und Marktanteilen.

Dieser Beitrag beleuchtet die wichtigsten rechtlichen Herausforderungen und bietet fundierte Einblicke für Pharmahersteller, Apotheken und den pharmazeutischen Großhandel. Wir zeigen Ihnen, wie Sie die KI Pharma Rechtslage meistern und die technologische Transformation als Chance für Ihr Unternehmen nutzen können. Denn eines ist sicher: Die Zukunft der Pharmaindustrie wird von denjenigen gestaltet, die Innovation und rechtliche Sorgfaltspflicht meisterhaft miteinander verbinden. Lesen Sie weiter, um Ihr Unternehmen auf die KI-Zukunft vorzubereiten.

Ihr Weg zur rechtssicheren KI-Innovation in der Pharmaindustrie beginnt hier!

Der EU AI Act: Ein Überblick über den neuen Rechtsrahmen

Am 13. Juni 2024 wurde die Verordnung (EU) 2024/1689, besser bekannt als der EU AI Act, verabschiedet, um einen einheitlichen und harmonisierten Rechtsrahmen für die Entwicklung, das Inverkehrbringen und die Verwendung von Systemen der künstlichen Intelligenz in der Union zu schaffen. Ziel ist es, das Funktionieren des Binnenmarktes zu verbessern, die Einführung von menschenzentrierter und vertrauenswürdiger KI zu fördern und gleichzeitig ein hohes Schutzniveau für Gesundheit, Sicherheit und Grundrechte zu gewährleisten. Die Verordnung folgt einem klar definierten risikobasierten Ansatz, der die regulatorischen Anforderungen an die Intensität und den Umfang der potenziellen Risiken koppelt, die von einem KI-System ausgehen können. Dies bedeutet: Je höher das potenzielle Risiko eines KI-Systems für den Menschen, desto strenger sind die Auflagen.

Für die Künstliche Intelligenz in der Pharma-Branche ist dieser Ansatz von entscheidender Bedeutung. Die Verordnung definiert ein „KI-System“ als ein maschinengestütztes System, das für einen in unterschiedlichem Grade autonomen Betrieb ausgelegt ist und aus Eingaben Ausgaben wie Vorhersagen, Inhalte oder Entscheidungen ableiten kann, die physische oder virtuelle Umgebungen beeinflussen. Der AI Act kategorisiert KI-Systeme in vier Risikostufen, die von minimalem Risiko bis zu einem inakzeptablen Risiko reichen, welches zu einem Verbot der Anwendung führt. Dazwischen liegen KI-Systeme mit geringem Risiko, für die Transparenzpflichten gelten, und die für die Pharmaindustrie besonders relevante Kategorie der Hochrisiko-KI-Systeme. Diese unterliegen strengen Anforderungen, bevor sie auf den Markt gebracht oder in Betrieb genommen werden dürfen.

Hochrisiko-KI-Systeme in der Pharmaindustrie: Was müssen Sie wissen?

Ein KI-System wird als hochriskant eingestuft, wenn es ein erhebliches Risiko für die Gesundheit, die Sicherheit oder die Grundrechte von Personen darstellt. Gemäß Artikel 6 des AI Acts fallen KI-Systeme in diese Kategorie, wenn sie als Sicherheitsbauteil eines Produkts dienen, das selbst einer Konformitätsbewertung durch Dritte unterliegt. Für die Pharmaindustrie ist dies besonders relevant, da viele KI-Anwendungen in den Geltungsbereich der Verordnung über Medizinprodukte (EU) 2017/745 fallen, die in Anhang I des AI Acts aufgeführt ist. KI-gestützte Diagnosesoftware oder Systeme zur Therapieentscheidung sind klassische Beispiele. Zudem listet Anhang III spezifische Anwendungsbereiche, die per se als hochriskant gelten. Für Pharmaunternehmen könnten hierunter KI-Systeme fallen, die zur Verwaltung und zum Betrieb kritischer Infrastrukturen – wie Produktionsanlagen für Arzneimittel – eingesetzt werden.

Anbieter von Hochrisiko-KI-Systemen müssen eine Reihe strenger Pflichten erfüllen, bevor sie ihre Produkte auf den Markt bringen. Dazu gehören:

• Einrichtung eines Risikomanagementsystems: Ein kontinuierlicher Prozess zur Identifizierung, Analyse und Minderung von Risiken während des gesamten Lebenszyklus des KI-Systems.
• Daten und Daten-Governance: Trainings-, Validierungs- und Testdatensätze müssen hohen Qualitätskriterien genügen. Sie müssen relevant, repräsentativ und so weit wie möglich fehlerfrei und vollständig sein, um Verzerrungen (Bias) zu vermeiden.
• Technische Dokumentation: Vor dem Inverkehrbringen muss eine umfassende technische Dokumentation erstellt werden, die die Konformität mit dem AI Act nachweist.
• Menschliche Aufsicht: Die Systeme müssen so konzipiert sein, dass sie von natürlichen Personen wirksam beaufsichtigt werden können, um Risiken zu verhindern oder zu minimieren.
• Genauigkeit, Robustheit und Cybersicherheit: Die Systeme müssen ein angemessenes und dem Stand der Technik entsprechendes Niveau in diesen drei Bereichen aufweisen.

Die Nichteinhaltung dieser Anforderungen führt nicht nur zu einem Marktausschluss, sondern kann auch empfindliche Geldbußen von bis zu 15.000.000 EUR oder 3 % des weltweiten Jahresumsatzes nach sich ziehen.

Spezifische Rechtsfragen: Datenschutz, Urheberrecht und HWG

Neben den direkten Vorgaben des AI Acts müssen Pharmaunternehmen beim Einsatz von KI eine Vielzahl weiterer rechtlicher Rahmenbedingungen beachten. Die KI Pharma Rechtslage ist ein komplexes Geflecht aus neuen und bestehenden Vorschriften. Insbesondere der Datenschutz spielt eine zentrale Rolle, da KI-Systeme oft auf riesigen Mengen an Daten trainiert werden, darunter auch hochsensible Gesundheitsdaten. Die Datenschutz-Grundverordnung (DSGVO) setzt hier enge Grenzen. Jede Verarbeitung personenbezogener Daten erfordert eine gültige Rechtsgrundlage. Die Grundsätze der Datenminimierung, Zweckbindung sowie der Datenschutz durch Technikgestaltung und durch datenschutzfreundliche Voreinstellungen müssen strikt eingehalten werden. Der AI Act stellt klar, dass er die DSGVO unberührt lässt und ergänzt. Das bedeutet für Unternehmen doppelten Prüfungsaufwand und die Notwendigkeit, beide Regelwerke im Einklang anzuwenden.

Ein weiteres, oft unterschätztes Feld ist das Urheberrecht. Wenn KI-Systeme zur Erstellung von Marketingmaterialien, wissenschaftlichen Texten oder anderen Inhalten genutzt werden, stellt sich die Frage nach dem Urheber der erzeugten Werke und der Rechtmäßigkeit der verwendeten Trainingsdaten. Der AI Act verpflichtet Anbieter von KI-Modellen, eine Strategie zur Einhaltung des Urheberrechts der Union zu verfolgen und eine Zusammenfassung der für das Training verwendeten Inhalte zu veröffentlichen. Dies soll Transparenz schaffen, entbindet die Nutzer aber nicht von der Pflicht, die Rechte Dritter zu wahren. Im Pharmamarketing kommt zudem das Heilmittelwerbegesetz (HWG) hinzu. Jede werbliche Aussage, auch wenn sie von einer KI generiert wurde, muss den strengen Anforderungen des HWG entsprechen und darf nicht irreführend sein. Die Verantwortung für die Einhaltung liegt letztlich beim werbenden Unternehmen, das die KI als Werkzeug einsetzt.

Haftung und Compliance: Wer ist verantwortlich?

Eine der drängendsten Fragen ist die der Haftung. Wer ist verantwortlich, wenn ein KI-System einen Fehler macht? Gibt die KI eine falsche Dosierungsempfehlung, übersieht sie eine kritische Wechselwirkung in der Forschung oder generiert sie irreführende Werbung – wer haftet für den entstandenen Schaden? Der AI Act definiert klare Pflichten für die verschiedenen Akteure in der Wertschöpfungskette, insbesondere für den Anbieter (Hersteller) und den Betreiber (Anwender) eines KI-Systems. Der Anbieter ist primär für die Konformität des Systems beim Inverkehrbringen verantwortlich. Der Betreiber hingegen muss sicherstellen, dass er das System gemäß der Betriebsanleitung verwendet, die menschliche Aufsicht gewährleistet und den Betrieb überwacht. Diese Aufteilung entbindet jedoch keinen der Akteure von einer potenziellen zivilrechtlichen Haftung.

Compliance ist kein Projekt, sondern ein Prozess. Gerade bei lernenden KI-Systemen müssen rechtliche Prüfungen kontinuierlich erfolgen.

Die folgende Tabelle gibt einen vereinfachten Überblick über die Pflichtenverteilung für Hochrisiko-KI-Systeme:

Pflicht	Anbieter (Hersteller)	Betreiber (Anwender)
Konformitätsbewertung vor Inverkehrbringen	Ja, zwingend erforderlich	Nein, aber Prüfung der CE-Kennzeichnung
Erstellung der technischen Dokumentation	Ja, umfassende Pflicht	Nein
Einrichtung eines Risikomanagementsystems	Ja, für den gesamten Lebenszyklus	Nein, aber Anwendung im Betrieb
Sicherstellung der menschlichen Aufsicht	Ja, muss das System designseitig ermöglichen	Ja, muss die Aufsicht im Betrieb umsetzen
Verwendung gemäß Betriebsanleitung	Nicht anwendbar	Ja, zwingend erforderlich
Meldung schwerwiegender Vorfälle	Ja, an die Behörden	Ja, an den Anbieter/Händler