Kutschis Consulting
KI & Governance11 Min Lesezeit

Schatten-KI im Krankenhaus:
Warum ChatGPT auf der Station längst Alltag ist und was Kliniken jetzt tun müssen

Schatten-KI ist im Klinikalltag angekommen. Warum Verbote scheitern, welche Risiken DSGVO, EU AI Act und §203 StGB bergen und wie Kliniken pragmatisch gegensteuern.

Arzt im weißen Kittel am Laptop mit geöffnetem ChatGPT, im Hintergrund MRT-Aufnahmen eines Schädels

Auf einen Blick

  • Schatten-KI bezeichnet die inoffizielle Nutzung generativer KI-Werkzeuge durch Klinikpersonal, ohne Freigabe durch IT, Datenschutz oder Compliance.
  • Aktuelle Erhebungen aus Deutschland und international zeigen: Generative KI ist bereits ein fester Bestandteil des Versorgungsalltags, häufig außerhalb offizieller Strukturen.
  • Die Risiken reichen von Verstößen gegen die DSGVO über die ärztliche Schweigepflicht nach §203 StGB bis zu Patientensicherheit, Medizinprodukterecht und EU AI Act.
  • Wirksam ist nicht das Verbot, sondern eine Governance-Strategie aus sicherer Toolauswahl, verpflichtender KI-Kompetenz nach Art. 4 EU AI Act und klaren Spielregeln für den klinischen Einsatz.

Einleitung: Wenn der Arztbrief aus ChatGPT kommt

Eine Assistenzärztin sitzt im Spätdienst. Auf dem Stationsmonitor wartet ein Entlassungsbrief in einer Sprache, die der Patient nicht versteht, daneben ein Aufnahmegespräch auf Türkisch, das sie verschriftlichen müsste. Sie greift zum privaten Smartphone, öffnet ChatGPT und fügt Anamnese sowie Befunde ein. In drei Minuten liegt der Brief vor, übersetzt und sauber formuliert. Die Patientensicherheit, so ihre Überzeugung, gewinnt dadurch eher als sie verliert.

Solche Szenen sind kein Einzelfall, sondern ein strukturelles Phänomen. Die Bundesärztekammer stellt in ihrer Stellungnahme „Künstliche Intelligenz in der Medizin" aus Januar 2025 fest, dass öffentlich verfügbare große Sprachmodelle wie ChatGPT „keine datenschutzkonforme Umgebung" für die Verarbeitung personenbezogener Patientendaten bieten (Bundesärztekammer 2025). Gleichzeitig zeigt der Digital Health Report 2026 von Doctolib, dass die Hälfte der niedergelassenen Ärztinnen und Ärzte private KI-Tools für berufliche Recherche nutzt (Healthcare in Europe 2026). Diese Lücke zwischen offizieller Bewertung und gelebter Realität ist das Phänomen, das international unter dem Begriff Shadow AI diskutiert wird.

Was genau ist Schatten-KI?

Schatten-KI bezeichnet den Einsatz von Anwendungen mit künstlicher Intelligenz im beruflichen Kontext, ohne dass diese durch die Organisation freigegeben, geprüft oder vertraglich abgesichert sind. Der Begriff knüpft an die seit Jahren bekannte Schatten-IT an, also die inoffizielle Nutzung von Cloud-Speichern, Messengern oder SaaS-Werkzeugen, geht aber inhaltlich darüber hinaus: Generative KI verarbeitet Inhalte aktiv, erzeugt neue Texte und Bilder und kann Eingaben für die Weiterentwicklung der Modelle nutzen.

Im Krankenhaus lassen sich drei Spielarten unterscheiden:

  • Consumer-Werkzeuge mit privatem Account. Klassisch sind öffentliche Versionen von ChatGPT, Gemini, Claude, Copilot oder Perplexity, die über das eigene Smartphone oder den Webbrowser genutzt werden, ohne Auftragsverarbeitungsvertrag mit dem Anbieter.
  • Eingebettete KI-Funktionen ohne organisationale Freigabe. Office-Suiten, Browser, Mailprogramme und PDF-Werkzeuge enthalten zunehmend KI-Assistenten. Werden sie genutzt, ohne dass die Klinik die KI-Funktion bewusst freigegeben hat, ist auch das Schatten-KI.
  • Verdeckte KI in Produkten. Übersetzungs-Apps, Diktiergeräte und Recherchedienste enthalten häufig generative Modelle, ohne dass dies für Anwendende ersichtlich ist. Daten verlassen die Klinik, bevor jemand die KI-Frage gestellt hat.

Wichtig ist die Abgrenzung zu offiziell eingeführter und regulierter KI, etwa zugelassenen Medizinprodukten in der Radiologie oder freigegebener Diktiersoftware. Die Befragung von Bitkom und Hartmannbund aus Mai 2025 zeigt, dass aktuell 18 Prozent der Klinikärztinnen und -ärzte KI nutzen, vor allem zur Analyse bildgebender Verfahren (Bitkom 2025). Diese Zahl beschreibt aber die offizielle, eher klassische KI-Nutzung; sie sagt wenig darüber aus, wie viele Beschäftigte zusätzlich generative Werkzeuge im Verborgenen einsetzen.

Warum Schatten-KI im Krankenhaus entsteht

Schatten-KI ist selten Ausdruck mangelnder Sorgfalt einzelner Beschäftigter, sondern Folge struktureller Engpässe.

Bedarf trifft auf Verfügbarkeit

Generative KI ist niedrigschwellig: Eine kostenlose Registrierung, ein Browser-Tab, sofortige Ergebnisse. Klinikinterne Workflows hingegen verlangen häufig mehrere Klicks, lange Ladezeiten und eingeschränkte Suchfunktionen. Personalmangel und Bürokratielast verstärken den Druck, schnelle Hilfen zu suchen. Eine US-Erhebung von Wolters Kluwer aus Dezember 2025 unter 518 Beschäftigten im Gesundheitswesen zeigt, dass 58 Prozent der direkten Versorgungskräfte mindestens einmal im Vormonat generische KI-Werkzeuge für die Arbeit verwendet haben; ein Drittel der Befragten gibt an, dass die eigene Einrichtung keine geeigneten freigegebenen Alternativen anbietet (Healthcare Dive 2026).

Generationenwechsel und private Vorbildung

Jüngere Kohorten in Pflege, Medizin und Verwaltung kommen mit ChatGPT-Routine aus Studium, Ausbildung und Privatleben in den Beruf. Sie erleben generative KI als selbstverständliches Werkzeug. Wenn die Klinik dieses Werkzeug nicht in einer sicheren Variante bereitstellt, bleibt die private Variante der naheliegende Ausweg.

Fehlende Governance

Viele Häuser haben keine klar formulierte KI-Richtlinie. Wo es Vorgaben gibt, sind diese oft auf das klassische Lieferantenmanagement zugeschnitten und erfassen die Eigeninitiative am Arbeitsplatz nicht. Ohne benannten KI-Beauftragten, ohne dokumentierte Anwendungsfälle und ohne sichere Sandbox bleibt der Einzelne mit der Frage allein, was erlaubt ist.

Typische Erscheinungsformen im Klinikalltag

Die wiederkehrenden Anwendungsfälle für Schatten-KI im Krankenhaus sind in mehreren Erhebungen erstaunlich konsistent. Die Wolters-Kluwer-Studie nennt explizit Patientenbriefe, Portalnachrichten, interne E-Mails, Patientenaufklärungstexte und das Zusammenfassen klinischer Informationen (Healthcare Dive 2026). Der Doctolib-Report 2026 ergänzt Dokumentation und Recherche als zentrale Felder (Healthcare in Europe 2026). In der deutschen Klinikpraxis lassen sich daraus typische Szenarien ableiten:

  • Arzt- und Entlassungsbriefe. Strukturieren, glätten, kürzen oder in Patientensprache übersetzen.
  • Übersetzungen. Aufnahmegespräche und Aufklärungen für Patient:innen ohne deutsche Sprachkenntnisse.
  • Differenzialdiagnostik als Sparring. Symptome und Befunde werden als Prompt eingegeben, das Modell als zweites Augenpaar genutzt.
  • Pflegeplanungen und sozialdienstliche Begründungen. Standardformulierungen für PPR-2.0, Reha-Anträge oder MDK-Begründungen.
  • Codierung und Medizincontrolling. Vorschläge für ICD- und OPS-Codes auf Basis von Befundtexten.
  • Beschwerde- und Antwortschreiben. Erstentwürfe für emotional anspruchsvolle Korrespondenz.
  • Recherche und Fortbildung. Zusammenfassungen aktueller Leitlinien, Foliensätze, Begründungen für Indikationskonferenzen.

Jeder dieser Punkte berührt eigene Risikofelder. Wer einen anonymisierten Pflichttext erstellen lässt, bewegt sich anders als jemand, der einen vollständigen Anamnesetext mit Klarnamen einfügt.

Die fünf zentralen Risikofelder

1. Datenschutz und DSGVO

Die meisten öffentlichen KI-Dienste werden außerhalb der EU betrieben, Eingaben können zur Modellverbesserung genutzt werden, und es besteht in der Regel kein Auftragsverarbeitungsvertrag mit der Klinik. Damit sind drei DSGVO-Säulen gleichzeitig betroffen: Rechtsgrundlage nach Art. 6 und Art. 9 für die besondere Kategorie Gesundheitsdaten, Auftragsverarbeitung nach Art. 28 sowie Drittlandsübermittlung nach Art. 44 ff. Die Datenschutzkonferenz von Bund und Ländern hat ihre Orientierungshilfe „Künstliche Intelligenz und Datenschutz" am 6. Mai 2024 ausdrücklich auf große Sprachmodelle wie ChatGPT zugeschnitten und stellt Anforderungen an Auswahl, Implementierung und Nutzung solcher Anwendungen (LDI NRW 2024, Datenschutzkonferenz 2024).

Wie sensibel Kliniken hier prüfen sollten, zeigt der Fall des Haga Hospitals in Den Haag, das 2019 wegen unzureichender Zugriffskontrollen auf Patientenakten mit einem Bußgeld von 460.000 Euro belegt wurde (Datenschutz-Recht Medizin). Bei Schatten-KI verlassen Daten die Klinik nicht nur intern, sondern verlassen sie ganz.

2. Ärztliche Schweigepflicht nach §203 StGB

Wer Patientendaten an einen externen Anbieter übermittelt, ohne dass dieser sauber als „sonstige mitwirkende Person" eingebunden ist, riskiert eine Verletzung der ärztlichen Schweigepflicht. Mit dem Gesetz zur Neuregelung des Schutzes von Geheimnissen bei der Mitwirkung Dritter an der Berufsausübung schweigepflichtiger Personen, das im Herbst 2017 in Kraft trat, wurde §203 StGB so angepasst, dass Cloud- und IT-Dienstleister grundsätzlich eingebunden werden können, allerdings nur unter strengen Voraussetzungen: schriftliche Verpflichtung zur Geheimhaltung, sorgfältige Auswahl und Kontrolle sowie Beschränkung auf das für die Tätigkeit erforderliche Maß (Deutsches Ärzteblatt 2017). Bei der spontanen Eingabe in einen Consumer-Chatbot sind diese Voraussetzungen praktisch nie erfüllt.

3. Patientensicherheit und Haftung

Generative Sprachmodelle erzeugen Texte, die plausibel klingen, ohne dafür einstehen zu können. Die BÄK-Stellungnahme benennt Halluzinationen und „Automation Bias" ausdrücklich als Risiken und betont, dass die Verantwortung für Diagnostik, Indikationsstellung und Therapie bei der Ärztin oder dem Arzt verbleibt (Bundesärztekammer 2025). Wer KI-erzeugte Inhalte ungeprüft übernimmt, übernimmt nicht nur deren mögliche Fehler, sondern auch die volle haftungsrechtliche Verantwortung.

4. Medizinprodukterecht und EU AI Act

Sobald ein KI-System dazu bestimmt ist, medizinische Entscheidungen zu unterstützen, kann es als Medizinprodukt nach Verordnung (EU) 2017/745 (MDR) qualifiziert sein. Parallel greift die KI-Verordnung. Die Verordnung (EU) 2024/1689 ist am 1. August 2024 in Kraft getreten, ihre Pflicht zur KI-Kompetenz nach Art. 4 gilt seit dem 2. Februar 2025, der Großteil der Hochrisiko-Anforderungen ab dem 2. August 2026. Anhang III Nr. 5 Buchstabe d stuft KI-Systeme zur Bewertung und Klassifizierung von Notrufen sowie Triage-Systeme im Gesundheitswesen ausdrücklich als Hochrisiko-KI ein.

Wer in einem solchen Anwendungsfeld inoffiziell ein öffentliches Sprachmodell heranzieht, umgeht damit nicht nur die internen Freigabeprozesse, sondern auch die regulatorischen Anforderungen an Hochrisiko-KI: Risikomanagement, Daten-Governance, technische Dokumentation, menschliche Aufsicht und Protokollierung.

5. Compliance, KRITIS und Reputation

Krankenhäuser ab bestimmter Größe zählen zur kritischen Infrastruktur nach BSI-Kritisverordnung. Schatten-KI durchbricht etablierte Sicherheitsarchitekturen, erschwert die Einhaltung des branchenspezifischen Sicherheitsstandards B3S Medizinische Versorgung und gefährdet Zertifizierungen, etwa nach ISO/IEC 27001 oder dem KHZG-Fördermittelnachweis. Reputationsschäden nach einem Datenschutzvorfall lassen sich kaum quantifizieren, treffen aber Vertrauenskapital, das über Jahre aufgebaut wurde.

EU AI Act und ISO/IEC 42001: Was Kliniken jetzt schon umsetzen müssen

Drei regulatorische Bausteine sind im Mai 2026 unmittelbar handlungsleitend:

  • Art. 4 EU AI Act (KI-Kompetenz) gilt seit dem 2. Februar 2025 für alle Anbieter und Betreiber. Klinikleitungen müssen sicherstellen, dass Personal, das KI-Systeme einsetzt oder davon betroffen ist, über ein angemessenes Kompetenzniveau verfügt. Diese Pflicht erstreckt sich auf jeden, der im Dienst der Klinik mit KI arbeitet, also auch auf inoffizielle ChatGPT-Nutzung.
  • Art. 5 EU AI Act (verbotene Praktiken) untersagt seit dem 2. Februar 2025 unter anderem den Einsatz von KI zur Emotionserkennung am Arbeitsplatz. Für Kliniken besonders relevant, wenn KI-gestützte Personalanalytik zum Einsatz kommt.
  • Art. 6 ff. EU AI Act (Hochrisiko-KI) wird ab dem 2. August 2026 voll wirksam. Spätestens dann müssen Kliniken Hochrisikoanwendungen erkennen, klassifizieren und mit Maßnahmen versehen können; die Pflichten der Betreiber sind in Art. 26 geregelt.

Daneben ist die seit Dezember 2023 verfügbare Norm ISO/IEC 42001 zum „AI Management System" der etablierte Managementrahmen, mit dem sich diese Pflichten operationalisieren lassen. Sie liefert das gleiche Struktur-Vokabular, das aus ISO 9001 oder ISO 27001 bereits bekannt ist: Politik, Rollen, Risikobewertung, Lebenszyklus-Steuerung, Wirksamkeitsprüfung.

Warum Verbote nicht funktionieren

Die naheliegende erste Reaktion vieler IT-Abteilungen lautet: ChatGPT auf Klinikgeräten sperren, Punkt. Erfahrungen aus dem letzten Jahrzehnt mit Schatten-IT zeigen, warum das selten gelingt. Dropbox wurde Anfang der 2010er-Jahre in vielen Krankenhäusern blockiert, dennoch wanderten sensible Daten auf private Cloud-Speicher. WhatsApp wurde verboten, dennoch organisierten Stationen ihre Dienstkommunikation weiter dort.

Generative KI ist zudem so niedrigschwellig zugänglich, dass jede Sperre am Smartphone der Beschäftigten endet. Eine Wolters-Kluwer-Befragung zeigt, dass 17 Prozent der Schatten-KI-Nutzenden im Gesundheitswesen einräumen, identifizierbare Patientendaten manchmal oder oft einzugeben, weitere 27 Prozent halten dies zumindest selten für möglich (Healthcare Dive 2026). Ohne Alternative wird sich daran nichts ändern, mit einem reinen Verbot nur die Sichtbarkeit weiter sinken.

Vom Verbot zur Governance: Maßnahmen für Kliniken

Wirksame Antworten auf Schatten-KI verbinden organisatorische, technische und kulturelle Bausteine.

1. Status quo erheben

Anonymisierte Befragungen, Auswertung bereits vorhandener Browser- und Proxy-Telemetrie im Rahmen der Mitbestimmung und Gespräche mit den Berufsgruppen geben ein realistisches Bild. Wer Schatten-KI nicht kennt, kann sie nicht adressieren.

2. Klare Acceptable-Use-Policy für KI

Eine kurze, verständliche Richtlinie regelt: welche Werkzeuge erlaubt sind, welche Inhalte unter keinen Umständen eingegeben werden dürfen (Patientendaten, identifizierende Bildgebung, vertrauliche Personalinformationen), wer im Zweifel ansprechbar ist. Die Richtlinie sollte gemeinsam mit Ärzteschaft, Pflege, Datenschutz, IT, Personalvertretung und Rechtsabteilung entwickelt werden.

3. Sichere KI-Sandbox bereitstellen

Enterprise-Varianten generativer KI bieten Auftragsverarbeitungsverträge, Hosting innerhalb der EU und die Möglichkeit, das Modell-Training mit eigenen Daten auszuschließen. Das nimmt der Schatten-KI den Hauptantrieb, weil eine freigegebene, datenschutzkonforme Alternative existiert. Die DSK-Orientierungshilfe und die Stellungnahme der Bundesärztekammer betonen diese Voraussetzung in seltener Einigkeit.

4. KI-Kompetenz aufbauen

Art. 4 EU AI Act verlangt nachweisbare Kompetenz. Das bedeutet in der Praxis eine verpflichtende Basisschulung für alle Beschäftigten und rollenspezifische Vertiefung für Ärzteschaft, Pflege, Verwaltung und IT. Inhalte sind Funktionsweise und Grenzen generativer Modelle, rechtliche Anforderungen, Erkennen von Halluzinationen und Automation Bias sowie sichere Prompt-Praxis.

5. KI-Beauftragten benennen und Managementsystem etablieren

Eine zentrale Rolle bündelt Anfragen, koordiniert Bewertungen und führt das Use-Case-Register. ISO/IEC 42001 liefert die Struktur, in der Schatten-KI nicht mehr als Einzelphänomen, sondern als Risiko im Managementsystem erscheint.

6. Use-Case-Bewertung mit Risikoklassen

Ein standardisierter Bewertungsbogen je Anwendungsfall, orientiert an der Risikopyramide des EU AI Act, sorgt für vergleichbare Entscheidungen. Niedrigrisiko-Fälle wie das Glätten interner Texte können zügig freigegeben werden; Hochrisikoanwendungen, etwa Triage oder Therapieempfehlungen, durchlaufen den vollen Prozess.

7. Lieferantenmanagement und KI-Beschaffung

Bestehende Beschaffungsprozesse werden um KI-Klauseln ergänzt: Modellkarten, Trainingsdatenherkunft, Sicherheitsbewertungen, Auftragsverarbeitung, Drittlandsübermittlungen, Logging-Anforderungen. So gerät KI nicht durch die Hintertür bestehender Verträge in die Klinik.

Praxisbeispiele und Branchenpositionen

Bundesärztekammer Die Stellungnahme „Künstliche Intelligenz in der Medizin" der BÄK fordert eine systematische Stärkung digitaler Kompetenzen in Aus-, Weiter- und Fortbildung und benennt LLMs ausdrücklich als Bereich, in dem es derzeit an datenschutzkonformen Lösungen und Recheninfrastruktur mangelt (Bundesärztekammer 2025).

Charité Universitätsmedizin Berlin Das vom Bundesgesundheitsministerium geförderte Projekt IMPL-AI-MENT erprobt, wie ein großes Sprachmodell unter ethischen, rechtlichen und organisatorischen Rahmenbedingungen prototypisch auf einer klinischen Station nutzbar gemacht werden kann, inklusive Rechtsgutachten und Abstimmung mit der Ethikkommission (BMG 2024). Begleitend hat die Charité ein eigenes „Institut für Künstliche Intelligenz in der Medizin" aufgebaut, das den Übergang von Forschungsprototypen in den klinischen Regelbetrieb strukturieren soll (Charité).

Datenschutzkonferenz Die Aufsichtsbehörden des Bundes und der Länder haben mit ihrer Orientierungshilfe vom Mai 2024 das erste konsolidierte Prüfraster für die datenschutzkonforme Auswahl und Nutzung von KI-Anwendungen in deutscher Sprache vorgelegt, ausdrücklich mit Schwerpunkt auf großen Sprachmodellen (Datenschutzkonferenz 2024).

Bitkom und Hartmannbund Die gemeinsame Befragung von 616 Ärztinnen und Ärzten aus Mai 2025 dokumentiert die wachsende, oft heterogen verteilte KI-Nutzung im ärztlichen Alltag und macht deutlich, dass das Stimmungsbild zwischen Praxis und Klinik auseinandergeht (Bitkom 2025).

Fazit: Schatten-KI als Symptom, nicht als Ursache

Schatten-KI im Krankenhaus ist kein Disziplinarproblem, sondern ein Signal. Die Belegschaft will mit KI arbeiten, die Organisation hat ihr noch nicht die passenden Werkzeuge bereitgestellt. Wer das ignoriert oder pauschal verbietet, verlagert das Risiko in das private Smartphone, nicht aus der Welt.

Wer Schatten-KI ernst nimmt und in Governance übersetzt, gewinnt doppelt: Compliance gegenüber DSGVO, §203 StGB, MDR und EU AI Act sowie messbare Produktivität durch sichere, gut moderierte KI-Werkzeuge. Die regulatorischen Pflichten aus Art. 4 EU AI Act gelten bereits, die Hochrisiko-Anforderungen treten ab August 2026 in Kraft. Die nächste belastbare Stelle, um den eigenen Standort zu bestimmen, ist eine ehrliche Bestandsaufnahme und ein erster Sandbox-Pilot, gefolgt von einer schriftlich verankerten KI-Richtlinie und einem benannten KI-Beauftragten.

Quellen

Gesetze und Verordnungen

Behörden und Verbände

Studien und Berichterstattung

Mehr Beiträge zu KHTF, Krankenhausreform und KI im Klinikalltag.

Alle Insights

Kontakt

Lassen Sie uns über Ihr Projekt sprechen.

Kostenloses Erstgespräch, unverbindlich, vertraulich und fokussiert auf Ihre konkrete Fragestellung.

Erstgespräch per E-Mail anfragen+49 160 913 86 151