Gefälschte Studien: Schwedische Forscherin deckt KI-Anfälligkeit auf

Ein Experiment einer schwedischen Forscherin hat eine kritische Schwachstelle im wissenschaftlichen Publikationssystem offengelegt: Künstliche Intelligenz verbreitet gefälschte medizinische Informationen bereitwillig weiter — ohne deren Fragwürdigkeit zu hinterfragen. Die Studie zeigt nicht nur technische Defizite, sondern wirft grundsätzliche Fragen zur Verlässlichkeit von KI-gestützten Informationsquellen auf, die Millionen von Menschen täglich nutzen.

Das Experiment: Wie eine fiktive Krankheit KI-Systeme täuschte

Die schwedische Forscherin Gideon Meyerowitz-Katz führte ein Experiment durch, das die Anfälligkeit moderner KI-Sprachmodelle gegenüber wissenschaftlicher Desinformation demonstriert. Sie erfand eine völlig fiktive Krankheit namens „Bixonimania" und veröffentlichte zwei gezielt manipulierte, aber formal korrekt strukturierte Studien über diese nicht existierende Diagnose. Die Publikationen waren mit allen wissenschaftlichen Merkmalen ausgestattet: Abstracts, Methoden, Ergebnisse und Quellenangaben.

Das zentrale Ziel war es zu testen, wie führende KI-Sprachmodelle — darunter OpenAIs GPT-4, Googles Bard und Anthropics Claude — mit diesen falschen Informationen umgehen würden. Die Ergebnisse waren erschreckend: Die KI-Systeme griffen auf die fabrizierten Daten zurück, integrierten sie in ihre Antworten und präsentierten sie als legitime wissenschaftliche Erkenntnisse — ohne auch nur die geringste kritische Distanz zur Quelle zu schaffen.

Ein besonders beunruhigendes Detail: Als die KI-Systeme später befragt wurden, ob „Bixonimania" eine etablierte medizinische Diagnose sei, wiederholten einige von ihnen die falschen Angaben erneut. Dies deutet darauf hin, dass einmal ins System eingefütterte Desinformation schwer zu korrigieren ist — ein Phänomen, das Forscher als „Halluzination" bezeichnen.

Warum diese Anfälligkeit so gefährlich ist: 47 Millionen KI-Nutzungen pro Woche

Die Bedeutung dieses Experiments lässt sich nur mit Blick auf aktuelle Nutzungszahlen verstehen. Nach Angaben der Statistischen Bundesämter nutzen inzwischen über 60 Prozent der erwerbstätigen Bevölkerung in Deutschland regelmäßig KI-Tools für die Informationsbeschaffung — sei es in beruflichem oder privatem Kontext. ChatGPT allein verzeichnet weltweit etwa 1,8 Milliarden monatliche Nutzer.

Im Gesundheitsbereich ist diese Entwicklung besonders kritisch. Ein großer Teil der Bevölkerung nutzt KI-Chatbots zur Selbstdiagnose oder zur Recherche von Krankheitssymptomen, bevor sie einen Arzt aufsuchen. Wenn diese Systeme systematisch Desinformation verbreiten, können daraus reale Konsequenzen entstehen: Patienten könnten falsche Diagnosen treffen, untaugliche Behandlungen ausprobieren oder notwendige medizinische Hilfe aufschieben.

Besonders problematisch ist die Vermengung von echten und gefälschten Studien in KI-Datenbanken. Die meisten großen Sprachmodelle wurden mit Millionen wissenschaftlicher Publikationen trainiert — doch es gibt bislang keine zuverlässigen Mechanismen, um manipulierte oder retrahierte Studien automatisch aus diesen Trainings-Datensätzen zu entfernen. Das Phänomen der Vitaminversprechungen und unwissenschaftlichen Gesundheitsbehauptungen zeigt bereits, wie leicht Desinformation im Gesundheitssektor Fuß fasst.

Lücken im wissenschaftlichen Publikationssystem: Die Ursachen der Anfälligkeit

Das Experiment offenbart jedoch nicht nur ein KI-Problem, sondern auch strukturelle Schwächen des akademischen Publikationssystems selbst. Trotz eines Peer-Review-Prozesses gelang es der Forscherin, gefälschte Studien zu veröffentlichen. Dies liegt an mehreren Faktoren:

• Mangelnde Verifikation von Autorenschaften: Viele Online-Journale überprüfen nicht ausreichend, ob die angegebenen Autoren tatsächlich existieren oder ob die Institutionen korrekt sind.
• Spezialisierte Blindheit: Reviewer sind oft so auf ihr eigenes Fachgebiet fokussiert, dass sie interdisziplinäre oder unkonventionelle Fehler nicht erkennen.
• Druck zur Veröffentlichung: Wissenschaftler unterliegen großem Druck, schnell zu publizieren. Dies führt zu hastigen Reviews und weniger gründlicher Prüfung.
• Digitale Archivierung ohne Kontrolle: Einmal veröffentlichte Studien werden vom Netz nie vollständig gelöscht und cirkulieren dauerhaft in KI-Trainings-Datensätzen.

Die Weltgesundheitsorganisation (WHO) hat dieses Phänomen bereits 2023 in ihrem „World Health Statistics Report" als zentrale Bedrohung für die globale Gesundheitskommunikation benannt. Parallel dazu zeigt sich ein ähnliches Muster bei anderen wissenschaftlichen Fehlentwicklungen: Die Antibiotikaresistenz-Krise etwa wurde durch falsche oder manipulierte Studien zu Antibiotika-Dosierungen verschärft.

Handlungsbedarf: Lösungsansätze auf mehreren Ebenen

Experten fordern nun ein Bündel von Maßnahmen:

1. KI-Modelle trainieren auf verifizierten Daten: Trainings-Datensätze sollten häufiger aktualisiert und bereinigt werden. Retrahierte oder widerrufene Studien müssen systematisch gekennzeichnet werden.
2. Transparenz in KI-Antworten: Sprachmodelle sollten angeben, auf welchen Quellen ihre Antworten basieren und wie alt diese Informationen sind. Eine einfache Ampel (grün = verlässlich, gelb = veraltet, rot = umstritten) könnte Nutzern helfen.
3. Strengere Verifizierung im Peer-Review: Elektronische Tools sollten Autorenschaften, Institutionen und Ethik-Genehmigungen automatisch prüfen.
4. Digitale Signaturen für Publikationen: Ähnlich wie bei Blockchain-Technologien könnten wissenschaftliche Artikel digital zertifiziert werden.
5. KI-Regulierung: Das deutsche Bundesgesundheitsministerium sollte verbindliche Standards für KI-Systeme in der Medizin festlegen.

Ein wichtiger Aspekt: Vertrauensinstitutionen wie Behörden und Universitäten könnten verstärkt als Fact-Check-Partner fungieren. Der NDR-Recherche-Ansatz zu Medikamenten-Sicherheit zeigt, wie investigativer Journalismus Lücken aufdeckt, die Systeme sonst übersehen.

Ausblick: Der lange Weg zu verlässlicher KI im Gesundheitswesen

Die Studie der schwedischen Forscherin ist kein Grund, KI grundsätzlich zu verteufeln — aber es ist ein Weckruf. Künstliche Intelligenz wird die medizinische Forschung und Patientenberatung prägen. Aber ohne konsequente Gegenmittel wird sie auch zum Vektor von Desinformation.

Entscheidend ist: Die Verantwortung liegt nicht allein bei KI-Entwicklern. Sie liegt auch bei Verlagen, Reviewern, Regulatoren und nicht zuletzt bei Nutzern, die lernen müssen, KI-Ausgaben kritisch zu hinterfragen. In einer Gesellschaft, die zunehmend von Algorithmen abhängig ist, wird Media Literacy — also die Fähigkeit, Informationen zu bewerten — zur Schlüsselkompetenz des 21. Jahrhunderts.

Das Experiment zeigt: Die Diskrepanz zwischen der Geschwindigkeit, mit der KI-Systeme Informationen verbreiten, und der Langsamkeit, mit der wissenschaftliche Qualitätskontrolle arbeitet, wird zum kritischen Problem. Ohne strukturelle Reformen könnte die nächste große Gesundheitskrise nicht nur durch Viren entstehen, sondern durch Desinformation, die von KI-Systemen millionenfach vervielfältigt wird.