Auch Roboter stellen falsche Diagnosen

Viele Errungenschaften von Künstlicher Intelligenz (KI) sind ein Erfolg. Etwa übersetzt Software Texte mit immer höherer Treffsicherheit. KI-Systeme erkennen auch Tumore präziser und früher als Ärztinnen und Ärzte. Manche funktionieren sogar ohne persönlichen Kontakt auf Knopfdruck über Telemedizin, was insbesondere im Zuge von Pandemien hilfreich ist. Doch eine US-Studie zeigt, dass selbst Computer in der medizinischen Arbeit irren.

KI-Modelle haben, wie Menschen, eine Tendenz, Information zu vereinfachen. Das heißt, sie gehen wie wir bei Problemlösungen immer wieder mal den leichteren Weg. Wenn das bei Krankheiten zu Diagnosefehlern führt, kann es erheblichen Schaden verursachen, berichten die Forscher.

Das Problem der Blackbox

Das Team der Universität Washington hat verschiedene KI-Modelle untersucht, mit denen die pandemische Lungenerkrankung Covid-19 anhand von Lungenröntgen korrekt diagnostiziert werden sollte. In bildgebenden Verfahren sollte die Künstliche Intelligenz Muster, die der Erreger Sars-CoV-2 in der Lunge hinterlässt, präzise erkennen. Das Team hat jedoch entdeckt, dass die Modelle nicht immer pathologische Expertise bewiesen, sondern in zahlreichen Fällen falsche Schlüsse zogen. "Ein Arzt würde nach bestimmten Mustern im Röntgenbild suchen, die das Coronavirus Sars-CoV-2 charakteristisch in der Lunge verursacht", sagt Ko-Author Alex DeGrave im Fachmagazin "Nature Machine Intelligence". "Doch die KI-Systeme zogen einfach Rückschlüsse, anstatt die pathogenen Muster im Gewebe zu analysieren. Das ist in etwa so, als würde man beim Anblick einer älteren Person pauschal annehmen, dass sie eine größere Wahrscheinlichkeit hat, gerade an Covid-19 erkrankt zu sein, weil die Krankheit bei Älteren häufiger vorkommt. Der Rückschluss ist zwar nicht per se falsch, aber halt auch nicht in jedem Fall richtig. Auf diese Weise entstehen Fehldiagnosen."

"Shortcut learning" lautet der englische Fachbegriff für diese Form des maschinellen Erlernens, was in etwa "Lernen durch Abkürzung" bedeutet und wiederum heißt, dass das Computerprogramm erlernt, sehr häufige Kombinationen von Daten einander zuzuordnen. Beispiel: KI kann mittlerweile Tiere gut erkennen. Könnte man meinen. Vielmehr benennt aber die Software zwar Kühe auf einer grünen Wiese richtig, doch sie identifiziert auch eine grüne Wiese ohne die Tiere als "Kühe auf Wiese", weil sie gelernt hat, auf den Hintergrund zu achten.

Zum Vergleich: Schüler folgen einer ähnlichen Vorgangsweise, wenn sie Jahreszahlen historischer Ereignisse auswendig lernen müssen, ohne sich mit der Bedeutung des Ereignisses auseinanderzusetzen. Sie erfinden gedankliche Eselsbrücken, um Ziffern und Namen memorieren zu können.

Wenn Banken sich bei der Kreditvergabe Algorithmen bedienen, wird das Problem deutlich. Dann wird über die Postleitzahl des Antragstellers auf das soziale Milieu geschlossen und ein Kredit verweigert, was aber nicht immer gerechtfertigt ist. Und im konkreten Fall konnten die Forscher nachweisen, dass KI die Daten nicht sinnerfassend kombiniert. Sie ignorierte klinische signifikante Indikatoren für Covid-19 und bezog für die Vorhersage von Covid-19 irrelevante Daten in ihre "Diagnose" ein. "Im schlimmsten Fall lernen KI-Systeme nur, Daten zu erkennen. Mit Seuchenpathologie hat das nichts zu tun", sagt Ko-Autor Joseph Janizek. "Das ist insbesondere dann der Fall, wenn alle positiven Fälle von Covid-19 aus einer und die negativen Fälle aus einer anderen Datenbank stammen. Als wir zwei verschiedene Datensets verglichen, senkte sich die Trefferquote der Künstlichen Intelligenz um die Hälfte."

Um Fehldiagnosen auszuschließen, bedürfe es einer transparenten Künstlichen Intelligenz. Derzeit ist es so, dass der Mensch nicht mehr nachvollziehen kann, nach welcher Systematik die Software etwas (Unerwartetes) tut, sobald sie implementiert ist. "Derzeit tut sie das Richtige bei einer Handvoll Röntgenbildern. Bei vielen Bildern wird es schwieriger", so Janizek. Soll heißen: Lösung gesucht. Bevor sich die Arbeitssystematik von KI nicht erklären lässt, kann sie Mediziner aus Fleisch und Blut wohl nicht ersetzen.