Blindes Vertrauen
Carina Grewe | 24. August 2023
Ein Auto muss aus einem Fluss geborgen werden oder hängt auf einer Treppe fest. Ein Lkw ist in einer viel zu schmalen Sackgasse steckengeblieben. Nachrichten dieser Art waren gerade zur Anfangszeit von Navigationssystemen keine Seltenheit. Die Fahrerinnen oder Fahrer der Fahrzeuge hatten sich voll und ganz auf ihre elektronischen Helfer verlassen und waren so in Situationen geraten, die sie mit ein bisschen Mitdenken hätten vermeiden können. Dahinter steckt das verhaltenspsychologisch nachgewiesene Phänomen des „Automation Bias“: Es beschreibt den Umstand, dass Menschen ohne kritische Reflexion bis hin entgegen besseren Wissens computergenerierten Lösungs- und Entscheidungsvorschlägen trauen, anstatt sich selbst Gedanken zu machen oder ihrer eigenen Erfahrung vertrauend davon abzuweichen.
Forschungsprojekt zu Automation Biases
Im Zuge der digitalen Transformation werden immer mehr Entscheidungsprozesse digitalisiert. Dabei gibt es sowohl vollautomatisierte algorithmische Entscheidungen als auch digitale Technik, die Entscheidungen unterstützt. Vollautomatisierte Entscheidungen werden vielfach im Hinblick auf Chancen und Risiken diskutiert, entscheidungsunterstützende Systeme hingegen weniger. Denn dort sollte die Entscheidung letztendlich immer noch der Mensch fällen. An dieser Schnittstelle zwischen Vollautomatisierung und menschlicher Entscheidung setzt das Phänomen des Automation Bias ein, das besondere Risiken entfaltet.
„Rechtlich reflektiert sind die Risiken algorithmenbasierter Entscheidungsunterstützung bisher nur punktuell. Das Thema kommt erst am Rande in der deutschen Rechtswissenschaft an“, sagt Jun.-Prof. Dr. Hannah Ruschemeier. Sie ist Juniorprofessorin für Öffentliches Recht mit Schwerpunkt Recht der Digitalisierung/Datenschutzrecht an der FernUniversität in Hagen. In einem im Forschungsschwerpunkt Arbeit – Bildung – Digitalisierung angesiedelten Forschungsprojekt widmet sie sich dem Problem des Automation Bias.
Ihr Ansatz ist dabei interdisziplinär. „Mein Projektmitarbeiter Lukas Hondrich und ich möchten der Frage nachgehen, wie menschliche Entscheidungen strukturiert sind und wie sie im Recht abgebildet werden. Dabei möchten wir die psychologische und die rechtliche Perspektive zusammenbringen“, erklärt Ruschemeier.
Blick auf österreichischen Arbeitsmarktservice
Ein interessanter Fall ist für sie der Einsatz des Scoring-Algorithmus beim österreichischen Arbeitsmarktservice. Dort wird ein System eingesetzt, um Bewerber:innen nach ihren Chancen am Arbeitsmarkt zu klassifizieren. So sollen die Sachbearbeiter:innen mithilfe des Systems entscheiden, welche Formen der Unterstützung den Arbeitssuchenden zugewiesen werden. Die letztliche Entscheidung soll am Ende der Mensch fällen. In den meisten Fällen folgten die Sachbearbeiter:innen aber den vorgegebenen Empfehlungen, auch aufgrund der geringen Zeit zur Fallbearbeitung. Dies führte dazu, dass beispielsweise alleinerziehende Frauen systematisch schlechter bewertet wurden, da das Modell allein anhand historischer Daten trainiert wurde.
In dem Fall des österreichischen Arbeitsmarktservices geht es um personenbezogene Daten. „Laut Datenschutzgrundverordnung (DSGVO) sind vollautomatisierte Entscheidungen verboten. Der als „KI-Vorschrift“ gehandelte Artikel 22 DSGVO erfasst entscheidungsunterstützende Systeme jedoch explizit nicht“, erläutert Hannah Ruschemeier. Ob das System noch entscheidungsunterstützend oder durch den Automation Bias auch schon mehr ist, ist hier also eine rechtlich relevante Frage.
„Unser Projekt ist ergebnisoffen. Wir möchten einen wertvollen Beitrag zur wissenschaftlichen Debatte beitragen und zudem möglichst konkrete Lösungen entwickeln.“
Projekt läuft über zwei Jahre
Den Ausgangspunkt von Hannah Ruschemeiers Forschungsprojekt bildet die Verarbeitung personenbezogener Daten im Anwendungsbereich der DSGVO. Die Wissenschaftlerin sieht aber auch die Möglichkeit, dass es sich in der zweijährigen Laufzeit darüber hinaus weiterentwickelt. Interessant wird für sie beispielsweise, was in der geplanten KI-Verordnung der Europäischen Kommission über den Automation Bias stehen wird. „Unser Projekt ist ergebnisoffen. Wir möchten einen wertvollen Beitrag zur wissenschaftlichen Debatte beitragen und zudem möglichst konkrete Lösungen entwickeln.“
