Fellowship-Programm
Weil der Algorithmus es sagt: Zur Rolle menschlicher Entscheider*innen und datengetriebener Unterstützung
Veröffentlicht am 24. Okt 2022
Im Laufe eines Arbeitstages treffen wir zahlreiche Entscheidungen: Wie bearbeiten wir Kund*innenanfragen? Wann legen wir Pausen ein? Der Einsatz von Algorithmen soll einige dieser Entscheidungen erleichtern und die Arbeit effizienter gestalten. Dabei kann er jedoch erhebliche Auswirkungen auf Beschäftigte und Bürger*innen haben. Wie Algorithmen uns unterstützen können und an welchen Stellen wir sie häufig überschätzen diskutieren die Research-Fellows der Abteilung Denkfabrik Digitale Arbeitsgesellschaft Sonja Köhne und Mareike Winkler.
Zunehmende Bedeutung von algorithmischen Entscheidungshilfen
Entscheidungen gehören zu unserem Arbeitsalltag – insbesondere Führungskräfte treffen tagtäglich eine Vielzahl großer und kleiner Entscheidungen. Algorithmen - also Berechnungsformeln, die autonom Entscheidungen auf der Grundlage statistischer Modelle oder Entscheidungsregeln treffen, (englischer Link) ohne dass der Mensch explizit eingreift, – sollen diese erleichtern. Beispielsweise bei der Personalauswahl: Welche Bewerber*innen lade ich zum Vorstellungsgespräch ein? Ein Algorithmus analysiert vorab die Persönlichkeit der Kandidat*innen anhand einer Videoaufzeichnung daraufhin, wie gut er*sie zum Unternehmen passt. Oder bei der Schichtplanung: Welche Beschäftigte teile ich für den Frühdienst ein? Ein Algorithmus berechnet den optimalen Dienstplan und berücksichtigt dabei Präferenzen der Beschäftigten, Kund*innenanforderungen und sogar Wetterdaten.
Nicht nur in Personalentscheidungen, auch in der öffentlichen Verwaltung kommen zunehmend Algorithmen zur Entscheidungsfindung zum Einsatz, und auch hier nicht immer unumstritten. Bei welchen Arbeitslosen lohnen sich Fördermaßnahmen für den beruflichen Wiedereinstieg am meisten? Bei welchen Sozialhilfebezieher*innen sollte eine Überprüfung stattfinden? In der österreichischen Arbeitsverwaltung wurde ein umstrittener Algorithmus genutzt, der die Chancen arbeitsloser Menschen am Arbeitsmarkt berechnete. In den Niederlanden konnten Behörden auf eine von vielen Seiten kritisierte Anwendung zugreifen, die unter anderem potenziellen Sozialhilfebetrug aufzudecken versuchte.
Das Streben nach „perfekten” Entscheidungen
Die Gründe, algorithmische Werkzeuge zu nutzen, sind vielfältig. Allen voran steht die Hoffnung auf Rationalität statt Bauchgefühl. Algorithmische Systeme versprechen zuverlässige und objektive Datenverarbeitung. So wirbt ein Hersteller etwa mit „Treffen Sie HR-Entscheidungen auf der Grundlage präziser Personaldatenanalysen – statt Vermutungen”. Ein anderer schreibt “Messen Sie Soft Skills [...] und Persönlichkeitsmerkmale valide und objektiv. Frei von kognitiven Verzerrungen.” Menschen seien voller Meinungen und Vorbehalte, Maschinen hingegen neutral, so eine häufige Annahme. Und sie bieten einen weiteren Vorteil: Während Menschen nur eine begrenzte Menge an Daten verarbeiten können, erlaubt technologischer Fortschritt es inzwischen, riesige Datenmengen in hoher Geschwindigkeit mittels Algorithmen auszuwerten. Auf diese Weise können weitaus mehr Informationen einer Entscheidung zugrunde gelegt und Effizienz gewonnen werden. Damit geht eine weitere Hoffnung einher: Zukunft ohne Unsicherheit. Denn durch die Verarbeitung riesiger Datensätze lassen sich Zukunftsszenarien simulieren, Wahrscheinlichkeiten berechnen und Prognosen generieren.
Die dunkle Seite datengetriebener Entscheidungsunterstützung
Rationalität, Effizienz, Prognosefähigkeit – Algorithmen scheinen viele potenzielle Vorteile gegenüber menschlichen Entscheider*innen zu haben. Doch sie sind auch mit hohen Risiken verbunden.
Das vielzitierte Beispiel des Einstellungsalgorithmus von Amazon, der Frauen systematisch schlechter bewertete als ihre männlichen Konkurrenten, zeigte deutlich, dass der Rückgriff auf historische Daten zu Pfadabhängigkeiten führen und Diskriminierung fortsetzen kann. Und auch die Prognosefähigkeit hat eine dunkle Seite, nämlich dann, wenn Schätzungen zu selbsterfüllenden Prophezeiungen führen. Das klassische Beispiel hierfür ist die Vorhersage von Fluktuation: Ein Algorithmus prognostiziert, dass eine Beschäftigte das Unternehmen zeitnah verlassen wird. Die Führungskraft erhält Kenntnis davon und fördert die Beschäftigte nicht mehr – und erhöht somit die Wahrscheinlichkeit, dass diese tatsächlich das Unternehmen verlässt.
Maschinen können durchaus Menschen bei der Entscheidungsfindung unterstützen. Problematisch aber wird es, wenn algorithmische Entscheidungen nicht ausreichend hinterfragt werden (complacency und automation bias) (englischer Link), etwa wenn Anwender*innen unter hohem Zeitdruck stehen. Ein Beispiel aus der Arbeitsvermittlung im internationalen Kontext zeigte darüber hinaus, dass Mitarbeiter*innen die „Entscheidungsempfehlung” eines algorithmischen Systems sehr selten in Frage stellten – auch aus Angst vor persönlichen Konsequenzen.
In manchen Bereichen setzt der Gesetzgeber bereits Grenzen für die automatisierte Entscheidungsfindung: So schreibt etwa die Datenschutzgrundverordnung (DSGVO) vor, dass Betroffene grundsätzlich nicht einer ausschließlich auf einer automatisierten Datenverarbeitung beruhenden Entscheidung unterworfen sein dürfen. Im öffentlichen Recht dürfen Verwaltungsakte nur unter bestimmten Voraussetzungen vollständig durch automatische Einrichtungen erlassen werden. Gleichzeitig laufen derzeit auf europäischer Ebene die Verhandlungen über verbindlichen Regelungen für den Einsatz von Künstlicher Intelligenz.
Die Frage nach der Rolle des Menschen bleibt relevant
Die Fähigkeiten von algorithmischen Entscheidungssystemen werden an vielen Stellen überschätzt. Bei der Entscheidung darüber, inwieweit ein Algorithmus sich als Unterstützung eignet, kommt es nicht zuletzt auch auf die Art der Entscheidung an. Nehmen wir die eingangs erwähnten Beispiele: Welche Bewerber*innen lade ich zum Vorstellungsgespräch ein und welche Beschäftigte teile ich für den Frühdienst ein? Bei der Bewertung von Eignung und Potenzial haben Studien gezeigt, dass menschliche Entscheider*innen gegenüber Algorithmen bevorzugt als vertrauenswürdiger und als fairer wahrgenommen werden. Bei Entscheidungen mit einem transaktionalen Charakter wie der Schichtplanung hingegen gab es keinen signifikanten Unterschied. Am Ende sollte die Aufsicht über die Systeme und Letztentscheidung jedoch stets beim Menschen verbleiben. Und so betonen trotz all der skizzierten Hoffnungen und Erwartungen zumindest deutsche Technologiehersteller häufig genau das: Algorithmen sind unterstützende Werkzeuge für menschliche Entscheider*innen. Das bedeutet auch, dass die Verantwortlichkeit für Entscheidungen von Beginn an geklärt sein muss –„“weil der Algorithmus es sagt” reicht als Begründung für eine Entscheidung nicht aus.