Von Nushin Yazdani

Als Joy Buolamwini noch Informatik studierte, musste sie sich regelmäßig das Gesicht ihrer Mitbewohnerin ausleihen. Buolamwini arbeitete mit Robotern und Gesichtserkennung. Ihr eigenes, Schwarzes Gesicht wurde von den Systemen nicht erkannt, das ihrer weißen Mitbewohnerin schon. Buolamwini hielt das damals für ein Datenproblem, das sicherlich schnell jemand beheben würde. Doch die Jahre vergingen und die Roboter erkannten Buolamwini, die nun Forscherin am MIT war, immer noch nicht. Statt ihre Mitbewohnerin zu fragen, setzte sie sich nun eine weiße Maske auf.

Weisse Masken
@ Shutterstock

Heute sind KI-Systeme in unserem Alltag allgegenwärtig. Menschliche Entscheidungen werden an vermeintlich intelligente Maschinen ausgelagert, um Arbeitsprozesse zu vereinfachen und effizienter zu gestalten.

Diese Maschinen erkennen nicht nur Gesichter, sie sortieren auch Bewerbungen, beeinflussen Gerichtsprozesse, fällen Krediturteile, entscheiden über Polizeieinsätze und kontrollieren Grenzübergänge. Und immer öfter fällt auf, dass sie dabei rassistische, sexistische und diskriminierende Entscheidungen treffen. Vor einigen Jahren hat Amazon ein algorithmisches Entscheidungstool geschaffen, um Einstellungsprozesse zu vereinfachen. Als sich nach einem Jahr in der Entwicklung herausstellte, dass das Recruiting-Tool Frauen diskriminierte, die sich auf technische Stellen bewarben, war die Überraschung groß. Doch eigentlich war nichts überraschend.

Das Menschen in seiner Effizienz weit überlegene Tool sollte Tausende Bewerbungen vorsortieren und die Erfolgsversprechendsten in die nächste Bewerbungsrunde aufnehmen. Um zu lernen, welche Bewerber*innen sich Amazon wünscht, wurde es mit Daten von eingestellten und nicht eingestellten Bewerber*innen der vergangenen zehn Jahre trainiert – also mit bereits getroffenen Entsc…