Anfang Juni fand die RightsCon statt, eine internationale Konferenz, bei der es um Menschenrechte und das digitale Zeitalter geht. Eines der dort diskutierten Themen scheint auf den ersten Blick aus der Reihe zu fallen: Design.

Doch es gibt gute Gründe, weshalb auch Design wichtig für Menschenrechte ist. Der Zusammenschluss "Design Justice Network" setzt sich dafür ein, ein größeres Bewusstsein für die Relevanz des Themas zu schaffen.

Sasha Costanza-Chock, Kommunikationswissenschaftler:in und Designer:in von der Technik-Universität MIT erklärt:

"Den Begriff Designer:in nutzen wir immer mehr für Menschen, die Prototypen für die unterschiedlichen Systeme in unserer Gesellschaft planen, erdenken und erschaffen – auch Technologien fallen darunter. Denk zum Beispiel an UX-Designer:innen, die haben nicht zwangsläufig etwas mit Grafikdesign zutun. Ihr Job besteht darin, über die Erfahrung nachzudenken, die eine Person machen wird, wenn sie entweder mit einem Unternehmen oder Regierungsbehörden interagiert."

Costanza-Chock plädiert dafür, genauer zu fragen, für wen ein bestimmtes System eigentlich einfach bedienbar und intuitiv ist – und ob es nicht sogar jemandem schaden würde, weil es zum Beispiel seine oder ihre Persönlichkeitsrechte verletzt. Wie das vonstatten geht, veranschaulicht ein Video, das im März auf Tiktok viral ging:

Das Video stammt von Rosalynne Montoya, einer trans Frau, Aktivistin und Model. Sie beschreibt, wie es ist, als trans Person durch den Ganzkörperscanner der Flugsicherheitsbehörde TSA zu gehen: Der Scanner für Frauen schlägt Alarm, weil er eine "Anomalie" zwischen ihren Beinen feststellt. Sie wird dann durch den Scanner für Männer geschickt – dort wiederum lösen ihre Brüste Alarm aus.

Diese Erfahrung hat auch Sasha Costanza-Chock machen müssen. Sie schreibt darüber in ihrem Buch "Design Justice", also "Design-Gerechtigkeit". Sie sagt, dass viele Technologien vor allem Menschen schaden, die wegen ihrer Hautfarbe, ihres Geschlechts, einer Behinderung oder wegen ihres Einkommens sowieso schon Diskriminierung erfahren.

Dieses Problem wächst sich aus, wenn es zum Beispiel um Technologien wie Künstliche Intelligenz oder automatisierte Entscheidungssysteme geht und vor allem dann, wenn Regierungsbehörden sie einsetzen – wie zum Beispiel die Rückfall-Risiko-Scores in den USA:

"Die Strafjustiz nutzt Rückfall-Risiko-Bewertungen, wenn sie darüber entscheidet, ob jemand länger im Gefängnis bleiben muss oder früher nach Hause geschickt werden kann – und zwar noch vor dem Prozess. ProPublica hat herausgefunden, dass diese Programme schwarze Menschen benachteiligen.", so Costanza-Chock.

Diese US-Beispiele zeigen, dass ein diskriminierendes Design oft weit über Alltagsrassismus oder Sexismus hinaus geht.

Caroline Sinders ist Künstlerin und Designwissenschaftlerin. Ihrer Ansicht nach bringt es nichts, Technologien isoliert zu betrachten. Man müsse das gesamte Ökosystem betrachten, in dem eine Software entsteht. Sie begründet das mit der Erfahrung, die die schwarze Harvard Professorin Latanya Sweeney gemacht hat, als sie ihren Namen gegoogelt hat und die Suchmaschine ihr Seiten vorschlug, auf denen es um "Vorstrafenregister" und "Kautionen" ging:

"Sie sah diese Art von Suchvorschläge hauptsächlich dann, wenn sie nach schwarzen, afro-amerikanisch klingenden Namen gesucht hat. Wenn Google oder andere Unternehmen so etwas zulassen – und das sollten wir nicht vergessen –, dann schauen da Juristen, Chef-Entwickler und Design-Manager drauf."

Denn: So ein Produkt geht durch viele Hände, bevor es veröffentlicht wird. Sinders erklärt weiter:

"Das alles ist Teil eines Design-Prozesses. Wir können nicht nur draufschauen und sagen: Nur der Algorithmus ist problematisch. Nein, nein, nein – an dem Ergebnis sind wir alle mitschuldig. Ich versuche Designer und Design-Studierende dazu zu bringen, das zu verstehen und darüber nachdenken."

Darüber hinaus fordern Caroline Sinders und Sasha Costanza-Chock weitere Regulierungen und international verbindliche Abkommen, die den Schutz der Menschenrechte bei der Technologieentwicklung sicherstellen sollen – vor allem mit Blick auf automatisierte Entscheidungssysteme:

"Wir brauchen starke Rechenschaftspflichten für die automatisierten Entscheidungssysteme, die gerade in jedem Lebensbereich eingesetzt werden. Bei Bewerbungs-Screenings, bei Klausur-Überwachungssoftware in der Bildung, bis hin zu Algorithmen im Gesundheitssystem, die entscheiden, wer welche Leistungen erhält. Um zukünftig Technologien zu haben, die wir wirklich brauchen, werden wir viel mehr öffentliche Gelder investieren müssen."

Costanza-Chock macht hier aber noch einen wichtigen Unterschied: Sie sagt, mathematisch könne man Technologien durch Regulierung verbessern und kontrollieren – indem man Algorithmen prüft. Nutzer müssen jedoch immer eine Möglichkeit haben, automatisierte Entscheidungen anzufechten.

Dies mindereeine diskriminierende Entscheidungsfindung jedoch nur, ohne sie zu verhindern. Deshalb sollten selbstlernende Systeme wie Künstliche Intelligenz von Regierungen überhaupt nicht verwendet werden:

"Technologien sind konkret gewordene Gesellschaftsstrukturen in unserem Leben. Deshalb haben wir es mit einem Henne-und-Ei-Problem zutun. Wenn wir gerechtere und inklusivere Technologien entwickeln wollen, dann brauchen wir erstmal grundlegende Veränderungen in unseren gesellschaftlichen Prioritäten."

(hte)