Sowohl in Deutschland wie auch in vielen anderen Ländern Europas leiden Ämter und öffentliche Verwaltung unter Personalmangel: Zu wenige Mitarbeiter müssen sich um zu viele Betroffene kümmern. Das ist ein Grund, warum dort in den vergangenen Monaten und Jahren computergestützte Werkzeuge eingeführt wurden. Hinter dem Einsatz dieser Programme steht die Idee, Prozesse in den Behörden effizienter zu gestalten.

Die Menschen, die das planten und das einsetzten, seien wohl davon überzeugt, eine gute Technik vorzuschlagen, sagte Tobias Matzner im Deutschlandfunk Kultur. "Dieser Glaube basiert aber meiner Meinung nach auf verkürzten Annahmen", so der Philosoph und Informatiker von der Universität Paderborn.

In Österreich soll ein Programm ab kommendem Jahr beim Arbeitsmarktservice, dem Pendant zum deutschen Jobcenter, Arbeitssuchende in drei Kategorien einteilen: Je nachdem, wie hoch die Chance ist, dass sie schnell wieder einen Job finden. In Polen ist ein solches System schon länger im Einsatz und in den Niederlanden wird – gestützt von Algorithmen - nach Sozialbetrügern gefahndet.

Es sei kein Zufall, dass es sich regelmäßig um Bereiche mit sozial schwachen Menschen handele, kritisierte Tobias Matzner den Einsatzbereich solcher automatisierter Entscheidungshilfen. "Schon weit vor algorithmischen Verfahren ging es immer darum, gerade solche Menschen sehr stark in den Fokus von Überwachungs- und Kontrollmechanismen zu nehmen."

Ein großes Problem von softwaregestützten Entscheidungsfindungen sei tatsächlich die Diskriminierung, und zwar eine versteckte. Auch wenn diese Anwendungen wie vorgeschrieben, bestimmte Daten nicht verwendeten, seien sie sehr gut darin, sogenannte Stellvertreterdaten zu erheben, erklärte der Informatiker:

"Wir haben gesetzlich geschützt, gewisse Eigenschaften, die wir in institutionellen Entscheidungen nicht berücksichtigen dürfen, steht im Gleichstellungsgesetz: Geschlecht, Herkunft, Ethnizität, Religion und so weiter. Diese Daten werden dann auch explizit als solche nicht benutzt. Aber man kann trotzdem Rückschlüsse auf genau diese Eigenschaften ziehen, indem man diese Stellvertreterdaten findet."

Problematisch für die Betroffenen sei auch die Intransparenz der Verfahren und die Unverfügbarkeit der Anwendungen, kritisierte Tobias Matzner: "Es wird irgendwie eine Entscheidung getroffen und es ist nicht besonders klar, wie diese Entscheidung getroffen wird. Deswegen finde ich es ganz wichtig, dass immer, wenn so ein Verfahren zum Einsatz kommt, im Voraus geklärt wird: Wohin können die Leute, die davon betroffen sind, sich wenden."

Denn auch wenn diese technikgestützten Verfahren mit einer gewissen Aura von Objektivität umgeben seien, sei klar, dass sie, wie jedes Verfahren, Fehler produzierten:

"Bloß dass hier diese Fehler noch tiefer, sozusagen hinter einer institutionellen Grenze, die dann nochmal hinter einer technischen Grenze liegen, ganz tief irgendwo versteckt sind. So stark versteckt, dass man davon ausgehen muss, dass Sachbearbeiterinnen oder Sachbearbeiter im Alltag diese Fehler erstmal nicht auffallen. Sie nutzen die Software und kriegen ein Ergebnis. Die halten sich an das Ergebnis. Dafür ist die Software da, das kann man diesen Menschen auch nicht übelnehmen."

Deshalb müsse es eine andere, im besten Fall unabhängige Stelle geben, die dann sehr gut und kleinteilig kontrolliere, so der Informatiker und Philosoph. Diese Kontrollfunktion gestalte sich aber sehr schwierig, wenn man mit maschinellem Lernen arbeite. "Das heißt im Extremfall, bei jeder Entscheidung ist es schon eine andere Technik, bei jeder Entscheidung ist es schon ein neuer Algorithmus", beschrieb Tobias Matzner die Herausforderung: "Das ist eigentlich im Voraus nicht mehr absehbar, was da passieren wird."