Sebastian Scher forscht am Know-Center an Methoden zur Qualitätskontrolle von KI-Anwendungen.
Das „Arbeitsmarktchancen-Assistenzsystems” des AMS, landläufig als AMS-Algorithmus bekannt, hat eine breite und mitunter hitzige gesellschaftliche Debatte losgetreten. Angesichts der gesellschaftlichen Relevanz von Arbeitsvermittlungsmaßnahmen ist das erfreulich und begrüßenswert. Bedenklich und nicht zielführend ist jedoch, dass sich die Diskussion sowohl von Seiten der KritikerInnen als auch der BefürworterInnen vor allem um die Begrifflichkeit „Künstliche Intelligenz (KI)“ dreht. Während KritikerInnen die Anwendung verteufeln, wird andererseits versucht mit dem Argument zu beschwichtigen, dass es sich beim AMS-Algorithmus um keine KI handelt, weswegen auch die geplante EU-Regulierung zur KI nicht von Bedeutung sei.
Ist der AMS-Algorithmus eine KI?
Die Begriffe „Algorithmus“, „Künstliche Intelligenz“, „Maschinelles Lernen“, „Neuronale Netzwerke“ werden in der Wissenschaft bereits seit mehreren Jahrzehnten verwendet. In den letzten Jahren sind sie auch gesamtgesellschaftlich zu geflügelten Wörtern geworden, werden aber ungenau verwendet. Maschinelles Lernen ist nicht gleichzusetzen mit neuronalen Netzen – diese sind lediglich eine von vielen Methoden des maschinellen Lernens. „Maschinelles Lernen“ ist wiederum nur ein Teilbereich von Künstlicher Intelligenz.
Das Argument, der AMS-Algorithmus sei keine KI, weil kein maschinelles Lernen und keine neuronalen Netze verwendet werden, ist daher doppelt falsch. Eine Methode, die kein maschinelles Lernen verwendet, kann trotzdem eine KI sein. Der AMS-Algorithmus verwendet allerdings maschinelles Lernen – in Form der logistischen Regression – welche eindeutig unter die Definition des maschinellen Lernens fällt.
Pauschalisierung ist das Problem
Ein oft (zurecht) genannter Kritikpunkt an KI ist, dass Entscheidungen nicht nachvollziehbar sind. Das trifft jedoch nicht bei der Methode zu, welche der AMS-Algorithmus verwendet. Die Formel, welcher dieser aus den historischen Daten erzeugt, ist mit grundlegendem mathematischem Verständnis leicht zu interpretieren. Die vorhandene Interpretierbarkeit darf keineswegs als Freibrief für die Verwendung des Algorithmus angesehen werden, denn sie wird – grob gesagt – durch eine besonders starke „Pauschalisierung“ erkauft. Menschen werden automatisch in sehr große Gruppen (größer als bei Methoden, die weniger interpretierbar sind) eingeteilt. Dieser „Trade-off“ ist ein ungelöstes Dilemma des maschinellen Lernens. Beim AMS-Algorithmus ist das wichtigste ethische Problem nicht die fehlende Interpretierbarkeit, sondern die „Pauschalisierung.“
Einzig die Anwendung zählt
Es sollte diskutiert werden, ob diese „Pauschalisierung“ akzeptabel ist, und nicht, ob eine KI verwendet wird oder nicht. Für eine ethische und gesellschaftliche Beurteilung lautet die entscheidende Frage nicht “Ist KI gut oder schlecht?“ „Ethisch oder unethisch?“, sondern ist es diese eine konkrete Anwendung? Der AMS-Algorithmus teilt Personen in Gruppen ein, wobei alle Personen in einer Gruppe sich historisch hinsichtlich der Erfolgschancen am Arbeitsmarkt ähneln. Unabhängig von der verwendeten Technologie oder Methode, muss die ethische Frage lauten, ob es akzeptabel ist, das AMS-Beratungsangebot auf eine Abschätzung der Erfolgschancen anzupassen.
Wieso ist das Geschlecht ein Entscheidungskriterium?
Die Einteilung des AMS-Algorithmus ist, zumindest für die historischen Daten, im Durchschnitt korrekt, aber nicht für jede Einzelperson. Wenn es das gesellschaftliche Ziel ist, möglichst viele Menschen in Beschäftigung zu bringen, mag das zwar akzeptabel sein, solange dadurch eine bessere Ressourcenverteilung des AMS zustande kommt. Es wirft aber schwierige Fragen bezüglich individueller Fairness auf, da es immer zu Falschbeurteilungen kommen kann. Ein weiterer problematischer Aspekt beim AMS-Algorithmus ist, dass das Geschlecht der Person als Input verwendet wird. Dies hat einen Einfluss auf das Ergebnis des Algorithmus. Das könnte dem Grundgesetz gegen Diskriminierung widersprechen, da bei sonst identischen Merkmalen Frauen anders als Männer bewertet werden. Im Bereich der „Fairen KI“ wird das Verwenden von Eigenschaften gegen welche nicht diskriminiert werden darf (wie z.B. Geschlecht oder ethnische Zugehörigkeit) meistens als No-Go gesehen. Es ist nicht nachvollziehbar, wieso der AMS-Algorithmus diesen Input verwendet.
Umfassende Debatte ist notwendig
Wichtig ist zu erkennen, dass alle genannten Fragen und Aspekte unabhängig von der verwendeten Methode sind. Auch bei einer individuellen Einzelfallbeurteilung durch SachbearbeiterInnen könnte es unbewusste Pauschalisierungen geben. Die Beurteilung wäre auch in diesem Fall niemals fehlerfrei.
Ist der AMS-Algorithmus nun eine gute oder schlechte Idee? Um das zu beantworten, ist eine breite Debatte notwendig, welche sowohl die technische Implementation des Algorithmus begutachtet als auch alle gesellschaftlichen Folgen untersucht. Eine verallgemeinernde Glorifizierung oder Kritik von KI ist jedenfalls der falsche Weg.
Ähnlicher Artikel: Dennerlein et al., 2020 – Ist ein Algorithmus böse. Falter, Heurka 3/20.