KI bildet das Rückgrat vieler Anwendungen, die wir täglich nutzen, wie Suchmaschinen, Entscheidungshilfesysteme, Empfehlungssysteme oder Chatbots. Die diesen Anwendungen zugrundeliegenden KI-Algorithmen werden häufig mit Daten trainiert, die von Menschen generiert wurden – unter anderem Klickprotokolle oder geschriebene Artikel. Da Nutzer von Natur aus anfällig für den sogenannten Confirmation Bias oder Stereotypen sind, spiegeln die von Menschen generierten Daten diese Probleme wider.
Die auf diesen Daten trainierten KI-Algorithmen übernehmen diese Vorurteile, was zu ungerechten Ergebnissen führen kann und eine direkte Benachteiligung unterrepräsentierter Nutzergruppen zur Folge hat. Ein Beispiel könnte ein Empfehlungssystem sein, das Arbeitgeber bei der Suche nach Kandidaten für eine bestimmte Stelle unterstützt. Ein voreingenommener KI-Algorithmus könnte zu Kandidatenempfehlungen führen, die stark auf eine historisch privilegierte Nutzergruppe ausgerichtet sind – etwa junge weiße Männer für einen IT-Job. Dies führt dann zu einer unfairen Behandlung anderer Nutzer, obwohl diese vielleicht gut oder sogar besser für die Stelle geeignet wären. In einer kürzlich in „Nature Scientific Reports“ [1] veröffentlichten Publikation „Modelling the Long-Term Fairness Dynamics of Data-Driven Targeted Help on Job Seekers“ untersuchten wir die Fairness-Dynamik im Jobbereich. Dabei wurde festgestellt, dass KI-gesteuerte Entscheidungshilfen langfristig zu Fairnessproblemen führen können und dass der Einsatz von KI in einem solchen Umfeld daher sorgfältig überwacht werden muss.
Andere Beispiele fanden sich in KI-gesteuerten Suchsystemen. Hier werden KI-Modelle eingesetzt, um eine genaue Rangfolge der Dokumente zu erlernen, die eine bestimmte Suchanfrage erfüllen. Auch hier könnte ein voreingenommener KI-Algorithmus zu Rankings führen, die eine Diskriminierung von historisch benachteiligten Nutzergruppen oder Inhaltsanbietern zur Folge haben. In einer kürzlich erschienenen Arbeit, „Show me a „Male Nurse“! How Gender Bias is Reflected in the Query Formulation of Search Engine Users“, die in Kürze auf der „ACM CHI Conference on Human Factors in Computing Systems“ [2] vorgestellt wird, forschten wir danach, ob Suchmaschinenbenutzer selbst diese Vorurteile bei der Formulierung von Suchanfragen reflektieren. Wir fanden eindeutige Hinweise darauf, dass dies der Fall ist, insbesondere in Bezug auf geschlechtsspezifische Vorurteile und die Erwähnung eines Geschlechts, das nicht den Stereotypen entspricht (z. B.“Krankenpfleger“).
[1] Scher, S., Kopeinik, S., Truegler, A., & Kowald, D. (2023). Modelling the Long-Term Fairness Dynamics of Data-Driven Targeted Help on Job Seekers. Nature Scientific Reports.
[2] Kopeinik, S., Mara, M., Ratz, L., Krieg, K., Schedl, M., & Rekabsaz, N. (2023). Show me a „Male Nurse“! How Gender Bias is Reflected in the Query Formulation of Search Engine Users. In Proceedings of the 2023 Edition of the ACM CHI Conference on Human Factors in Computing Systems.