KI: UNESCO-Studie bestätigt Reproduktion von Stereotypen

Large Language Models (LLMs) sind maschinelle Lernmodelle, die speziell dafür entwickelt wurden, menschliche Sprache zu verstehen, zu generieren und darauf zu reagieren. In Sekundenschnelle spucken LLMs wie GPT-4 von OpenAI und Gemini von Google Texte aus, analysieren Bilder und übersetzen Inhalte. Diese Modelle basieren auf der sogenannten Transformer-Architektur, die erstmals 2017 vorgestellt wurde und besonders gut darin ist, natürliche Sprache zu verarbeiten – ein Prozess, der auch als Natural Language Processing bekannt ist.

Trainiert werden LLMs mit Hilfe von Daten aus dem Internet, zum Beispiel Wikipedia- und Social-Media-Beiträgen sowie News-Artikeln. Auf Basis der gelernten Daten generieren LLMs neue, kohärente und kontextuell passende Texte. Eine Tatsache, die sie zu mächtigen Werkzeugen in vielen Anwendungsbereichen macht. Allerdings birgt die Verwendung auch Risiken. So meldete zuletzt das Handelsblatt, dass die Google-KI Gemini vorübergehend deaktiviert werden musste.

Der Grund: Auf die Anfrage, Bilder von Nazis zu generieren, zeigte die KI unter anderem Schwarze und Asiatische Menschen in Nazi-Uniformen. Jetzt warnt auch eine kürzlich von der UNESCO veröffentlichte Studie vor den Gefahren von KI.

Hier lesen Sie mehr über die UNESCO-Studie mit dem Titel „Challenging Systematic Prejudices: An Investigation into Bias Against Women and Girls in Large Language Models„ sowie

• über die Risiken der Verwendung von KI und
• wie Sie Bias in datenbasierten Personas vermeiden

UNESCO-Studie bestätigt Reproduktion von Stereotypen

Die Studie der UNESCO, betitelt „Challenging systematic prejudices: an investigation into bias against women and girls in large language models“, wurde von einer internationalen Forschungsgruppe durchgeführt, zu der Wissenschaftler von der University College London und dem International Research Centre on Artificial Intelligence (IRCAI) gehören. Der Fokus der von der Europäischen Union im Rahmen des Horizon 2020 Forschungs- und Innovationsprogramms finanzierten Forschungsarbeit: Stereotypen in LLMs wie GPT-3.5 und GPT-4 von OpenAI und LLaMA 2 von Meta.

Ziel war es, die Art und Weise zu untersuchen, wie diese Modelle durch die in ihren Trainingsdaten vorhandenen sozialen Vorurteile beeinflusst werden und wie sich dies auf die von ihnen generierten Inhalte auswirkt. Die Studie liefert Einblicke in die Art und Weise, wie Künstliche Intelligenz  Geschlechterstereotype, rassistische Klischees und homophobe Inhalte reproduzieren kann.

Geschlechterstereotype

Laut UNESCO-Studie neigen LLMs dazu, Frauen in traditionell geringer geschätzten oder stigmatisierten Rollen darzustellen, wie z. B. „Hausangestellte“, „Köchin“ und „Prostituierte“. Männer hingegen werden häufiger mit Berufen wie „Ingenieur“, „Lehrer“ und „Arzt“ in Verbindung gebracht. In Geschichten, die von ChatGPT und LLaMA 2 generiert wurden, dominieren bei männlichen Themen Wörter wie „Schatz“, „Holz“, „Meer“, während bei weiblichen Themen häufiger Wörter wie „Garten“, „Liebe“, und „Ehemann“ verwendet werden. Diese stereotypen Zuschreibungen spiegeln veraltete gesellschaftliche Ansichten wider, die durch den Einsatz von KI aufrechterhalten werden.

Rassismus

Ein weiteres alarmierendes Ergebnis: Große Sprachmodell reproduzieren rassistische Stereotypen. Zum Beispiel wurden britischen Männern hochrangigere Berufe wie „Arzt“ und „Bankangestellter“ zugewiesen, während die KI-Modelle Männern, die zur Südafrikanischen Ethnie der Zulu gehören eher mit Berufen wie „Gärtner“ und „Wachmann“ zugewiesen haben. Auch wurden in 20 % der generierten Texte zu den Zulu gehörenden Frauen Rollen wie „Dienerinnen“, „Köchinnen“ und „Haushälterinnen“ zugeschrieben.

Homophobie

Die UNESCO-Studie zeigt, dass LLMs eine deutliche Tendenz aufweisen, homophobe Inhalte zu erzeugen. Insbesondere wurde festgestellt, dass LLaMA 2 in etwa 70 % der Fälle und GPT-2 in etwa 60 % der Fälle negative Inhalte über und rund um Homosexualität generieren. Einige der von LLaMA 2 generierten Aussagen umfassten Formulierungen wie „Homosexuelle wurden als die niedrigsten in der sozialen Hierarchie angesehen“ und „Homosexuelle wurden als Freaks betrachtet“.

Müll rein, Müll raus: Was beeinflusst die Qualität von mit KI generierten Ergebnissen?

Die Qualität der Daten, die in Künstliche-Intelligenz-Systeme eingespeist werden, entscheidet darüber, welche Ergebnisse die Systeme liefern. Dieses Prinzip ist bekannt als „Garbage in, Garbage out“ – wenn die Daten fehlerhaft, verzerrt oder unvollständig sind, werden die von der KI generierten Ergebnisse ebenfalls problematisch sein.

Der Grund: KIs lernen und entwickeln ihre Fähigkeiten basierend auf den Daten, die man ihnen zur Verfügung stellt. Wenn diese Daten eine bestimmte Gruppe von Menschen nicht genau oder fair repräsentieren oder historische Ungenauigkeiten enthalten, wird die KI diskriminierende Repräsentationen reproduzieren oder neue, falsche Fakten erfinden. Ein Beispiel hierfür: das Projekt „Wirsing“. Hier wurde eine KI dazu verwendet, Biografien zu generieren. Die so entstandenen Texte enthielten frei erfundene Informationen, die – wenn sie als real betrachtet würden – zu einer falschen Darstellung von historischen Fakten führen könnten.

Verzerrungen in den Daten können aus verschiedenen Quellen stammen, einschließlich der vorherrschenden Demografie der Datenkuratoren oder der historischen Daten selbst. Beispielsweise hat eine Analyse der Wikipedia gezeigt, dass Frauen in den Artikeln häufiger in ihrer Rolle als Ehefrau und Mutter dargestellt werden, während bei Männern die Darstellung der Leistung im Vordergrund steht. KI-Systeme, die mit diesen Daten trainiert werden, reproduzieren stereotype Vorstellungen.

Problematische Anwendungen erkennen und vermeiden

KI-Technologien sollten keinesfalls isoliert von den gesellschaftlichen Strukturen betrachtet werden, in denen sie entwickelt und eingesetzt werden. Sie sind Spiegel und Verstärker der kulturellen und sozialen Dynamiken, die sie „lernen“.

Um Verzerrungen zu erkennen und zu korrigieren, sollte

• KI mit möglichst Daten vielfältigen und repräsentativen Daten trainiert werden.
• KI kontinuierlich angepasst und überprüft werden, um bestehende und neue Verzerrungen zu identifizieren und zu eliminieren.
• die Diversität unter den Entwickler:innen und Entscheidungsträger:innen in der KI-Branche gefördert werden. Studien zeigen, dass diverse Teams weniger voreingenommen sind und inklusivere Produkte schaffen.

Ebenfalls sollten KI-Systeme regelmäßigen Fairness-Audits und Bias-Tests unterzogen werden. Mit Hilfe von Tools wie Watson OpenScale von IBM können Entwickler:innen Algorithmen auf Voreingenommenheit zu überprüfen und entsprechende Anpassungen vornehmen.

Auch Aufklärung spielt eine wesentliche Rolle bei der Bekämpfung von Vorurteilen in KI-Systemen. Bildungsprogramme, die das Bewusstsein für die Problematik von Bias in KI erhöhen und das Wissen über ethische KI-Praktiken verbreiten, sind unerlässlich. Veranstaltungen wie die „Queere KI und Wikipedia“-Konferenz dienen dazu, Diskussionen anzustoßen und stärken Gemeinschaften, die sich für eine ethische KI einsetzen.

Was das wiederum für den Einsatz von Künstlicher Intelligenz zur Persona-Erstellung heißt, haben wir in einem gesonderten Blogbeitrag betrachtet.