Das Vorhandensein großer Sprachmodelle (LLMs) wie ChatGPT und BERT ermöglicht eine effiziente Entwicklung von Natural Language Processing (NLP)-Anwendungen, insbesondere für weniger erfahrene Entwickler*innen und ressourcen-beschränkte Teams. Problematisch ist jedoch, dass potenzielle Risiken und Diskriminierungen, die durch diese Modelle entstehen können, dabei oft unbeachtet bleiben. So kann es z.B. bei Content-Moderation oder in Suchmaschinen unbeabsichtigt zu rassistischen oder misogynen Auswirkungen kommen, wenn eine sozio-technische Kontextualisierung und Risikoabschätzung ausbleibt.

Um diesem Problem zu begegnen, haben wir ein Open Source Tool entwickelt, das Entwickler*innen ermöglicht, moderne Bias-Analysemethoden auf LLMs anzuwenden. Das Tool integriert lokale oder API-basierte LLMs und prüft diese auf verschiedene Arten von Bias. Basierend auf Listen potenziell geschützter Attribute und Gruppen und statistischen Methoden erkennt das Tool gesellschaftlich relevante Biases. Die Analyseergebnisse werden dann visuell und textuell aufbereitet und dargestellt.

Die Toolbox richtet sich an Entwickler*innen von NLP-Software, insbesondere an weniger erfahrene Entwickler*innen, Teams und Studierende und wird in Zusammenarbeit mit diesen weiterentwickelt.

Hinter der Entwicklung von Biaslyze stehen zwei Mitglieder des gemeinnützigen Vereins “Beyond AI Collective e.V.”. Das Beyond Al Collective setzt sich dafür ein, Diskriminierungen, die durch den Einsatz algorithmischer Systeme vermittelt werden, zu minimieren. Das interdisziplinäre Team bringt dazu Expertisen und Perspektiven unter anderem aus Informatik, Rechtswissenschaften, Politikwissenschaften, Soziologie, Philosophie und Kulturwissenschaften zusammen.