A Representation-Level Assessment of Bias Mitigation in Foundation Models

Diese Forschung untersucht, wie Bias-Minderung den Einbettungsraum von Encoder-Only- und Decoder-Only-Grundlagenmodellen wie BERT und Llama2 umgestaltet. Die Ergebnisse zeigen, dass Bias-Minderung Geschlechter-Berufs-Disparitäten im Einbettungsraum reduziert, was zu neutraleren internen Repräsentationen führt und die Einbettungsanalyse als wertvolles Validierungswerkzeug zur Entzerrung bestätigt.