DisaBench: A Participatory Evaluation Framework for Disability Harms in Language Models

DisaBench introduce un marco de evaluación participativo para evaluar los daños relacionados con la discapacidad en grandes modelos de lenguaje, abordando la insuficiencia de los puntos de referencia de seguridad de propósito general. Presenta una taxonomía de doce categorías de daño cocreada, una metodología que empareja indicaciones benignas y adversas, y un conjunto de datos con etiquetas anotadas por humanos, revelando daños sutiles que a menudo pasan desapercibidos en las evaluaciones estándar.