MultiSoc-4D: A Benchmark for Diagnosing Instruction-Induced Label Collapse in Closed-Set LLM Annotation of Bengali Social Media

MultiSoc-4D é um novo benchmark de dados de mídia social bengali para diagnosticar o comportamento de LLMs na anotação de conjuntos fechados. A pesquisa revela um fenômeno de "colapso de rótulos induzido por instruções", onde os LLMs preferem rótulos padrão, subdetectando categorias minoritárias.