Um usuário com um dataset de 150 mil imagens de fezes busca as melhores práticas para treinar um modelo de visão computacional. Ele questiona seu fluxo de trabalho atual de verificação manual e procura abordagens mais inteligentes e escaláveis para garantir a qualidade do dataset e das anotações.
O artigo aborda os desafios de compreender o desacordo entre anotadores em relação às políticas de segurança de IA, que podem surgir de falhas operacionais, ambiguidade de políticas ou pluralismo de valores. Destaca a dificuldade em discernir as causas-raiz desses desacordos e a falta de confiabilidade do raciocínio auto-relatado pelos anotadores.
MultiSoc-4D é um novo benchmark de dados de mídia social bengali para diagnosticar o comportamento de LLMs na anotação de conjuntos fechados. A pesquisa revela um fenômeno de "colapso de rótulos induzido por instruções", onde os LLMs preferem rótulos padrão, subdetectando categorias minoritárias.