Este artigo apresenta um método para detecção de alucinações em LLMs usando sinais estatísticos e apenas 50 linhas de código Python, alcançando 96% de recall sem a necessidade de treinar um modelo de ML. A abordagem evita a sobrecarga computacional e a opacidade de outros métodos.
Este artigo propõe um novo método para detecção de alucinações em LLMs, destilando sinais de supervisão externa diretamente nas representações internas do modelo durante o treinamento. Para isso, introduz um framework de supervisão fraca que combina correspondência de substrings, similaridade de embeddings e um LLM como juiz, culminando na criação de um dataset de 15.000 amostras para este propósito.
Este conteúdo apresenta o `@llmassert/playwright`, uma ferramenta que adiciona matchers baseados em LLM ao Playwright para testar chatbots. Ela permite verificar a qualidade das respostas, detectando alucinações, PII, tom, formato e precisão semântica, indo além dos testes tradicionais para garantir respostas corretas.
Este artigo de pesquisa introduz uma metodologia de invariância controlada para detecção de alucinações em modelos de linguagem grandes. Utilizando testes oracle como extsc{Force} e extsc{Remove}, a pesquisa investiga se os métodos avaliam o raciocínio ou apenas correlatos superficiais da resposta final.