This article presents a method for detecting LLM hallucinations using statistical signals and just 50 lines of Python code, achieving 96% recall without needing to train an additional ML model. The approach avoids the computational overhead and opacity of other methods like SelfCheckGPT.
Este artigo propõe um novo método para detecção de alucinações em LLMs, destilando sinais de supervisão externa diretamente nas representações internas do modelo durante o treinamento. Para isso, introduz um framework de supervisão fraca que combina correspondência de substrings, similaridade de embeddings e um LLM como juiz, culminando na criação de um dataset de 15.000 amostras para este propósito.
Este conteúdo apresenta o `@llmassert/playwright`, uma ferramenta que adiciona matchers baseados em LLM ao Playwright para testar chatbots. Ela permite verificar a qualidade das respostas, detectando alucinações, PII, tom, formato e precisão semântica, indo além dos testes tradicionais para garantir respostas corretas.
This research paper introduces a controlled-invariance methodology for hallucination detection in large language models. Using oracle tests like extsc{Force} and extsc{Remove}, it investigates whether detection methods evaluate reasoning or merely surface correlates of the final answer.