Este artículo presenta un método para detectar alucinaciones en LLMs utilizando señales estadísticas y solo 50 líneas de código Python, logrando un recall del 96% sin necesidad de entrenar un modelo de ML. El enfoque evita la sobrecarga computacional y la opacidad de otros métodos.
Este artigo propõe um novo método para detecção de alucinações em LLMs, destilando sinais de supervisão externa diretamente nas representações internas do modelo durante o treinamento. Para isso, introduz um framework de supervisão fraca que combina correspondência de substrings, similaridade de embeddings e um LLM como juiz, culminando na criação de um dataset de 15.000 amostras para este propósito.
Este conteúdo apresenta o `@llmassert/playwright`, uma ferramenta que adiciona matchers baseados em LLM ao Playwright para testar chatbots. Ela permite verificar a qualidade das respostas, detectando alucinações, PII, tom, formato e precisão semântica, indo além dos testes tradicionais para garantir respostas corretas.
Este trabajo de investigación presenta una metodología de invariancia controlada para la detección de alucinaciones en grandes modelos de lenguaje. Mediante pruebas de oráculo como extsc{Force} y extsc{Remove}, se explora si los métodos evalúan el razonamiento o solo correlatos superficiales de la respuesta final.