Cet article présente une méthode de détection des hallucinations dans les LLM en utilisant des signaux statistiques et seulement 50 lignes de code Python, atteignant un rappel de 96% sans avoir besoin d'entraîner un modèle ML supplémentaire. Cette approche évite la surcharge computationnelle et l'opacité des autres méthodes.
Este artigo propõe um novo método para detecção de alucinações em LLMs, destilando sinais de supervisão externa diretamente nas representações internas do modelo durante o treinamento. Para isso, introduz um framework de supervisão fraca que combina correspondência de substrings, similaridade de embeddings e um LLM como juiz, culminando na criação de um dataset de 15.000 amostras para este propósito.
Este conteúdo apresenta o `@llmassert/playwright`, uma ferramenta que adiciona matchers baseados em LLM ao Playwright para testar chatbots. Ela permite verificar a qualidade das respostas, detectando alucinações, PII, tom, formato e precisão semântica, indo além dos testes tradicionais para garantir respostas corretas.
Cet article de recherche introduit une méthodologie d'invariance contrôlée pour la détection des hallucinations dans les grands modèles de langage. En utilisant des tests oracle comme extsc{Force} et extsc{Remove}, il examine si les méthodes évaluent le raisonnement ou de simples corrélats superficiels de la réponse finale.