Dieser Artikel stellt eine Methode zur Erkennung von LLM-Halluzinationen vor, die statistische Signale und nur 50 Zeilen Python-Code verwendet und eine Trefferquote von 96% erreicht, ohne ein zusätzliches ML-Modell trainieren zu müssen. Dieser Ansatz vermeidet den Rechenaufwand und die Opazität anderer Methoden wie SelfCheckGPT.
Este artigo propõe um novo método para detecção de alucinações em LLMs, destilando sinais de supervisão externa diretamente nas representações internas do modelo durante o treinamento. Para isso, introduz um framework de supervisão fraca que combina correspondência de substrings, similaridade de embeddings e um LLM como juiz, culminando na criação de um dataset de 15.000 amostras para este propósito.
Este conteúdo apresenta o `@llmassert/playwright`, uma ferramenta que adiciona matchers baseados em LLM ao Playwright para testar chatbots. Ela permite verificar a qualidade das respostas, detectando alucinações, PII, tom, formato e precisão semântica, indo além dos testes tradicionais para garantir respostas corretas.
Diese Forschungsarbeit stellt eine kontrollierte Invarianzmethodologie zur Erkennung von Halluzinationen in großen Sprachmodellen vor. Mittels Orakeltests wie extsc{Force} und extsc{Remove} wird untersucht, ob Detektionsmethoden das Denken oder lediglich Oberflächenkorrelate der finalen Antwort bewerten.