Dieser Artikel erläutert, warum traditionelle Tests für KI-Agenten aufgrund ihrer stochastischen Natur unzureichend sind und zu Produktionsproblemen wie Datenkorruption führen. Das Kernproblem liegt darin, zu prüfen, was Agenten *tun*, aber nicht, was sie *tun dürfen*.
Das Papier stellt BEACON vor, ein Black-Box-Framework zur Erkennung von Halluzinationen in LLMs, das ausschließlich auf Modellausgaben basiert. Es extrahiert einen 31-dimensionalen Feature-Vektor, und ein gradientenverstärkter Klassifikator erreicht 0,8123 AUROC, was bestehende Baselines übertrifft.
Dieser Inhalt stellt ein neues Nebenprojekt und dessen GitHub-Repository vor, das sich auf die Minderung von LLM-Halluzinationen mittels einer neuartigen Methode des kontrastiven Samplings und selektiven Trainings konzentriert. Die Kernidee behandelt Halluzination als ein Präferenzproblem, indem sie selbstgenerierte negative Beispiele und divergenzbasiertes, selektives Lernen nutzt, um korrekte Antworten zu fördern und falsche zu unterdrücken.
![New project about llm hallucination [P]](/cdn-cgi/image/width=3840,quality=75,format=webp/https://preview.redd.it/b9qn0mpye4xg1.png?width=140&height=74&auto=webp&s=955d8bf1d2ce779e50e0b5ff03462f4c8a8e3d5d)
Ein Nutzer äußert Frustration über die lokale Tool-Calling-Funktionalität von LLMs wie Qwen und Gemma, da er beim Versuch, Dateien zu erstellen, Halluzinationen und Ausführungsschleifen erlebt. Er fragt sich, ob diese Schwierigkeit eine Einschränkung kleiner Modelle oder ein Einrichtungsfehler bei Open WebUI und LM Studio ist.
Dieser Artikel untersucht die inhärenten Grenzen von KI-Modellen, insbesondere von LLMs, und betont die Wichtigkeit, diese Grenzen für die Entwicklung robuster Produkte zu verstehen. Er beschreibt Halluzinationen als eine wesentliche Einschränkung und erklärt, dass LLMs plausiblen, nicht notwendigerweise wahren Text erzeugen, ohne eine interne Faktenprüfung.
Neue Forschungsergebnisse deuten darauf hin, dass „Halluzinationsneuronen“ (H-Neuronen), die LLM-Halluzinationen vorhersagen, nicht über verschiedene Wissensdomänen hinweg verallgemeinerbar sind. Dies deutet darauf hin, dass Halluzination möglicherweise kein einzelner Mechanismus mit einer universellen neuronalen Signatur ist, sondern kontextabhängig.
Die Studie untersucht, warum LLMs bei der Argumentation über linearisiertes strukturiertes Wissen halluzinieren. Sie zeigt, dass Halluzinationen auf systematische interne Dynamiken zurückzuführen sind, wie die Konzentration der Aufmerksamkeit auf Shortcut-Hinweise und das Versagen von Feed-Forward-Schichten, das bereitgestellte Wissen zu verankern.
Entwickler haben einen deutlichen Rückgang der Kodierungsqualität von Claude Opus 4.6 gemeldet, wobei unabhängige Benchmarks bestätigen, dass seine Halluzinationsrate sich auf 33% fast verdoppelt hat. Der Artikel behandelt die Beweise, die Grundursache und die Einstellungen zur Behebung des Problems der Informationsfabrikation des Modells.
AMBER stellt einen neuen, LLM-freien, mehrdimensionalen Benchmark vor, der zur strengen Bewertung von Halluzinationen in multimodalen großen Sprachmodellen (MLLMs) entwickelt wurde. Diese Forschung zielt darauf ab, ein umfassendes Werkzeug zur Bewertung der Zuverlässigkeit und Genauigkeit von MLLM-Ausgaben bereitzustellen.
Die Arbeit liefert kausale Belege dafür, dass Halluzinationen in autoregressiven Sprachmodellen ein frühes Trajektorienengagement sind, das durch asymmetrische Attraktordynamiken bestimmt wird. Die Forschung zeigt, dass sich faktische und halluzinierte Trajektorien bereits beim ersten Token trennen, und die Korrektur eines halluzinierten Pfades anhaltende Intervention erfordert, während Korruption leichter ist.
Dieses Papier stellt MedFabric vor, eine datenzentrierte Pipeline zur Generierung realistischer und wortbasierter Falschaussagen in medizinischen LLMs, die Mängel in bestehenden Datensätzen behebt. Es präsentiert auch ETHER, einen modularen wortbasierten Falschaussagen-Detektor, der verschiedene Techniken zur Verbesserung der faktischen Bewertung integriert.
Dieser Artikel stellt eine 15-zeilige Lösung vor, um Halluzinationen in RAG-Pipelines zu bekämpfen, selbst wenn die Antworten auf abgerufenen Dokumenten zu basieren scheinen. Er beschreibt ein „abrufen → generieren → verifizieren“-Muster, um Fehler zu erkennen, bevor der KI-Agent handelt.
Der Artikel beschreibt, wie der Claude Code-Programmieragent Paketversionen „halluzinieren“ kann, was zu Lieferkettenrisiken und Sicherheitsproblemen führt. Der Autor entwickelte „Version Sentinel“, ein Plugin, das Abhängigkeitsänderungen blockiert, bis die Versionen als real und aktuell verifiziert wurden.
Der Autor entwickelte eine KI-Dokumentenpipeline, um Halluzinationen zu verhindern, indem er von der Freitextgenerierung absieht. Sie verwendet strenge JSON-Schemas, domänenspezifische Validierungsregeln und eine Mensch-in-der-Schleife-Genehmigung, um Fehler abzufangen, bevor sie Kunden erreichen.
Große Sprachmodelle (LLMs) halluzinieren oft, wenn ihnen aktueller Kontext oder spezifisches Wissen fehlt. Retrieval-Augmented Generation (RAG) behebt dies, indem es LLMs externe, relevante Daten bereitstellt, wodurch sie genaue Antworten generieren können; der Autor baute Keystone, um RAG auf die Aktivität von GitHub-Repositories anzuwenden.
OpenAI behauptet, dass sein neues Standardmodell für ChatGPT, GPT-5.5 Instant, „Halluzinationen“ erheblich reduziert. Das Unternehmen gibt an, dass das neue Modell wesentliche Verbesserungen bei der Faktenprüfung aufweist, mit 52,5 % weniger halluzinierten Behauptungen bei risikoreichen Prompts.
Der Autor berichtet von einem Konferenzgespräch, bei dem sein komplexes KI-System mit Fälschungsschutz und persistentem Speicher als "Werkzeug" bezeichnet wurde. Dies wird dem einfacheren Agenten-Framework eines anderen Teilnehmers gegenübergestellt, was eine Diskussion über das entscheidende Fehlen von Schutzmechanismen gegen KI-Halluzinationen in letzterem auslöste.
Diese Arbeit stellt VLM-DeflectionBench vor, einen neuen Benchmark für große Vision-Sprachmodelle (LVLMs), der sich auf Ablenkung und Halluzination konzentriert, wenn mit widersprüchlichen oder unzureichenden Beweisen umgegangen wird. Sie schlägt außerdem eine dynamische Datenkuratierungspipeline vor, um die Schwierigkeit des Benchmarks im Laufe der Zeit aufrechtzuerhalten, sowie ein feingranulares Evaluierungsprotokoll, um das Modellverhalten zu entflechten.
Diese Forschung stellt CURE vor, ein neuartiges Framework zur Verbesserung der Faktizität von Langform-Generierungen durch LLMs, indem es ihnen beibringt, Unsicherheit auf Behauptungsebene zu bewerten. Es überwindet die Tendenz von Modellen, unzutreffende Behauptungen selbstbewusst zu äußern, und konzentriert sich stattdessen auf eine granulare Unsicherheitskalibrierung.
Este artigo enquadra a alucinação em grandes modelos de linguagem como um erro de classificação e propõe uma intervenção composta por recusa baseada em instruções e um gate de abstenção estrutural. O gate utiliza um score de déficit de suporte de sinais como auto-consistência e cobertura de citação, mas a avaliação controlada mostrou que nenhum mecanismo isolado foi suficiente para mitigar totalmente o problema.