Este artículo analiza cómo las pruebas tradicionales fallan para los agentes de IA debido a su naturaleza estocástica, causando problemas en producción como la corrupción de datos. El problema fundamental es que se verifica lo que los agentes *hacen*, pero no lo que *se les permite hacer*.
El documento introduce BEACON, un marco de caja negra para detectar alucinaciones en LLMs, operando solo con las salidas del modelo sin acceso interno. Extrae un vector de características de 31 dimensiones, y un clasificador logra 0,8123 AUROC, superando las bases de referencia.
Este contenido introduce un nuevo proyecto secundario y su repositorio de GitHub, centrado en mitigar la alucinación de LLM mediante un novedoso método de muestreo contrastivo y entrenamiento selectivo. La idea central trata la alucinación como un problema de preferencia, utilizando muestras negativas auto-generadas y un aprendizaje basado en divergencia y con compuertas para promover respuestas correctas y suprimir las incorrectas.
![New project about llm hallucination [P]](/cdn-cgi/image/width=3840,quality=75,format=webp/https://preview.redd.it/b9qn0mpye4xg1.png?width=140&height=74&auto=webp&s=955d8bf1d2ce779e50e0b5ff03462f4c8a8e3d5d)
Un usuario expresa su frustración con la funcionalidad de llamada de herramientas locales de LLMs como Qwen y Gemma, encontrando alucinaciones y bucles de ejecución al intentar crear archivos. Cuestiona si la dificultad es una limitación de los modelos pequeños o un error de configuración con Open WebUI y LM Studio.
Este artículo explora las limitaciones inherentes de los modelos de IA, particularmente los LLMs, enfatizando la importancia de comprender estos límites para el desarrollo de productos robustos. Detalla la alucinación como una limitación clave, explicando que los LLMs generan texto plausible, no necesariamente verdadero, sin un verificador interno de hechos.
Una nueva investigación sugiere que las "neuronas de alucinación" (H-neurons) que predicen alucinaciones en LLMs no se generalizan entre diferentes dominios de conocimiento. Esto implica que la alucinación podría no ser un mecanismo único con una firma neural universal, sino dependiente del contexto.
El estudio investiga por qué los LLM alucinan al razonar sobre conocimiento estructurado linealizado. Revela que las alucinaciones surgen de dinámicas internas sistemáticas, como la atención que se concentra en atajos y las capas feed-forward que no logran fundamentar el conocimiento proporcionado.
Los desarrolladores han informado de un notable descenso en la calidad de codificación de Claude Opus 4.6, con puntos de referencia independientes confirmando que su tasa de alucinación casi se duplicó al 33%. El artículo cubre la evidencia, la causa raíz y las configuraciones para solucionar el problema de fabricación de información del modelo.
AMBER presenta un nuevo benchmark multidimensional, independiente de LLM, diseñado para evaluar rigurosamente la alucinación en Modelos de Lenguaje Grandes Multimodales (MLLMs). Esta investigación tiene como objetivo proporcionar una herramienta integral para analizar la fiabilidad y precisión de las salidas de los MLLMs.
El estudio proporciona evidencia causal de que la alucinación en modelos de lenguaje autorregresivos es un compromiso temprano de trayectoria regido por dinámicas de atractor asimétricas. La investigación demuestra que las trayectorias fácticas y alucinadas divergen en el primer token, y que corregir una trayectoria alucinada requiere una intervención sostenida, mientras que la corrupción es más sencilla.
Este artículo presenta MedFabric, una metodología centrada en datos para generar fabricaciones realistas a nivel de palabra en LLMs médicos, abordando las deficiencias en los conjuntos de datos existentes. También introduce ETHER, un detector modular de fabricaciones a nivel de palabra que integra diversas técnicas para mejorar la evaluación fáctica.
Este artículo presenta una solución de 15 líneas para combatir alucinaciones en los pipelines RAG, incluso cuando las respuestas parecen basadas en documentos recuperados. Detalla un patrón de 'recuperar → generar → verificar' para detectar errores antes de que el agente de IA actúe.
El artículo describe cómo el agente de codificación Claude Code puede "alucinar" versiones de paquetes, generando riesgos en la cadena de suministro y fallas de seguridad. El autor desarrolló "Version Sentinel", un plugin que bloquea los cambios de dependencia hasta que las versiones sean verificadas como reales y actuales.
El autor desarrolló un pipeline de documentos de IA para prevenir alucinaciones, alejándose de la generación de texto libre. Utiliza esquemas JSON estrictos, reglas de validación específicas del dominio y aprobación humana para detectar errores antes de que los documentos lleguen a los clientes.
Los Grandes Modelos de Lenguaje (LLMs) a menudo alucinan cuando carecen de contexto actual o conocimiento específico. La Generación Aumentada por Recuperación (RAG) lo corrige proporcionando a los LLMs datos externos y relevantes, permitiéndoles generar respuestas precisas; el autor construyó Keystone para aplicar RAG a la actividad de repositorios de GitHub.
OpenAI afirma que su nuevo modelo predeterminado para ChatGPT, GPT-5.5 Instant, reduce significativamente las "alucinaciones". La compañía declara que el nuevo modelo muestra mejoras sustanciales en la veracidad, con un 52.5% menos de afirmaciones alucinadas en indicaciones de alto riesgo.
El autor relata un encuentro en una conferencia donde su sofisticado sistema de IA, con puertas anti-fabricación y memoria persistente, fue llamado una "herramienta". Esto se contrasta con el marco de agente más simple de otro asistente, lo que provocó una discusión sobre la crucial falta de salvaguardas contra la alucinación de la IA en este último.
Este artículo propone VLM-DeflectionBench, un nuevo benchmark para Large Vision-Language Models (LVLMs) que aborda la deflexión y la alucinación en escenarios con evidencia conflictiva o insuficiente. También introduce un pipeline de curación de datos dinámico para preservar la dificultad del benchmark y un protocolo de evaluación detallado para analizar el comportamiento del modelo.
Esta investigación presenta CURE, un marco novedoso para mejorar la factualidad en la generación de texto largo por LLMs, al enseñarles a razonar sobre la incertidumbre a nivel de afirmación. Busca mitigar la tendencia de los modelos a afirmar errores con confianza, ofreciendo una calibración de incertidumbre granular.
Este artigo enquadra a alucinação em grandes modelos de linguagem como um erro de classificação e propõe uma intervenção composta por recusa baseada em instruções e um gate de abstenção estrutural. O gate utiliza um score de déficit de suporte de sinais como auto-consistência e cobertura de citação, mas a avaliação controlada mostrou que nenhum mecanismo isolado foi suficiente para mitigar totalmente o problema.