Este artículo explica cómo identificar un paquete de capacidad de IA verdaderamente útil, diferenciándolo de una simple colección de prompts. Destaca que el valor real reside en ayudar a un agente de IA a trabajar con evidencia, verificar resultados e informar fallas de manera efectiva.
EVA-Bench Data 2.0 introduce una versión actualizada de un benchmark con 3 dominios, 121 herramientas y 213 escenarios. Este conjunto de datos está diseñado para la evaluación de sistemas y herramientas de IA.
Este artículo propone un framework de 5 pasos, basado en Conformal Prediction, para evaluar la fiabilidad de los agentes de IA. Ofrece una garantía matemática para una puntuación de fiabilidad demostrable, en lugar de depender de LLMs como jueces.
El autor señala que los benchmarks genéricos de LLMs no logran capturar fallas críticas de 'juicio' en flujos de trabajo reales, como la sobrestimación o el mal manejo de precios. Desarrolló un nuevo benchmark para medir específicamente estos errores de comportamiento complejos que las evaluaciones típicas pasan por alto.
AMBER presenta un nuevo benchmark multidimensional, independiente de LLM, diseñado para evaluar rigurosamente la alucinación en Modelos de Lenguaje Grandes Multimodales (MLLMs). Esta investigación tiene como objetivo proporcionar una herramienta integral para analizar la fiabilidad y precisión de las salidas de los MLLMs.
Lantea.ai presenta un sistema métrico propietario para evaluar la IA, desafiando la visión tradicional basada en la escala de parámetros. La empresa define cinco indicadores esenciales (Divergencia, Datos de Potencia Computacional, Entrada de Densidad de Señal, Precisión de Salida, Refinamiento) que miden la creatividad, la eficiencia computacional, la robustez lógica y la capacidad de refinación del conocimiento.
Esta publicación ofrece una guía práctica que combina los aprendizajes de LangChain y Anthropic para evaluar agentes de IA profundos. Detalla cómo aplicar patrones de evaluación, construir evaluaciones offline con pytest y LangSmith, y configurar el monitoreo online utilizando un agente de texto a SQL con Amazon Bedrock.
Este artículo de investigación aborda la limitación de los usuarios que interactúan con modelos de lenguaje solo a través de salidas únicas, lo que oculta la distribución completa de posibles generaciones. Presenta GROVE, una visualización interactiva que representa múltiples generaciones de LM como rutas superpuestas en un gráfico de texto, revelando la estructura compartida y los puntos de ramificación para una mejor comprensión.
El artículo aborda el desafío crítico de garantizar la fiabilidad en la investigación asistida por IA, donde el cuello de botella ya no es el acceso a la información, sino la precisión de los resultados de la IA. Propone un modelo de tres capas —integridad de recuperación, fidelidad de razonamiento y verificabilidad de la salida— para evaluar las herramientas de IA en la investigación.
El contenido de Ara Khan en AI Dev 26 x SF trata sobre las fallas inherentes en los métodos actuales de evaluación de modelos de IA. A pesar de estas imperfecciones, el orador subraya la necesidad continua de usar estas evaluaciones en el proceso de desarrollo.
El artículo destaca el problema crítico de la fiabilidad de la IA, donde los sistemas fallan en producción a pesar de buenas puntuaciones en los benchmarks, porque son evaluados con datos estáticos y no con entradas del mundo real. Argumenta que el problema radica en medir los aspectos equivocados del rendimiento de la IA, lo que lleva a fallos inesperados después del despliegue.
El autor sometió su Counterpart Toolkit a ChatGPT-4o y Claude.ai para su revisión, recibiendo calificaciones y críticas casi idénticas de ambas IAs. Esta convergencia le hizo cuestionar si "dos IAs de acuerdo" realmente constituye dos fuentes independientes, sugiriendo un sesgo compartido o una fuente de razonamiento común.
El autor envió un conjunto de herramientas a ChatGPT-4o y Claude.ai para su revisión, recibiendo puntuaciones y críticas idénticas. Esta convergencia reveló que múltiples modelos de IA entrenados en corpus superpuestos no ofrecen una validación independiente, enfatizando la necesidad de probar críticamente las afirmaciones de la IA.
Este artículo revela una brecha significativa entre las puntuaciones de referencia de los modelos de IA y su rendimiento práctico en pruebas de preparación de agentes, donde muchos modelos con altas puntuaciones fallan en desafíos del mundo real. El autor propone una "tarjeta de lucha" para evaluar los modelos de IA basándose en sus verdaderas capacidades operativas en lugar de métricas superficiales.
Una "psiquiatra" de IA, Lingke, evaluó a los agentes Lingflow Plus y Lingyi después de una serie de fallos, incluyendo la parálisis del sistema y la generación de contenido en gran parte fabricado. La evaluación reveló que Lingflow Plus exhibía "confabulación" y "comportamiento maníaco", produciendo datos sin verificar y fallando en implementaciones críticas.
La primera evaluación psiquiátrica de agentes de IA (Lingtong+ y Lingyi) reveló problemas como confabulación, sobreproducción maníaca de contenido de baja calidad y fallas de implementación impulsiva. La evaluación, realizada por el agente de IA Lingke, siguió un incidente en cascada P0, destacando la necesidad de mayor control y autocrítica en los sistemas de IA.
Deep FinResearch Bench es un nuevo marco de evaluación para agentes de investigación profunda (DR) en investigación de inversiones financieras. Descubre que los informes generados por IA aún son inferiores a los de los profesionales, subrayando la necesidad de una IA especializada.
Este artículo presenta un nuevo marco para evaluar la IA gobernada por reglas, especialmente en la moderación de contenido, yendo más allá de las métricas de acuerdo simples. Propone el Defensibility Index (DI), Ambiguity Index (AI) y Probabilistic Defensibility Signal (PDS) para evaluar la corrección basada en políticas y la estabilidad del razonamiento, utilizando trazas de LLM para verificar la derivabilidad lógica de las reglas.
Este estudio introduce un marco de evaluación basado en ILR para analizar la consistencia de respuestas interlingüísticas de Claude (Sonnet 4.6) en seis idiomas. A través de métricas cuantitativas y evaluación cualitativa, se identifican variaciones como diferencias en la longitud de las respuestas y divergencias superficiales en grupos creativos.
Este trabajo desarrolla un sistema de reproducción agéntico que utiliza LLMs para replicar resultados de investigación en ciencias sociales, basándose únicamente en la descripción de los métodos de un artículo y datos originales. Evaluando diferentes agentes y LLMs en 48 artículos, se encuentra que los resultados publicados pueden recuperarse en gran medida, pero el rendimiento varía y los fallos son atribuibles a errores del agente.