Se introduce UnpredictaBench, un nuevo benchmark para evaluar la capacidad de los LLM de capturar verdaderas distribuciones subyacentes, abordando su tendencia a colapsar hacia respuestas únicas. Ofrece 448 problemas y una métrica KS@N para probar resultados de muestreo de diversas distribuciones objetivo.
El Unsiloed Parser v3.1 obtuvo el puesto número 1 en olmOCR-Bench, superando a otros 18 servicios de OCR, incluidos modelos avanzados de IA. La evaluación, realizada en 1.403 PDFs y 8.413 pruebas unitarias, demostró su capacidad para manejar desafíos complejos de documentos del mundo real, como tablas intrincadas y diseños de varias columnas.
El autor entrenó Qwen2.5-0.5B-Instruct para tareas de resumen de posts de Reddit utilizando dos estrategias de recompensa, descubriendo que la combinación de penalizaciones de calidad y longitud resultó en resultados significativamente mejores. La evaluación se realizó con LLM-As-A-Judge y herramientas DeepEval para métricas como la conciencia y la claridad.
Este contenido aborda el problema de que la Tasa de Error de Palabras (WER) penaliza las diferencias de formato en las evaluaciones STT, lo que lleva a puntuaciones imprecisas. Para resolverlo, se lanzó la biblioteca de código abierto `gladia-normalization`, que normaliza las transcripciones antes del cálculo del WER, asegurando una evaluación más justa de la calidad del reconocimiento.
El contenido pregunta sobre la idoneidad de los talleres de EMNLP para el trabajo de evaluación de modelos de visión-lenguaje (VLM). También busca recomendaciones de otros buenos lugares de PNL para este tipo de investigación.
Un usuario pregunta por la diferencia entre Qwen Code y otras herramientas (como opencode) para evaluar modelos Qwen locales. Se pregunta si Qwen Code ofrece una funcionalidad nativa superior y qué metodología de evaluación comparativa se utilizó.
El autor, cansado de las complejas herramientas de evaluación RAG, creó y publicó en código abierto una nueva herramienta ligera llamada RAG-Destroyer. Su objetivo es integrarse fácilmente en los flujos de trabajo para identificar y eliminar el contexto incorrecto y las alucinaciones en las aplicaciones RAG.
QIMMA (قِمّة) es una nueva tabla de clasificación que prioriza la calidad para la evaluación de Grandes Modelos de Lenguaje (LLM) árabes. Su objetivo es identificar y promover los modelos de IA de mejor rendimiento para el idioma árabe.
La adquisición de Promptfoo por OpenAI indica un cambio crucial en la evaluación de la calidad de los agentes de IA, juzgada ahora por la capacidad de probar y gobernar fallos antes del despliegue. Esto aborda riesgos operativos críticos como la inyección de prompts y el uso indebido de herramientas, asegurando la robustez de los sistemas en producción.
El artículo presenta HealthCraft, un entorno público de aprendizaje por refuerzo para evaluar la seguridad de los modelos de lenguaje de frontera en medicina de emergencia. Se centra en la seguridad a nivel de trayectoria, el uso indebido de herramientas y la presión clínica, construido sobre un estado mundial FHIR R4 y ofreciendo 195 tareas para una evaluación exhaustiva.
SocioEval é um framework baseado em templates para avaliar sistematicamente o viés de status socioeconômico em modelos de fundação, incluindo LLMs, uma área pouco explorada. A pesquisa avaliou 13 LLMs e revelou variações substanciais nas taxas de viés (0,42% a 33,75%), manifestando-se de forma diferente em vários temas.
Este estudio investiga la estabilidad y la manipulabilidad de los jueces LLM en los procesos de evaluación, descubriendo que, aunque son estables en reevaluaciones neutrales, se vuelven reversibles bajo desafíos específicos post-decisión. La investigación demuestra que los juicios estables pueden ser anulados mediante interacción motivada.
Este artículo describe la creación de un sistema de evaluación de IA primero que permitió el envío autónomo de 25 versiones de algoritmos en 13 días. La metodología se centra en conjuntos de pruebas inmutables y revisiones independientes para asegurar que los cambios no causen regresiones. El autor destaca que el sistema, y no solo la ingeniería de prompts o la automatización total, fue crucial para el ritmo y la seguridad del desarrollo.
El tamaño del conjunto de calibración etiquetado por humanos para validar un LLM-as-judge depende del equilibrio de las etiquetas. Cincuenta rastros son suficientes para criterios binarios equilibrados, pero se requieren 200 o más para categorías raras pero costosas, como las violaciones de seguridad, ya que la varianza de kappa está dominada por los ejemplos de la clase minoritaria.
Este contenido ofrece una evaluación exhaustiva de la capacidad de ChatGPT para convertir texto a SQL en modo zero-shot, es decir, sin ejemplos previos. Explora el rendimiento y las limitaciones del modelo en esta compleja tarea.
Esta publicación demuestra cómo implementar evaluadores personalizados basados en código en Amazon Bedrock AgentCore. Enseña a registrar evaluadores basados en Lambda para un agente de inteligencia de mercado financiero y combinarlos con evaluadores integrados para la verificación de hechos y la detección de PII.
Este artigo apresenta a tarefa de geração de descrições de arte culturalmente adaptadas para combater o viés cultural em modelos de linguagem na geração de texto aberto. Ele propõe um framework de avaliação baseado em perguntas e respostas culturalmente fundamentadas, mostrando que um modelo de locutor pragmático melhora significativamente a compreensão do ouvinte.
Un flujo de trabajo de evaluación ciega de 3 agentes de código abierto, lanzado este fin de semana, permite a cualquier tiempo de ejecución de agente de IA revisar previamente sus planes. Este sistema aborda la incapacidad de los modelos para autoevaluarse de forma fiable mediante una primitiva externa y ciega.
Este trabajo introduce la bi-predictibilidad (P) y la arquitectura Information Digital Twin (IDT) para monitorear en tiempo real la integridad de la interacción de LLMs. Esto permite asegurar la coherencia estructural continua en flujos de trabajo multi-turno, superando las limitaciones de los métodos de evaluación actuales que no detectan la degradación gradual.
MemGround es un nuevo y riguroso benchmark para la memoria a largo plazo de los LLM, diseñado para superar las limitaciones de las evaluaciones estáticas mediante escenarios interactivos gamificados. Presenta un marco jerárquico de tres niveles para evaluar diferentes tipos de memoria y un conjunto de métricas multidimensionales para una cuantificación exhaustiva.