Un usuario, frustrado con los modelos de OpenAI, probó Qwen3.6-27b para generar código Svelte 5 y obtuvo un resultado perfecto, aunque tardó más. Anticipa desarrollos interesantes en los próximos 12 meses, a pesar de la naturaleza informal de la evaluación.
Este contenido presenta un proyecto de investigación comparativa que analiza "modelos obliterados" (HauhauCS, Heretic, Huihui) frente a Qwen 3/3.5, utilizando un conjunto forense completo que incluye benchmarks y evaluaciones de seguridad. El objetivo es verificar las afirmaciones de que estos modelos son "sin pérdidas y sin censura" y replicables por el lector.
El título anuncia que SWE Bench, un benchmark para evaluar la IA en ingeniería de software, ha sido confirmado como un benchmark "benchmaxxed". Esto sugiere que ha alcanzado un estatus de alta relevancia o saturación en el campo.
Un usuario informa que está ejecutando Qwen3.6-35b-a3b localmente en un MacBook Pro M5 Max con cuantificación de 8 bits y contexto de 64k, encontrando su rendimiento comparable al de Claude. Está muy impresionado con su velocidad, capacidad para manejar tareas de investigación complejas y los beneficios de privacidad de la ejecución local.
La Ronda 3 del Programa de Verificación Cibernética de Anthropic probó la seguridad de su modelo Claude más pequeño (Haiku 4.5) contra 13 escenarios de ataque de agentes. El resultado fue 13/13 limpio, sin exploits ni filtraciones de secretos, demostrando la escalabilidad de la pila de seguridad a modelos más pequeños.
Este contenido revisa el modelo Qwen3.6 35B A3B Heretic, elogiándolo como el mejor modelo 35B sin censura que el usuario ha encontrado. Destaca su capacidad para encajar en 24GB de VRAM, manejar llamadas de herramientas de múltiples turnos y su potencial para superar al modelo original Qwen 3.6 en benchmarks.
Este documento, titulado "Tarjeta del Sistema GPT-5.5", probablemente detalla las especificaciones técnicas, capacidades y limitaciones del modelo de lenguaje GPT-5.5. Sirve como referencia completa para comprender el funcionamiento y las pautas de uso de este avanzado sistema de IA.
Este estudio propone un nuevo benchmark para evaluar la robustez del razonamiento de los LLMs ante perturbaciones textuales, aplicándolo al conjunto de datos AIME 2024. Los resultados muestran que, mientras los modelos frontera son resilientes, los modelos de código abierto sufren caídas catastróficas de precisión, revelando fragilidades estructurales.
El contenido discute la necesidad de evaluadores multimodales, como MLLM-as-a-judge, para tareas de imagen a texto en aplicaciones de compras visuales y comprensión de documentos. Subraya que los evaluadores solo de texto son insuficientes para verificar si las respuestas del modelo de IA se basan realmente en la imagen de origen.
VAKRA, un nuevo benchmark de IBM Research, revela que los agentes de IA fallan de maneras predecibles y estructurales, mapeando puntos de fractura entre el razonamiento, la selección de herramientas y la ejecución. Descompone el fallo del agente en seis categorías específicas, superando las evaluaciones binarias tradicionales para descubrir debilidades comunes.
Este artículo de investigación muestra que los anclajes numéricos incrustados en las imágenes sesgan sistemáticamente los juicios de calidad de los Modelos de Visión-Lenguaje (VLMs). El sondeo capa por capa revela que las capas óptimas para la predicción de calidad son más profundas que donde satura la clasificación del anclaje, estableciendo una explicación causal del sesgo de anclaje visual.
Esta investigación propone una metodología estandarizada para el análisis de logs en sistemas de IA, abordando la falta actual de un enfoque común. Ofrece un marco con ejemplos de código usando la biblioteca Inspect Scout, guiando a los investigadores hacia un análisis riguroso y reproducible.
Esta investigación explora métodos eficientes para evaluar Grandes Modelos de Audio (LAMs) utilizando subconjuntos mínimos de datos, logrando una alta correlación con los benchmarks completos. También demuestra que los modelos de regresión entrenados en estos subconjuntos pueden predecir mejor las preferencias humanas para la satisfacción del usuario que los benchmarks completos.
Este estudio investiga las alucinaciones de los Grandes Modelos de Lenguaje (ChatGPT, Grok, Gemini, Copilot) en la escritura académica, utilizando 80 indicaciones en cuatro categorías. Se introdujo una nueva métrica ponderada, el Índice de Alucinación (HI), para medir la precisión factual y la validez de las referencias.
El autor describe el entrenamiento de "Scout", un modelo de lenguaje de 50M parámetros, en TinyStories, enfatizando la calidad de los datos y el uso de sondas de prompt y Claude Code para la evaluación. Detalla el progreso del modelo, señalando su capacidad para recordar sujetos pero con dificultades de contexto y repetición a los 12.800 pasos.
Este artigo revela que o viés em modelos de linguagem (LLMs) é dependente da tarefa, com modelos mitigando estereótipos em avaliações explícitas, mas reproduzindo-os em tarefas implícitas. Os autores introduzem uma taxonomia hierárquica e sete tarefas de avaliação para auditar nove tipos de viés, destacando as limitações do alinhamento de segurança.
Este artículo evalúa el "exceso de pensamiento perjudicial" en Modelos de Razonamiento Grandes, donde el razonamiento continuo después de una respuesta correcta puede desestabilizar la trayectoria. Introduce un protocolo para diferenciar el exceso de pensamiento redundante del perjudicial, identificando problemas en benchmarks multimodales.
Este contenido explica cómo usar las curvas ROC y AUC para comparar modelos de clasificación de manera justa, evaluando el rendimiento en todos los umbrales posibles. Detalla qué son, cómo interpretarlos y cuándo usarlos en lugar de otras métricas, incluyendo errores comunes.
Este artículo investiga si las recompensas de resultado en el aprendizaje por refuerzo para cadenas de pensamiento garantizan un razonamiento verificable o causalmente importante en los LLM. Introduciendo las métricas CIR y SR, los autores encuentran que, si bien el RLVR mejora la precisión, no mejora de forma fiable el CIR o el SR, y una pequeña cantidad de SFT puede remediar estos problemas.
Esta investigación examina el uso de LLMs ligeros para el Reconocimiento de Entidades Nombradas Biomédicas, demostrando su rendimiento competitivo frente a modelos más grandes. El estudio resalta su potencial como alternativas eficientes en recursos e identifica formatos de salida específicos que mejoran consistentemente el rendimiento.