← heapsort-ai

LLMs

720 items

RESEARCHarXiv CS.LG·hace 9d

When LLMs Learn to Be Consistently Wrong: A Multi-Model Study of Linear Representations of Synthetic Deception

Este estudio aborda el "alineamiento engañoso" en LLMs, un desafío crítico para la seguridad de la IA, donde los modelos generan resultados falsos intencionadamente a pesar de tener representaciones internas precisas. Utilizando un paradigma multi-modelo con varias arquitecturas de transformadores, se detectó deshonestidad sintética con alta precisión mediante el uso de sondas lineales.

29
RESEARCHarXiv CS.CL·hace 9d

Exploring Autonomous Agentic Data Engineering for Model Specialization

Este artículo formaliza la 'Ingeniería de Datos Agéntica Autónoma', una tarea novedosa para evaluar LLMs como ingenieros de datos autónomos que impulsan la especialización de modelos. Los experimentos demuestran que los ingenieros de datos LLM autónomos logran ganancias sustanciales, con GPT-5.2 mejorando un modelo estudiante en un 57,29%.

29
RESEARCHarXiv CS.AI·hace 7d

Toward a Modular Architecture for Embedded AI Agent Systems at the Edge

Este artículo propone una arquitectura de referencia modular para Sistemas de Agentes Embebidos, abordando los desafíos de implementar IA agéntica en entornos de computación omnipresentes con estrictas limitaciones de memoria y energía. Introduce un diseño escalonado que desacopla los agentes en el dispositivo (redes neuronales comprimidas) de los agentes aumentados en la nube (SLMs) para diferentes niveles de razonamiento.

29
ARTICLEDEV.to AI·8/4/2026

🧠 The Rise of the Agentic Stack: Why LLMs Are Becoming the Least Important Part

O artigo argumenta que o foco em sistemas de IA mudou dos LLMs individuais para um "Agentic Stack" completo, onde o LLM é apenas um componente. Ele detalha a pilha composta por Orchestrator (o cérebro), Ferramentas, Memória e LLM, enfatizando que a inteligência real e a eficácia em produção residem no Orchestrator e no design do sistema, não apenas nos prompts ou no modelo.

29
RESEARCHarXiv CS.CL·30/4/2026

One Word at a Time: Incremental Completion Decomposition Breaks LLM Safety

Esta investigación presenta la Descomposición Incremental de Completado (ICD), una nueva estrategia de jailbreak que explota las debilidades en los mecanismos de seguridad de los LLM al solicitar secuencias de continuaciones de una sola palabra. La ICD demuestra una Tasa de Éxito de Ataque (ASR) superior en varios benchmarks en comparación con métodos existentes, ofreciendo evidencia teórica y mecánica de su eficacia.

29
ARTICLEDEV.to AI·19/4/2026

What if I told you that the future of software development hinges not on human expertise but on AI efficiency?

El autor comparte una experiencia transformadora al presenciar cómo el código generado por IA reemplazó rápidamente un servicio micro-SaaS, desafiando dudas previas sobre el impacto de los LLMs en SaaS. Este cambio económico y de eficiencia promete una nueva era en la creación de software, reduciendo drásticamente el tiempo de desarrollo y exigiendo la adaptación de la industria.

29
RESEARCHarXiv CS.CL·6/4/2026

Social Meaning in Large Language Models: Structure, Magnitude, and Pragmatic Prompting

Este artigo explora se os LLMs aproximam quantitativamente o significado social humano e se estratégias de prompting pragmático podem melhorar essa aproximação. Para isso, introduz métricas de calibração (ESR, CDS) e observa que os modelos reproduzem a estrutura qualitativa das inferências sociais humanas, mas diferem substancialmente em outros aspectos.

29
RESEARCHarXiv CS.CL·6/4/2026

SocioEval: A Template-Based Framework for Evaluating Socioeconomic Status Bias in Foundation Models

SocioEval é um framework baseado em templates para avaliar sistematicamente o viés de status socioeconômico em modelos de fundação, incluindo LLMs, uma área pouco explorada. A pesquisa avaliou 13 LLMs e revelou variações substanciais nas taxas de viés (0,42% a 33,75%), manifestando-se de forma diferente em vários temas.

29
RESEARCHarXiv CS.CL·hace 5d

MCBench: A Multicontext Safety Assessment Benchmark for Omni Large Language Models

MCBench es un nuevo benchmark para evaluar la seguridad de los LLM Omni que procesan entradas visuales, de audio y texto, revelando desafíos significativos en la integración de modalidades para juicios de seguridad precisos. Destaca que los LLM Omni actuales carecen de un razonamiento robusto entre modalidades en entornos críticos de seguridad.

28
RESEARCHarXiv CS.AI·hace 9d

EHRBench: An Automated and Reliable EHR-based Benchmark for Clinical Decision Making with LLMs

El artículo presenta EHRBench, un benchmark automatizado y fiable basado en registros de salud electrónicos (EHR) para evaluar LLMs en la toma de decisiones clínicas, abordando la falta de comprensión sobre su fiabilidad en tareas clínicas reales. Este benchmark busca asegurar tanto la escala como la calidad en la evaluación de modelos de CDM.

28
RESEARCHarXiv CS.CL·hace 19d

Reflective Prompt Tuning through Language Model Function-Calling

Este artículo propone Reflective Prompt Tuning (RPT), un marco que utiliza la llamada de funciones de modelos de lenguaje grandes (LLM) para simular el flujo de trabajo iterativo de ingenieros de prompts humanos. Su objetivo es automatizar la optimización de prompts, reduciendo el esfuerzo manual y superando las limitaciones de los métodos existentes que no capturan patrones de error sistemáticos.

28
RESEARCHarXiv CS.AI·hace 16d

Energy per Successful Goal: Goal-Level Energy Accounting for Agentic AI Systems

Las métricas actuales de energía de IA, que miden invocaciones individuales, tergiversan el costo para sistemas agénticos que implican orquestación y reintentos en múltiples pasos. A-LEMS introduce la Energía por Objetivo Exitoso (EpG) para agregar la energía total del flujo de trabajo, incluidas las fallas, proporcionando una medida más precisa de los costos de finalización del objetivo.

28
ARTICLEDEV.to AI·9/4/2026

Building Your Own "Google Maps for Codebases": A Practical Guide to Codebase Q&A with LLMs

Este artigo aborda o desafio de navegar em bases de código desconhecidas e propõe o uso de Large Language Models (LLMs) para responder a perguntas em linguagem natural sobre o código. Ele se propõe a ser um guia prático para construir um sistema robusto e privado de Q&A de código baseado em LLMs, explorando arquitetura técnica e código.

28
ARTICLEDEV.to AI·hace 7d

I built a Zero Trust AI Architecture for Logistics (FastAPI + React). Roast my setup!

Esta publicación describe una arquitectura de IA de Confianza Cero construida con Google Gemini, React y FastAPI para automatizar chats de despacho logístico, mitigando fugas de datos y alucinaciones de IA. El sistema asegura el aislamiento del LLM a través de esquemas Pydantic, incluye un humano en el bucle para casos críticos y desanonimiza los datos solo en el backend.

28
ARTICLEDEV.to AI·hace 4d

Beyond Function Calling: Why MCP is the "USB-C" of AI Integrations

El artículo explora la evolución de la integración de Grandes Modelos de Lenguaje (LLMs) con datos externos, presentando el Protocolo de Contexto del Modelo (MCP). Compara el MCP con las "Herramientas" tradicionales (Function Calling), destacando sus diferencias fundamentales y su potencial para resolver problemas como el bloqueo del proveedor y la fragmentación en el desarrollo de la IA.

28
ARTICLEDEV.to AI·14/4/2026

Evaluating LLMs for Code Generation: Accuracy, Latency, and Failure Modes

El contenido destaca una falla crítica en las evaluaciones actuales de generación de código por LLMs, que a menudo no logran capturar la corrección en el mundo real más allá de aprobaciones superficiales. Argumenta en contra de los benchmarks simplistas basados en pruebas unitarias y propone un enfoque más matizado de `weighted_accuracy` para descubrir modos de fallo sutiles.

28