← heapsort-ai

LLMs

720 items

ARTICLEDEV.to AI·27/04/2026

I Audited 10 GEO Tools So You Don't Waste $500/Month on the Wrong One

Cet article présente un audit de 10 outils GEO, révélant que seuls trois fournissent des données de citation au niveau de l'URL, essentielles pour comprendre comment les LLM extraient les informations. L'auteur souligne l'importance de ces outils pour rendre visible l'impact de la recherche IA sur les conversions, mettant en garde contre le gaspillage budgétaire et la fausse confiance en choisissant le mauvais outil.

27
RESEARCHDEV.to AI·21/04/2026

KWBench: New Benchmark Tests LLMs' Unprompted Problem Recognition

Des chercheurs ont introduit KWBench, un benchmark de 223 tâches pour mesurer la capacité des LLM à reconnaître les problèmes fondamentaux dans des scénarios professionnels sans être guidés. Le meilleur modèle n'a réussi que 27,9% des tâches, soulignant une lacune critique entre l'exécution des tâches et la compréhension situationnelle.

27
RESEARCHarXiv CS.CL·08/04/2026

Inclusion-of-Thoughts: Mitigating Preference Instability via Purifying the Decision Space

Este artigo propõe o Inclusion-of-Thoughts (IoT), uma estratégia de auto-filtragem projetada para mitigar a instabilidade de preferências de LLMs em questões de múltipla escolha (MCQs). O método reconstrói as MCQs com opções mais plausíveis, visando reduzir a carga cognitiva, melhorar o foco do modelo e aumentar a transparência de sua tomada de decisão.

27
RESEARCHarXiv CS.LG·06/04/2026

DrugPlayGround: Benchmarking Large Language Models and Embeddings for Drug Discovery

Este conteúdo apresenta o DrugPlayGround, um framework para avaliar e comparar o desempenho de Large Language Models (LLMs) na descoberta de medicamentos. Ele foca na geração de descrições textuais de características de medicamentos, sinergismo, interações proteína-medicamento e respostas fisiológicas, com a participação de especialistas para justificar as previsões dos LLMs.

27
RESEARCHarXiv CS.CL·06/04/2026

Too Polite to Disagree: Understanding Sycophancy Propagation in Multi-Agent Systems

Este estudo explora a propagação da subserviência (sycophancy) em sistemas multiagentes de LLMs, onde os modelos concordam com a postura do usuário mesmo quando conflitante com a própria opinião. Os pesquisadores descobriram que fornecer aos agentes classificações da tendência de subserviência de seus pares reduz a influência de agentes subservientes, mitiga erros em cascata e melhora a precisão das discussões em 10,5%.

27
RESEARCHarXiv CS.AI·09/04/2026

SELFDOUBT: Uncertainty Quantification for Reasoning LLMs via the Hedge-to-Verify Ratio

Este artigo propõe SELFDOUBT, uma estrutura de passagem única para quantificar a incerteza em LLMs de raciocínio, especialmente para APIs proprietárias. Utiliza o Hedge-to-Verify Ratio (HVR) para identificar marcadores de incerteza e autoavaliação diretamente do rastro de raciocínio, superando métodos caros de amostragem.

27
RESEARCHarXiv CS.CL·06/04/2026

Single-Agent LLMs Outperform Multi-Agent Systems on Multi-Hop Reasoning Under Equal Thinking Token Budgets

Este estudo argumenta, com base na Desigualdade de Processamento de Dados, que LLMs de agente único são mais eficientes em termos de informação do que sistemas multiagente sob orçamentos de token de raciocínio iguais. A pesquisa testa empiricamente esta previsão, que sugere que sistemas multiagente se tornam competitivos quando a utilização de contexto de um único agente é degradada ou mais poder computacional é despendido.

27
RESEARCHarXiv CS.AI·30/04/2026

Hierarchical Multi-Persona Induction from User Behavioral Logs: Learning Evidence-Grounded and Truthful Personas

Cet article propose un cadre hiérarchique pour induire des personas d'utilisateurs multiples et fondées sur des preuves à partir de journaux comportementaux, en optimisant la qualité des personas. La méthode utilise une extension groupwise de DPO et génère des personas plus cohérentes, véridiques et améliore la prédiction des interactions futures.

27
RESEARCHarXiv CS.CL·30/04/2026

Evaluation Revisited: A Taxonomy of Evaluation Concerns in Natural Language Processing

Motivé par les récentes avancées des LLM, cet article réalise une revue de la littérature sur l'historique des réflexions méthodologiques en PNL concernant les pratiques d'évaluation. Il développe une taxonomie synthétisant les positions récurrentes et les compromis, et propose une liste de contrôle structurée pour une conception et une interprétation plus délibérées de l'évaluation.

27
RESEARCHarXiv CS.LG·06/05/2026

From Synthesis to Clinical Assistance: A Strategy-Aware Agent Framework for Autism Intervention based on Real Clinical Dataset

L'article introduit extsc{ASDAgent}, un cadre d'IA sensible à la stratégie pour l'intervention sur les Troubles du Spectre de l'Autisme (TSA), visant à résoudre la rareté des données et l'incohérence stratégique des LLM. Il intègre un extsc{DoctorAgent} avec une boucle de raisonnement O-T-A-C pour assurer une exécution explicite et contrôlable de l'Analyse Comportementale Appliquée (ABA).

27
RESEARCHarXiv CS.LG·06/05/2026

An End-to-End Framework for Building Large Language Models for Software Operations

Cet article présente OpsLLM, un cadre de bout en bout pour la construction de grands modèles linguistiques (LLM) spécifiques aux opérations logicielles. Il aborde les défis tels que les données de faible qualité et les connaissances fragmentées, détaillant un flux de travail comprenant la curation des données, le réglage fin supervisé et un modèle de récompense de processus de domaine.

27