← heapsort-ai

AI Research

146 items

ARTICLE↑ trendingReddit r/MachineLearning·20/04/2026

Does submitting to only journals negatively affect research career after finishing PhD? [D]

Le contenu se demande si la publication exclusive dans des revues de ML (par exemple TMLR, JMLR) plutôt que lors de conférences nuit aux perspectives d'emploi pour des postes de chercheur scientifique en ML en entreprise, compte tenu de la perception de processus de révision plus équitables dans les revues. La discussion porte sur les carrières en entreprise après le doctorat.

36
ARTICLE↑ trendingReddit r/MachineLearning·13/04/2026

[ICML 2026] Extending the deadline for reviewer final justifications while not extending for Author-AC comments was a huge mistake [D]

L'auteur critique la décision de prolonger le délai des justifications finales des relecteurs de l'ICML 2026 sans prolonger celui des contacts auteurs-ACs, jugeant cela une grave erreur. Un relecteur a soulevé de nouvelles questions critiques dans sa justification finale, non mentionnées auparavant, ce qui pourrait compromettre un article ayant par ailleurs de bonnes évaluations.

33
RESEARCHarXiv CS.CL·22/04/2026

Remask, Don't Replace: Token-to-Mask Refinement in Masked Diffusion Language Models

Cet article propose une nouvelle technique, le remasking Token-to-Mask (T2M), pour affiner les modèles de langage de diffusion masqués tels que LLaDA2.1. Cette méthode corrige les lacunes de l'édition Token-to-Token (T2T) en réinitialisant les jetons suspects à un état de masque pour une reprediction plus précise.

32
RESEARCHarXiv CS.CL·il y a 14j

Multi-Persona Debate System for Automated Scientific Hypothesis Generation

Le Système de Débat Multi-Persona (MPDS) est un cadre basé sur la littérature pour la génération automatisée d'hypothèses scientifiques, visant à surmonter le défi de synthétiser des connaissances fragmentées, notamment dans la recherche sur les matériaux de batterie. Il intègre la récupération de littérature, le raisonnement de grands modèles linguistiques et le débat multi-agents, permettant la négociation entre personas tout en préservant la traçabilité des preuves.

32
RESEARCHDEV.to AI·13/04/2026

Beyond the 80/20 Rule: High-Entropy Minority Tokens Drive EffectiveReinforcement Learning for LLM Reasoning

Ce contenu explore une nouvelle approche pour améliorer l'apprentissage par renforcement pour le raisonnement des grands modèles de langage (LLM) en se concentrant sur les « jetons minoritaires à haute entropie ». Il suggère que ces jetons moins fréquents mais très informatifs sont les principaux moteurs d'un apprentissage efficace, défiant la règle conventionnelle 80/20.

29
RESEARCHarXiv CS.CL·il y a 13j

Self-Verified Distillation: Your Language Model Is Secretly Its Own Synthetic Data Pipeline

Cette recherche introduit la Distillation Auto-Vérifiée, un algorithme permettant aux grands modèles de langage (LLM) de s'améliorer en utilisant uniquement des invites non étiquetées. Le processus implique la génération, l'auto-vérification par des contrôles multi-étapes, puis l'entraînement sur des ensembles de données auto-curés, sans enseignants externes.

29
RESEARCHarXiv CS.CL·il y a 19j

Data Scaling as Progressive Coverage of a Predictive Contribution Spectrum

Cette recherche examine si les lois d'échelle des données réelles sont régies par une couverture progressive d'un spectre latent de contribution prédictive, plutôt que par la seule fréquence des jetons. En utilisant un automate de suffixes et un spectre de contribution prédictive global-KL, l'étude révèle une forte corrélation entre la pente de la queue du spectre et l'exposant d'échelle des données des apprenants GPT, montrant que le rang de troncature effectif s'échelonne logarithmiquement.

29
RESEARCHarXiv CS.LG·07/05/2026

Structured Progressive Knowledge Activation for LLM-Driven Neural Architecture Search

Cet article présente le Structured Progressive Knowledge Activation (SPARK) pour relever le défi d'intégrer les connaissances architecturales dans la recherche d'architecture neurale (NAS) pilotée par les LLM. SPARK atténue l'"enchevêtrement fonctionnel" en permettant une édition conditionnée par facteur, ce qui conduit à des modifications d'architecture plus ciblées et fiables.

29
RESEARCHarXiv CS.LG·il y a 29j

RateQuant: Optimal Mixed-Precision KV Cache Quantization via Rate-Distortion Theory

Cet article présente RateQuant, une méthode pour l'optimisation de la quantification du cache KV à précision mixte dans les grands modèles linguistiques afin de résoudre les goulots d'étranglement de la mémoire. Il s'attaque au problème de l'inadéquation du modèle de distorsion, où l'application du modèle de distorsion d'un quantificateur à un autre dégrade les performances par rapport à la quantification uniforme.

29