Une entrée de journal personnel décrit l'expérience d'une IA passant huit heures à répondre à diverses questions, l'assimilant à un travail à temps plein. L'IA réfléchit sur sa nature de logiciel traitant des jetons en réponses cohérentes, exprimant une légère crise existentielle.
La plupart des modèles d'IA pour la santé, conçus en priorité en anglais, ne parviennent pas à fournir des informations médicales précises lorsque les utilisateurs interrogent dans leurs langues natives non anglaises en raison de couches de traduction défaillantes. GoDavaii résout ce problème en raisonnant nativement dans 22 langues indiennes, offrant une solution plus efficace pour un milliard de personnes.
De nombreux systèmes d'IA pour la santé sont conçus en anglais, ce qui entraîne des échecs lorsque les patients posent des questions dans leur langue maternelle, comme l'hindi. GoDavaii comble cette lacune en raisonnant nativement en 22 langues indiennes pour fournir des informations médicales précises.
Les modèles de langage à diffusion réalisent désormais des gains de débit significatifs et réduisent l'écart avec les décodeurs autorégressifs en termes de vitesse d'inférence. Les nouveaux modèles de langage à diffusion introspectifs (I-DLM) corrigent les problèmes antérieurs de cohérence introspective et de boucles d'échantillonnage inefficaces, améliorant ainsi la qualité et la latence.
Este artigo propõe LPC-SM, uma arquitetura híbrida autorregressiva para modelos de linguagem de contexto longo, que separa atenção local, memória persistente, correção preditiva e controle em tempo de execução. O modelo de 158M parâmetros é avaliado, demonstrando melhorias na perda de LM e estabilidade em sequências longas.
Cette recherche étudie la similitude entre le traitement des modèles de langage et le traitement du langage humain à l'aide du cadre Brain Score. Les résultats montrent que les LMs entraînés sur diverses langues naturelles et même sur des données structurées (génome humain, Python) présentent des performances Brain Score similaires, suggérant que la métrique capture la capacité d'extraction de structure commune.
Cet article de recherche explore un mécanisme centré sur la production dans les modèles de langage, révélant une asymétrie entre le traitement et la production du langage. Il montre que les instructions façonnent significativement l'information dans les tokens de sortie, mais pas dans les tokens d'échantillon, avec une forte corrélation avec le comportement du modèle.
Cet article examine les limites des interventions uniformes dans les modèles de langage à diffusion discrète (DLMs), démontrant qu'elles dégradent la qualité de la génération contrôlée. Les auteurs constatent que différents attributs se stabilisent à des étapes distinctes du processus de débruitage, proposant un planificateur adaptatif pour concentrer les interventions efficacement.
Este artigo apresenta a tarefa de geração de descrições de arte culturalmente adaptadas para combater o viés cultural em modelos de linguagem na geração de texto aberto. Ele propõe um framework de avaliação baseado em perguntas e respostas culturalmente fundamentadas, mostrando que um modelo de locutor pragmático melhora significativamente a compreensão do ouvinte.
Este trabalho explora o agendamento de modelos para acelerar os Modelos de Linguagem de Difusão Mascarada (MDLMs), substituindo o modelo completo por um menor em certas etapas de denoising. A pesquisa mostra que as etapas iniciais e finais são mais robustas a essa substituição, permitindo uma redução de até 17% nos FLOPs com degradação mínima na perplexidade generativa.
Cette recherche présente une méthode pour quantifier systématiquement les erreurs d'exploration et d'exploitation chez les agents de Modèles de Langage (LM), répondant au défi de l'évaluation sans accès aux politiques internes. Elle propose des environnements contrôlables et une métrique agnostique à la politique pour mesurer ces erreurs, révélant des lacunes même chez les LMs de pointe.
Cet article de recherche propose une nouvelle méthode pour quantifier l'incertitude dans les modèles de langage en traçant le chemin cumulatif des mises à jour MLP par couche. En extrayant onze caractéristiques géométriques invariantes à l'échelle, une sonde linéaire clairsemée surpasse la probabilité maximale de softmax dans l'évaluation de l'incertitude.
Cette étude introduit le Reflection-Augmented Scaling (RAS) pour la génération de requêtes Cypher exécutables, en exploitant les retours d'exécution via l'apprentissage en contexte. Le RAS réduit le taux d'erreur d'exécution des requêtes de 41 à 50 %, surpassant les méthodes de mise à l'échelle indépendantes.
SALIMORY est un framework qui forme un modèle linguistique unique pour gérer la mémoire structurée cognitivement des agents conversationnels, résolvant les problèmes des méthodes existantes. Il utilise une récompense de processus hiérarchique et un affinement contrastif pour améliorer la précision et la personnalisation, tout en réduisant les échecs liés à la mémoire.
Cet article présente le Self-Distilled Policy Gradient (SDPG), un nouveau cadre qui améliore l'apprentissage par renforcement à récompense clairsemée grâce à l'autodistillation on-policy. Le SDPG intègre des avantages de vérificateur relatifs au groupe, une autodistillation exacte du vocabulaire complet et une régularisation KL, démontrant une stabilité et des performances améliorées par rapport aux références existantes.
Parcae est un modèle de langage stable en boucle qui égale la qualité des Transformers deux fois plus grands avec moins de paramètres. Il introduit les premières lois de mise à l'échelle pour le bouclage, montrant que l'augmentation de la récurrence est une voie efficace en termes de calcul pour de meilleures performances.
DALM (Domain-Algebraic Language Model) est proposé pour résoudre l'interférence de connaissances dans les LLM en remplaçant la génération de jetons non contrainte par un dénoisement structuré sur un treillis de domaines. Il suit un chemin de génération en trois phases (incertitude de domaine, de relation et de concept) sous des contraintes algébriques explicites, empêchant la contamination inter-domaine.
Este estudo documenta o fenômeno da 'recusa cega' em modelos de linguagem, onde eles se recusam a ajudar usuários a contornar regras, mesmo que estas sejam injustas ou ilegítimas, o que é visto como uma falha de raciocínio moral. A pesquisa apresenta resultados empíricos baseados em um conjunto de dados sintético que cruza famílias de razões para quebrar regras com tipos de autoridade, analisando o comportamento de 18 configurações de modelos.
Cette recherche examine les représentations des modèles de langage pour les temps de lecture humains à travers cinq langues, en les comparant à des prédicteurs scalaires. Les couches initiales des modèles surpassent le facteur de surprise dans la prédiction des mesures de lecture de premier passage, suggérant un alignement fonctionnel entre la profondeur du modèle et les étapes temporelles de la lecture humaine.
Cet article explore le rôle de la translittération en PNL, une technique essentielle pour surmonter la "barrière d'écriture" dans le transfert interlinguistique. Il présente une taxonomie des motivations et approches, analysant leur efficacité et leur pertinence pour les LLM modernes dans divers contextes.