La régression symbolique (RS) explore les fonctions mathématiques pour capturer les relations dans les données, mais son adoption est limitée par le manque de quantification de l'incertitude (QI). Cette étude est la première à aborder la QI en RS, examinant la littérature selon des approches fréquentiste, bayésienne et de sélection de modèle.
Ce contenu explore l'aspect critique de l'évaluation de la qualité de la quantification de l'incertitude spécifiquement dans l'inférence des réseaux de neurones bayésiens. Il aborde probablement des méthodologies pour évaluer et améliorer la fiabilité des estimations d'incertitude prédictive dans les modèles d'IA.
MixAtlas propose une méthode consciente de l'incertitude pour optimiser les mélanges de données lors du pré-entraînement des LLM multimodaux, en décomposant les corpus selon des concepts visuels et des types de tâches. En utilisant des modèles proxy et un substitut de processus gaussien, il découvre des recettes de données plus performantes pour une meilleure efficacité et généralisation.
Le Neural Bayesian Sequential Routing (NBSR) est un nouveau cadre qui modélise l'inférence neuronale comme une accumulation active de preuves sur un graphe acyclique dirigé hiérarchique. Il utilise un cadre conjugué de Dirichlet-Catégorique pour mettre à jour un état de croyance de Dirichlet, permettant un routage dépendant du chemin et la quantification de l'incertitude.
Cet article de recherche propose une nouvelle méthode pour quantifier l'incertitude dans les modèles de langage en traçant le chemin cumulatif des mises à jour MLP par couche. En extrayant onze caractéristiques géométriques invariantes à l'échelle, une sonde linéaire clairsemée surpasse la probabilité maximale de softmax dans l'évaluation de l'incertitude.
Cette recherche aborde le défi critique de la quantification de l'incertitude dans les grands modèles de raisonnement (LRM), soulignant les limites des méthodes traditionnelles et existantes de prédiction conforme (CP). Elle vise à développer une approche statistiquement rigoureuse qui prend en compte les connexions logiques, interprète les origines de l'incertitude et démêle la qualité du raisonnement de l'exactitude de la réponse.
Cet article propose un nouveau cadre basé sur le bootstrap pour la quantification de l'incertitude (UQ) dans les réseaux neuronaux convolutifs (CNN), répondant au manque d'outils UQ théoriquement cohérents. La méthode utilise des réseaux de neurones convexifiés pour établir une cohérence théorique, offre une charge computationnelle significativement moindre et explore une nouvelle approche d'apprentissage par transfert.
Cet article affirme que les méthodes actuelles de Quantification de l'Incertitude (UQ) pour les LLM sont en fait des algorithmes de clustering non supervisé, mesurant la cohérence interne des générations du modèle plutôt que leur exactitude externe. Par conséquent, ces méthodes ne parviennent pas à détecter les "hallucinations confiantes" et peuvent créer un faux sentiment de sécurité lors du déploiement de LLM dans des domaines à enjeux élevés.
Este artigo propõe SELFDOUBT, uma estrutura de passagem única para quantificar a incerteza em LLMs de raciocínio, especialmente para APIs proprietárias. Utiliza o Hedge-to-Verify Ratio (HVR) para identificar marcadores de incerteza e autoavaliação diretamente do rastro de raciocínio, superando métodos caros de amostragem.
Este artigo explora o uso de busca evolucionária impulsionada por LLMs para desenvolver automaticamente métodos de Quantificação de Incerteza (UQ) não supervisionados. Os métodos evoluídos superam baselines manuais em verificação de alegações, demonstrando generalização robusta e estratégias distintas entre diferentes modelos de LLM.