softmax

2 items

ARTICLEDEV.to AI·11/04/2026

Output Layer Explained — Logits, Softmax, Cross-Entropy, and Why They Work Together

Cet article explique comment les réseaux neuronaux génèrent des prédictions significatives via des probabilités, détaillant la fonction des logits, de la softmax et de l'entropie croisée. Il aborde la manière dont ces composants transforment les sorties brutes en distributions de probabilité interprétables et comment la fonction de perte mesure la précision, assurant la stabilité numérique.

neural networks Logits softmax Cross-Entropy

RESEARCHarXiv CS.LG·06/05/2026

On the Invariants of Softmax Attention

Cette recherche définit le "champ d'énergie" dans l'attention softmax, révélant des propriétés invariantes essentielles. Elle distingue les invariants au niveau du mécanisme, dérivés de la structure algébrique, des régularités au niveau du modèle observées dans les modèles de langage autorégressifs.

neural networks softmax machine learning NLP