Un utilisateur peine à intégrer des filtres de Chebyshev dans une architecture CNN pour améliorer les performances, constatant que les résultats actuels sont similaires au modèle de base. Il cherche des conseils sur l'intégration, le placement et le réglage des filtres, ainsi que l'expérience d'autres utilisateurs.
Moonshot AI a mis en open-source FlashKDA, un noyau CUTLASS C++ pour Kimi Delta Attention, offrant des améliorations de performance allant jusqu'à 2.22x par rapport à la ligne de base Triton sur H20. Cette implémentation optimise les architectures d'attention linéaire.
Un nouvel optimiseur PyTorch nommé 'Rose' a été lancé, promettant une faible utilisation de VRAM, une convergence rapide et une excellente généralisation, sous licence Apache 2.0. Développé pendant plusieurs années, il vise à être facile à utiliser et plus économe en mémoire qu'AdamW 8 bits.
Ce contenu suggère que les utilisateurs avec 16 Go de VRAM ajoutent une ancienne carte graphique (6 Go+ VRAM) pour augmenter la VRAM totale, permettant l'exécution de modèles LLM plus grands (~30b) même avec une carte secondaire plus faible. Il comprend un exemple de configuration pratique pour `llama-server`.
Ce contenu discute la perspective selon laquelle les Large Language Models (LLMs) apprennent à l'envers et que l'hypothèse de mise à l'échelle a des limites inhérentes.
Un scientifique ayant une double affiliation industrie et académie partage ses réflexions sur le développement d'une théorie scientifique fondamentale de l'apprentissage automatique, basée sur environ sept ans de travail. L'article présente des idées sur la manière d'atteindre une véritable science du deep learning.
Cet article propose les Cœurs d'Attention Élastiques comme un nouveau bloc de construction pour les Vision Transformers évolutifs, répondant au coût élevé de l'auto-attention dense. L'approche utilise une structure d'attention creuse par blocs de type cœur-périphérie et un dropout imbriqué pour des ajustements élastiques du coût d'inférence, atteignant une précision compétitive.
![Elastic Attention Cores for Scalable Vision Transformers [R]](/cdn-cgi/image/width=3840,quality=75,format=webp/https://preview.redd.it/zjea47ez7w0h1.png?width=140&height=140&crop=1:1,smart&auto=webp&s=2017a3d330a172670baae5645ddff3137bbe1df6)
Ce contenu fait référence à un article de recherche intitulé "Follow the Mean: Reference-Guided Flow Matching". Il explore une nouvelle méthodologie dans les modèles génératifs.
![Follow the Mean: Reference-Guided Flow Matching [R]](/cdn-cgi/image/width=3840,quality=75,format=webp/https://preview.redd.it/5pleq5b4861h1.png?width=140&height=91&auto=webp&s=5f80ce290c30e51700f9b9fd0f907ee56e9382b2)
Un diplômé en génie mécanique avec une expérience en développement logiciel hésite entre deux chemins de maîtrise professionnelle en IA: compléter une mineure en informatique pour postuler à nouveau à MILA ou accepter l'offre de Polytechnique Montréal. Le choix oppose un parcours académique plus long pour renforcer les bases théoriques à un début d'expérience professionnelle plus rapide.
Cette discussion se demande si les Modèles de Langage Visuel (VLMs) en production utilisent toujours des Vision Transformers (ViTs) à patchs fixes pour leurs capacités visuelles, malgré l'existence de méthodes de tokenisation plus efficaces. Elle explore les raisons possibles de cette situation, telles que des gains marginaux, des limitations de pipeline ou des lois d'échelle mal comprises pour le "patching" adaptatif.
L'article présente SATFormer, une nouvelle variante de Transformer qui améliore l'efficacité en permettant aux "heads" de réaccéder sélectivement aux représentations précoces au lieu de les copier uniformément. Ce mécanisme de "gating" dépendant du contexte optimise la réutilisation de l'information, offrant un meilleur compromis efficacité-performance.
![Transformers with Selective Access to Early Representations [R]](/cdn-cgi/image/width=3840,quality=75,format=webp/https://preview.redd.it/bfj0qllk9fzg1.png?width=140&height=47&auto=webp&s=afd139021e7256d039453286e5a71d859d7fe9bb)
Le contenu détaille un problème persistant de faible précision (~50 %) lors de l'utilisation de méthodes d'apprentissage auto-supervisé comme BYOL, MAE et VICReg pour la détection du stress des cultures hyperspectrales. Malgré diverses techniques, les performances restent à peine meilleures que le hasard pour trois classes, soulevant des doutes sur la séparabilité des données ou l'adéquation des méthodes SSL.
AutoMuon, un nouveau package Python, permet d'utiliser l'optimiseur Muon en remplacement direct d'AdamW dans les pipelines d'entraînement PyTorch. Il identifie et applique automatiquement l'optimiseur approprié à chaque paramètre du modèle, combinant Muon pour les matrices de poids et AdamW pour d'autres composants.
Cet article, faisant partie de la série "Neuroanatomie des LLM", suggère que les Grands Modèles Linguistiques traitent les informations géométriquement plutôt que linguistiquement. Il explore les mécanismes internes et l'organisation structurelle de ces modèles d'IA avancés.
Cette recherche introduit la HALO-Loss, une méthode innovante pour entraîner les réseaux neuronaux à s'abstenir de faire des prédictions lorsqu'ils sont incertains. Elle permet aux modèles d'exprimer "Je ne sais pas" plutôt que de fournir des réponses potentiellement incorrectes, améliorant ainsi la fiabilité.
!["I don't know!": Teaching neural networks to abstain with the HALO-Loss. [R]](/cdn-cgi/image/width=3840,quality=75,format=webp/https://preview.redd.it/loxsfywek4vg1.png?width=140&height=123&auto=webp&s=e494bc934351aeddad8b50b76059d35dc7987a4f)
Cet article discute des nouveautés architecturales de DeepSeek V4, soulignant son système d'attention hybride (CSA + HCA) et les Manifold-Constrained Hyper-Connections. Il aborde également l'entraînement FP4 QAT à l'échelle de la frontière, le différenciant des modèles précédents.
Un utilisateur a constaté que la quantification INT8 sur son modèle de deep learning offrait une meilleure précision d'inférence que FP16, ce qui était inattendu. Il recherche des explications pour la performance supérieure de l'INT8 par rapport au FP16.
Un praticien du Deep Learning recherche des ressources telles que des articles, des cours et des tutoriels pour apprendre l'IA pour la science des matériaux. L'objectif est d'acquérir des connaissances suffisantes pour mener des recherches significatives dans le domaine et contribuer à la communauté, avec un cours de l'Université de Chicago déjà identifié comme référence.
Dans cette vidéo, l'auteur explique le pipeline d'entraînement d'un modèle de réseau neuronal utilisant des Réseaux Neuronaux Convolutifs (CNN) pour la classification d'images de repères. Les personnes intéressées peuvent suivre le pipeline d'entraînement et tester le modèle sur le Github de l'auteur.
Cet article, faisant partie d'une série sur PyTorch, détaille le processus d'entraînement des réseaux neuronaux en démontrant une structure de boucle imbriquée pour itérer sur les données d'entraînement. Il explique comment calculer la perte totale, dériver la sortie et appliquer la fonction de perte pour l'optimisation du modèle en utilisant `loss.backward()`.