Knowledge Distillation

11 items

ARTICLEDEV.to AI·il y a 2j

Cross-Modal Knowledge Distillation for satellite anomaly response operations across multilingual stakeholder groups

L'auteur a découvert que la distillation de connaissances intermodales (CMKD) pouvait combler les lacunes de communication entre les équipes techniques, les centres d'opérations et les parties prenantes des assurances lors des opérations de réponse aux anomalies satellitaires. Cette approche aide à traduire le jargon technique complexe en informations compréhensibles pour les groupes multilingues impliqués dans des opérations critiques.

AI applications Knowledge Distillation Multilingual Communication Satellite Operations

ARTICLEDEV.to AI·il y a 4j

Cross-Modal Knowledge Distillation for smart agriculture microgrid orchestration in carbon-negative infrastructure

L'auteur a rencontré des difficultés lors de la construction d'un système d'IA multi-agents pour une microréseau agricole intelligente à empreinte carbone négative, en raison de données contradictoires entre différentes modalités. Cela a conduit à la réalisation que l'alignement transmodal, plutôt que l'intelligence des agents individuels, était le problème clé pour orchestrer le système efficacement.

agriculture Knowledge Distillation microgrids sustainability

RESEARCHDEV.to AI·10/04/2026

Cross-Modal Knowledge Distillation for planetary geology survey missions with ethical auditability baked in

O texto narra a jornada de pesquisa do autor em destilação de conhecimento cross-modal com auditabilidade ética, impulsionada pela observação de que IAs de classificação mineral podem tomar decisões tecnicamente corretas, mas eticamente ingênuas. O objetivo é desenvolver sistemas de IA que sejam precisos e eticamente robustos para missões de pesquisa geológica planetária.

Knowledge Distillation Autonomous systems machine learning Planetary Geology

RESEARCHarXiv CS.LG·08/04/2026

Prune-Quantize-Distill: An Ordered Pipeline for Efficient Neural Network Compression

Este artigo propõe um pipeline ordenado (poda, quantização INT8 e destilação de conhecimento) para otimizar a compressão de redes neurais, visando a latência de inferência medida em vez de métricas indiretas. A pesquisa revela que a quantização INT8 oferece o principal benefício de tempo de execução, enquanto a poda atua como um pré-condicionador e a destilação de conhecimento recupera a precisão.

Pruning Knowledge Distillation model efficiency Neural Network Compression

RESEARCHarXiv CS.CL·il y a 27j

ReAD: Reinforcement-Guided Capability Distillation for Large Language Models

ReAD propose un cadre de distillation de capacités guidé par le renforcement pour les Grands Modèles de Langage (LLMs), visant à compresser ces modèles tout en préservant les compétences essentielles pour des tâches spécifiques. Il tient compte explicitement de l'interdépendance des capacités pour optimiser l'utilisation du budget de tokens et prévenir la dégradation d'autres compétences utiles.

Model Compression Knowledge Distillation LLMs reinforcement learning

ARTICLEDEV.to AI·il y a 27j

Needle: Distilling Gemini Tool Calling into a 26M Model

Needle est un modèle de 26 millions de paramètres qui a réussi à distiller les capacités d'appel d'outils de Gemini, atteignant une précision quasi équivalente pour une fraction du coût de calcul. Cette avancée est cruciale pour les développeurs d'agents d'IA et les déploiements en périphérie.

AI models Knowledge Distillation tool-calling efficiency

RESEARCHarXiv CS.CL·13/04/2026

WAND: Windowed Attention and Knowledge Distillation for Efficient Autoregressive Text-to-Speech Models

WAND est un framework qui adapte les modèles AR-TTS pré-entraînés pour fonctionner avec une complexité computationnelle et de mémoire constante. Il sépare l'attention en mécanismes globaux et de fenêtre glissante locale, utilisant la distillation de connaissances pour maintenir une synthèse de haute fidélité tout en réduisant considérablement la mémoire cache KV.

Knowledge Distillation Autoregressive Text-to-Speech Attention Mechanism Computational Efficiency

RESEARCHarXiv CS.LG·07/05/2026

Continual Distillation of Teachers from Different Domains

Cette recherche introduit la Distillation Continue (CD), un nouveau paradigme où un modèle étudiant apprend séquentiellement d'un flux de modèles enseignants sans retenir l'accès aux précédents. Elle aborde les défis tels que le transfert (UKT) et l'oubli (UKF) des connaissances invisibles grâce à la Distillation de Données Externes Auto-Supervisées (SE2D), qui utilise des données externes non étiquetées pour stabiliser l'apprentissage à travers des enseignants hétérogènes.

Knowledge Distillation deep learning learning Continual Learning

RESEARCHarXiv CS.CL·il y a 15j

Knowledge Distillation for Low-Resource Open-source Text-to-SQL Model

Cet article propose un cadre Text-to-SQL conscient des connaissances pour convertir des questions en langage naturel en requêtes SQL exécutables, même dans des environnements à faibles ressources. Il aborde les défis tels que la rareté des données annotées et les définitions de schémas opaques en injectant des connaissances spécifiques à la tâche dans l'entraînement et l'inférence.

Knowledge Distillation Text-to-SQL Low-Resource AI Natural Language Processing

RESEARCHarXiv CS.CL·06/04/2026

Reinforcement Learning-based Knowledge Distillation with LLM-as-a-Judge

Este artigo propõe uma estrutura de Reinforcement Learning (RL) que utiliza um LLM como juiz para gerar recompensas, permitindo a destilação de conhecimento sem a necessidade de rótulos de verdade fundamental. A abordagem demonstra ganhos substanciais de desempenho em benchmarks de raciocínio matemático, sugerindo que avaliadores baseados em LLM podem produzir sinais de treinamento eficazes.

language models Unlabeled Data Knowledge Distillation Math Reasoning

ARTICLEDEV.to AI·26/04/2026

Cross-Modal Knowledge Distillation for deep-sea exploration habitat design under multi-jurisdictional compliance

Cet article propose d'appliquer la Distillation de Connaissances Cross-Modales (CMKD) pour la conception d'habitats d'exploration en eaux profondes. Cette technique vise à intégrer des flux de données chaotiques et multi-sources afin de respecter des exigences complexes environnementales, structurelles et légales dans plusieurs juridictions.

multimodal AI Knowledge Distillation deep learning Deep-sea exploration