Knowledge Distillation

11 items

ARTICLEDEV.to AI·hace 2d

Cross-Modal Knowledge Distillation for satellite anomaly response operations across multilingual stakeholder groups

El autor descubrió que la Destilación de Conocimiento Cross-Modal (CMKD) podría cerrar las brechas de comunicación entre equipos técnicos, centros de operaciones y partes interesadas de seguros durante las operaciones de respuesta a anomalías de satélites. Este enfoque ayuda a traducir la jerga técnica compleja en información comprensible para grupos multilingües involucrados en operaciones críticas.

AI applications Knowledge Distillation Multilingual Communication Satellite Operations

ARTICLEDEV.to AI·hace 4d

Cross-Modal Knowledge Distillation for smart agriculture microgrid orchestration in carbon-negative infrastructure

El autor encontró desafíos al construir un sistema de IA multiagente para una microrred agrícola inteligente con objetivo de carbono-negativo, debido a datos conflictivos entre diferentes modalidades. Esto llevó a la conclusión de que la alineación intermodal, más que la inteligencia de los agentes individuales, era el problema clave para orquestar el sistema de manera efectiva.

agriculture Knowledge Distillation microgrids sustainability

RESEARCHDEV.to AI·10/4/2026

Cross-Modal Knowledge Distillation for planetary geology survey missions with ethical auditability baked in

O texto narra a jornada de pesquisa do autor em destilação de conhecimento cross-modal com auditabilidade ética, impulsionada pela observação de que IAs de classificação mineral podem tomar decisões tecnicamente corretas, mas eticamente ingênuas. O objetivo é desenvolver sistemas de IA que sejam precisos e eticamente robustos para missões de pesquisa geológica planetária.

Knowledge Distillation Autonomous systems machine learning Planetary Geology

RESEARCHarXiv CS.LG·8/4/2026

Prune-Quantize-Distill: An Ordered Pipeline for Efficient Neural Network Compression

Este artigo propõe um pipeline ordenado (poda, quantização INT8 e destilação de conhecimento) para otimizar a compressão de redes neurais, visando a latência de inferência medida em vez de métricas indiretas. A pesquisa revela que a quantização INT8 oferece o principal benefício de tempo de execução, enquanto a poda atua como um pré-condicionador e a destilação de conhecimento recupera a precisão.

Pruning Knowledge Distillation model efficiency Neural Network Compression

RESEARCHarXiv CS.CL·hace 27d

ReAD: Reinforcement-Guided Capability Distillation for Large Language Models

ReAD es un marco de destilación de capacidades guiado por refuerzo para Grandes Modelos de Lenguaje (LLMs), diseñado para comprimir modelos manteniendo las habilidades necesarias para tareas específicas. La propuesta considera la interdependencia de las capacidades para optimizar el presupuesto de tokens y evitar la degradación de habilidades útiles.

Model Compression Knowledge Distillation LLMs reinforcement learning

ARTICLEDEV.to AI·hace 27d

Needle: Distilling Gemini Tool Calling into a 26M Model

Needle es un modelo de 26 millones de parámetros que destiló con éxito las capacidades de llamada a herramientas de Gemini, logrando una precisión casi idéntica con una fracción del costo computacional. Este avance es crucial para desarrolladores de agentes de IA y despliegues en el borde.

AI models Knowledge Distillation tool-calling efficiency

RESEARCHarXiv CS.CL·13/4/2026

WAND: Windowed Attention and Knowledge Distillation for Efficient Autoregressive Text-to-Speech Models

WAND es un marco que adapta modelos autoregresivos de texto a voz (AR-TTS) para operar con complejidad computacional y de memoria constante. Lo logra separando la atención en mecanismos globales y de ventana deslizante local, y utilizando destilación de conocimiento para mantener la alta fidelidad de síntesis con una reducción significativa de memoria.

Knowledge Distillation Autoregressive Text-to-Speech Attention Mechanism Computational Efficiency

RESEARCHarXiv CS.LG·7/5/2026

Continual Distillation of Teachers from Different Domains

Esta investigación introduce la Destilación Continua (CD), un nuevo paradigma donde un modelo estudiante aprende secuencialmente de un flujo de modelos maestros sin retener acceso a los anteriores. Aborda desafíos como la transferencia (UKT) y el olvido (UKF) de conocimiento no visto a través de la Destilación de Datos Externos Propios (SE2D), que utiliza datos externos sin etiquetar para estabilizar el aprendizaje entre maestros heterogéneos.

Knowledge Distillation deep learning learning Continual Learning

RESEARCHarXiv CS.CL·hace 15d

Knowledge Distillation for Low-Resource Open-source Text-to-SQL Model

Este artículo propone un marco Text-to-SQL consciente del conocimiento para convertir preguntas en lenguaje natural en consultas SQL ejecutables, incluso en entornos de bajos recursos. Aborda desafíos como la escasez de datos anotados y las definiciones de esquemas opacos, inyectando conocimiento específico de la tarea en el entrenamiento y la inferencia.

Knowledge Distillation Text-to-SQL Low-Resource AI Natural Language Processing

RESEARCHarXiv CS.CL·6/4/2026

Reinforcement Learning-based Knowledge Distillation with LLM-as-a-Judge

Este artigo propõe uma estrutura de Reinforcement Learning (RL) que utiliza um LLM como juiz para gerar recompensas, permitindo a destilação de conhecimento sem a necessidade de rótulos de verdade fundamental. A abordagem demonstra ganhos substanciais de desempenho em benchmarks de raciocínio matemático, sugerindo que avaliadores baseados em LLM podem produzir sinais de treinamento eficazes.

language models Unlabeled Data Knowledge Distillation Math Reasoning

ARTICLEDEV.to AI·26/4/2026

Cross-Modal Knowledge Distillation for deep-sea exploration habitat design under multi-jurisdictional compliance

Este artículo explora la aplicación de la Destilación de Conocimiento Cross-Modal (CMKD) para el diseño de hábitats de exploración en aguas profundas. La técnica busca integrar flujos de datos caóticos y de múltiples fuentes para satisfacer requisitos complejos de cumplimiento ambiental, estructural y legal en diversas jurisdicciones.

multimodal AI Knowledge Distillation deep learning Deep-sea exploration