Knowledge Distillation

11 items

ARTICLEDEV.to AI·2d atrás

Cross-Modal Knowledge Distillation for satellite anomaly response operations across multilingual stakeholder groups

O autor descobriu que a Destilação de Conhecimento Cross-Modal (CMKD) pode preencher lacunas de comunicação entre equipes técnicas, centros de operações e partes interessadas de seguros durante respostas a anomalias de satélite. Essa abordagem ajuda a traduzir jargões técnicos complexos em informações compreensíveis para grupos multilíngues envolvidos em operações críticas.

AI applications Knowledge Distillation Multilingual Communication Satellite Operations

ARTICLEDEV.to AI·4d atrás

Cross-Modal Knowledge Distillation for smart agriculture microgrid orchestration in carbon-negative infrastructure

O autor enfrentou desafios ao construir um sistema de IA multiagente para uma microrrede agrícola inteligente com objetivo de carbono-negativo, devido a dados conflitantes entre diferentes modalidades. Isso levou à percepção de que o alinhamento intermodal, e não a inteligência dos agentes individuais, era o problema central para orquestrar o sistema de forma eficaz.

agriculture Knowledge Distillation microgrids sustainability

RESEARCHDEV.to AI·10/04/2026

Cross-Modal Knowledge Distillation for planetary geology survey missions with ethical auditability baked in

O texto narra a jornada de pesquisa do autor em destilação de conhecimento cross-modal com auditabilidade ética, impulsionada pela observação de que IAs de classificação mineral podem tomar decisões tecnicamente corretas, mas eticamente ingênuas. O objetivo é desenvolver sistemas de IA que sejam precisos e eticamente robustos para missões de pesquisa geológica planetária.

Knowledge Distillation Autonomous systems machine learning Planetary Geology

RESEARCHarXiv CS.LG·08/04/2026

Prune-Quantize-Distill: An Ordered Pipeline for Efficient Neural Network Compression

Este artigo propõe um pipeline ordenado (poda, quantização INT8 e destilação de conhecimento) para otimizar a compressão de redes neurais, visando a latência de inferência medida em vez de métricas indiretas. A pesquisa revela que a quantização INT8 oferece o principal benefício de tempo de execução, enquanto a poda atua como um pré-condicionador e a destilação de conhecimento recupera a precisão.

Pruning Knowledge Distillation model efficiency Neural Network Compression

RESEARCHarXiv CS.CL·27d atrás

ReAD: Reinforcement-Guided Capability Distillation for Large Language Models

ReAD é uma nova estrutura para destilação de capacidades em Grandes Modelos de Linguagem (LLMs), que visa comprimir modelos preservando habilidades essenciais para tarefas específicas. A pesquisa aborda a interdependência entre capacidades, propondo um método guiado por reforço para otimizar o uso do orçamento de tokens.

Model Compression Knowledge Distillation LLMs reinforcement learning

ARTICLEDEV.to AI·27d atrás

Needle: Distilling Gemini Tool Calling into a 26M Model

Needle é um modelo de 26 milhões de parâmetros que destilou as capacidades de chamada de ferramentas do Gemini, alcançando precisão semelhante a custos computacionais reduzidos. Este avanço é crucial para desenvolvedores de agentes de IA e implantações em dispositivos de ponta.

AI models Knowledge Distillation tool-calling efficiency

RESEARCHarXiv CS.CL·13/04/2026

WAND: Windowed Attention and Knowledge Distillation for Efficient Autoregressive Text-to-Speech Models

WAND é uma estrutura que adapta modelos autoregressivos de texto para fala (AR-TTS) para operarem com complexidade computacional e de memória constante. Isso é alcançado através de atenção dividida (global e de janela deslizante) e destilação de conhecimento, preservando a qualidade enquanto reduz drasticamente o uso de memória.

Knowledge Distillation Autoregressive Text-to-Speech Attention Mechanism Computational Efficiency

RESEARCHarXiv CS.LG·07/05/2026

Continual Distillation of Teachers from Different Domains

Esta pesquisa introduz a Destilação Contínua (CD), um novo paradigma onde um modelo aluno aprende sequencialmente de um fluxo de modelos professores sem reter acesso aos anteriores. Aborda desafios como a transferência (UKT) e o esquecimento (UKF) de conhecimento não visto através da Destilação de Dados Externos Próprios (SE2D), que utiliza dados externos não rotulados para estabilizar a aprendizagem entre professores heterogêneos.

Knowledge Distillation deep learning learning Continual Learning

RESEARCHarXiv CS.CL·15d atrás

Knowledge Distillation for Low-Resource Open-source Text-to-SQL Model

Este artigo propõe uma estrutura Text-to-SQL consciente do conhecimento para converter perguntas de linguagem natural em consultas SQL, mesmo em cenários de poucos recursos. Ele aborda desafios como escassez de dados anotados e definições de esquema opacas, injetando conhecimento específico da tarefa no treinamento e inferência.

Knowledge Distillation Text-to-SQL Low-Resource AI natural language processing

RESEARCHarXiv CS.CL·06/04/2026

Reinforcement Learning-based Knowledge Distillation with LLM-as-a-Judge

Este artigo propõe uma estrutura de Reinforcement Learning (RL) que utiliza um LLM como juiz para gerar recompensas, permitindo a destilação de conhecimento sem a necessidade de rótulos de verdade fundamental. A abordagem demonstra ganhos substanciais de desempenho em benchmarks de raciocínio matemático, sugerindo que avaliadores baseados em LLM podem produzir sinais de treinamento eficazes.

language models Unlabeled Data Knowledge Distillation Math Reasoning

ARTICLEDEV.to AI·26/04/2026

Cross-Modal Knowledge Distillation for deep-sea exploration habitat design under multi-jurisdictional compliance

Este artigo explora a aplicação da Destilação de Conhecimento Cross-Modal (CMKD) para projetar habitats de exploração em alto mar. A técnica visa integrar dados caóticos de múltiplas fontes para atender a requisitos complexos de conformidade ambiental, estrutural e legal em diversas jurisdições.

multimodal AI Knowledge Distillation deep learning Deep-sea exploration