EchoDistill:Alignment Noisy-to-Clean Self-Distillation for Robust Audio LLMs

EchoDistill é uma estrutura de autodisdistilação alinhada que torna os Modelos de Linguagem Grandes de Áudio (ALLMs) mais robustos ao ruído. Ele utiliza um professor de áudio limpo para orientar um aluno de áudio ruidoso, otimizando as respostas através de otimização de política relativa a grupos e consistência em nível de token.