EchoDistill:Alignment Noisy-to-Clean Self-Distillation for Robust Audio LLMs

EchoDistill es un marco de autodestilación basado en alineación diseñado para hacer que los Modelos de Lenguaje Grandes de Audio (ALLMs) sean robustos al ruido del mundo real. Utiliza un profesor de audio limpio para guiar a un estudiante de audio ruidoso en tiempo de inferencia, optimizando las respuestas mediante la optimización de políticas relativas a grupos y la consistencia a nivel de token.