Cross-Family Speculative Decoding for Polish Language Models on Apple~Silicon: An Empirical Evaluation of Bielik~11B with UAG-Extended MLX-LM

Esta pesquisa avalia a decodificação especulativa entre famílias para LLMs poloneses em Apple Silicon, estendendo o framework MLX-LM com Geração Assistida Universal (UAG) para compatibilidade entre tokenizadores. Os experimentos demonstram que a tradução de tokens ciente do contexto melhora significativamente as taxas de aceitação do Bielik 11B em conjuntos de dados em língua polonesa.