Local LLM with Google Gemma: On-Device Inference Between Theory and Practice

Este artigo explora a viabilidade e os desafios da execução de LLMs localmente em smartphones, utilizando Google Gemma e LiteRT-LM em um aplicativo Flutter. Ele foca nas compensações de formato de modelo, tempo de execução e desempenho na inferência on-device, destacando a evolução da pergunta de 'se pode ser feito' para 'como é feito'.