Local LLM with Google Gemma: On-Device Inference Between Theory and Practice

Este artículo explora la viabilidad y los desafíos de ejecutar LLMs localmente en smartphones, utilizando Google Gemma y LiteRT-LM en una aplicación Flutter. Se centra en las compensaciones del formato del modelo, el tiempo de ejecución y el rendimiento para la inferencia en el dispositivo, destacando la evolución de la pregunta de 'si se puede hacer' a 'cómo se hace'.