Local LLM with Google Gemma: On-Device Inference Between Theory and Practice

Cet article explore la faisabilité et les défis de l'exécution de LLM localement sur smartphones, en utilisant Google Gemma et LiteRT-LM dans une application Flutter. Il se concentre sur les compromis en matière de format de modèle, de temps d'exécution et de performances pour l'inférence sur l'appareil, soulignant le passage de la question 'si cela peut être fait' à 'comment cela est fait'.