Micro LM delivers large‑model quality on device

Une nouvelle étude présente les Micro Language Models (μLMs), des modèles ultra-compacts (8M–30M paramètres) qui offrent la qualité des grands modèles sur les appareils. Cette approche résout le dilemme entre des premiers mots réactifs et des réponses complètes pour les assistants de périphérie, en amorçant les réponses localement et en réduisant la latence des modèles cloud.