Ce contenu annonce l'exécution du modèle 1-bit Bonsai 1.7B (290MB) directement dans le navigateur, en utilisant la technologie WebGPU. Un lien vers la démonstration est fourni via Hugging Face Spaces, soulignant une innovation en ML côté client.
Un cofondateur d'Occupy Wall Street a développé une application d'IA embarquée, visant à doter les activistes d'outils pour « s'emparer des moyens de calcul ». Cette initiative cherche à autonomiser les mouvements sociaux grâce à une technologie accessible et décentralisée.
Cet article détaille l'architecture de Tian AI, un système d'IA auto-évolutif et open-source fonctionnant entièrement sur Android sans dépendre du cloud. Il met en avant une philosophie de conception privilégiant un petit modèle, une bonne architecture et une base de connaissances locale pour de meilleures performances.
Gemma 4 marque un changement significatif vers l'IA haute performance capable de fonctionner localement sur divers appareils, allant au-delà des modèles dépendants du cloud. Cela améliore l'accessibilité, la confidentialité et le contrôle des développeurs en permettant le calcul sur l'appareil, une latence réduite et une personnalisation accrue.
Apple a lancé la puce M4 Ultra, conçue pour le calcul d'IA en périphérie, dotée d'un NPU de 200 TOPS et d'une technologie de pool de mémoire intelligente. Cette puce permet l'exécution locale de grands modèles de langage de 70 milliards de paramètres, offrant confidentialité, faible latence et économies.
Le Gemma 4 12B de Google DeepMind est un modèle d'IA multimodal remarquable, conçu pour une exécution locale et sur appareil, réduisant l'écart pour l'IA sur ordinateur portable. Il prend en charge l'entrée de texte, d'images et d'audio natif, simplifiant l'expérimentation et les flux de travail sur appareil pour les développeurs.
Cet article explore la faisabilité et les défis de l'exécution de LLM localement sur smartphones, en utilisant Google Gemma et LiteRT-LM dans une application Flutter. Il se concentre sur les compromis en matière de format de modèle, de temps d'exécution et de performances pour l'inférence sur l'appareil, soulignant le passage de la question 'si cela peut être fait' à 'comment cela est fait'.
Mano-P, un agent GUI purement visuel, a été mis en open source sous la licence Apache 2.0, se distinguant par son interaction avec les écrans d'ordinateur uniquement via des captures d'écran. Il affiche des performances de pointe sur les benchmarks OSWorld et privilégie la confidentialité en s'exécutant sur l'appareil, servant de base pour l'IA personnalisée.
HUOZIIME est une méthode de saisie (IME) innovante, améliorée par LLM, conçue pour les appareils mobiles, visant une personnalisation profonde et en temps réel. Il utilise un LLM de base post-entraîné et un mécanisme de mémoire hiérarchique pour capturer l'historique de l'utilisateur, assurant un fonctionnement efficace et privé sous les contraintes mobiles.
L'annonce de Gemma 4 par Google signale un changement architectural fondamental vers l'IA embarquée, priorisant le calcul distribué et local plutôt que l'inférence centralisée dans le cloud. Cela inverse l'approche traditionnelle de mise à l'échelle des modèles, en se concentrant désormais sur les contraintes d'efficacité des appareils grand public comme les smartphones.
Google AI Edge Gallery a introduit le Protocole de Contexte de Modèle (MCP), permettant à l'IA embarquée d'interagir avec des systèmes externes sans routage via un serveur. Cela résout la tension fondamentale de l'IA de périphérie, améliorant l'utilité, la confidentialité et la latence.
La révolution de l'IA personnelle est en marche, permettant l'exécution de grands modèles de langage (LLMs) directement sur des ordinateurs personnels, éliminant le besoin du cloud. Ce changement offre une confidentialité inégalée, un contrôle accru et une capacité hors ligne, redéfinissant fondamentalement l'interaction avec l'intelligence artificielle.
Ce contenu explore comment Google fait progresser l'intelligence artificielle sur les appareils avec ses technologies AI Edge et Gemma. Il met en évidence la puissance d'apporter l'IA directement au matériel de l'utilisateur.
L'article explore la transition de l'IA, qui résidait principalement dans les navigateurs et le cloud, vers un déploiement sur du matériel ordinaire. Ce changement, illustré par des modèles comme Gemma 4, est présenté comme un développement plus significatif que la simple course aux performances.
L'auteur a développé Gemini Nano Book Lab, une extension Chrome utilisant l'API Prompt pour interagir avec un modèle de langage embarqué sur un long mémoire. L'expérience étudie le comportement du modèle, les coûts de récupération et les limites de l'API lors du traitement de volumes de texte importants.
Une nouvelle étude présente les Micro Language Models (μLMs), des modèles ultra-compacts (8M–30M paramètres) qui offrent la qualité des grands modèles sur les appareils. Cette approche résout le dilemme entre des premiers mots réactifs et des réponses complètes pour les assistants de périphérie, en amorçant les réponses localement et en réduisant la latence des modèles cloud.
Cette recherche remet en question l'hypothèse selon laquelle la PEFT équivaut à l'efficacité de la mémoire pour les LLM sur appareil, montrant que les méthodes existantes peuvent toujours provoquer des erreurs de mémoire insuffisante. Elle introduit LARS, un nouveau cadre qui découple la consommation de mémoire de la longueur de séquence en contraignant le sous-espace d'activation, réduisant l'empreinte mémoire de 33,54% en moyenne.
L'article explique comment créer une fonctionnalité d'IA à coût zéro dans les applications Flutter en combinant l'inférence sur l'appareil avec Gemma 4 et la synchronisation cloud avec Firebase. Cette approche élimine les frais d'API et les coûts de serveur, permettant aux applications basées sur l'IA de s'adapter sans épuiser les ressources.
PrivaKit est un espace de travail IA basé sur le navigateur pour les données sensibles, effectuant toutes les inférences (OCR, transcription, traitement d'images) directement sur l'appareil via WebGPU/WASM. Il garantit la confidentialité en évitant le téléchargement de documents confidentiels vers des API cloud tierces, destiné aux professionnels du RH, juridique et finance.
Tian AI a développé une base de connaissances locale de millions d'entrées, stockée dans un seul fichier SQLite et interrogeable en millisecondes, pour augmenter les LLM plus petits sur les téléphones. Ce système utilise un KnowledgeRetriever pour répondre directement aux requêtes ou injecter un contexte pertinent dans l'invite du LLM pour des réponses augmentées.