Google a lancé l'API Prompt dans Chrome 148, permettant l'inférence d'IA locale avec Gemini Nano directement sur les appareils des utilisateurs, malgré une forte opposition de Mozilla, Apple et du W3C. Cette fonctionnalité offre une IA sans coûts de serveur, latence ou sortie de données du device, consolidant la victoire de Google dans cette
L'auteur a développé Gemini Nano Book Lab, une extension Chrome utilisant l'API Prompt pour interagir avec un modèle de langage embarqué sur un long mémoire. L'expérience étudie le comportement du modèle, les coûts de récupération et les limites de l'API lors du traitement de volumes de texte importants.
Google Chrome pourrait consommer jusqu'à 4 Go de stockage sur votre ordinateur en raison d'un fichier de modèle d'IA intégré automatiquement téléchargé. Ce fichier weights.bin est lié au modèle Gemini Nano de Google, qui alimente les fonctionnalités d'IA de Chrome comme la détection d'escroqueries et l'aide à l'écriture.