O Google lançou a Prompt API no Chrome 148, permitindo inferência de IA local com o Gemini Nano diretamente nos dispositivos dos usuários, apesar da forte oposição de Mozilla, Apple e W3C. Essa funcionalidade oferece IA sem custos de servidor, latência ou saída de dados do dispositivo, consolidando a vitória do Google nesta
O autor criou o Gemini Nano Book Lab, uma extensão do Chrome que usa a Prompt API para interagir com um modelo de linguagem on-device sobre um livro longo. O experimento explora o comportamento do modelo, custos de recuperação e os limites da API ao processar grandes volumes de texto.
Google Chrome pode estar usando mais armazenamento do que o esperado devido a um arquivo de modelo de IA grande (4GB) que é baixado automaticamente. Este arquivo weights.bin está ligado ao modelo Gemini Nano, que alimenta recursos de IA do Chrome, como detecção de golpes e assistência de escrita.