Ce contenu annonce l'exécution du modèle 1-bit Bonsai 1.7B (290MB) directement dans le navigateur, en utilisant la technologie WebGPU. Un lien vers la démonstration est fourni via Hugging Face Spaces, soulignant une innovation en ML côté client.
Captionly est un outil gratuit de sous-titrage vidéo, sans inscription ni téléchargement, fonctionnant entièrement dans le navigateur grâce à WebGPU, WebCodecs et Transformers.js. Cette approche assure la confidentialité, la rapidité et élimine le besoin de télécharger les vidéos sur des serveurs.
Un nouvel outil de contenu IA, 24U, fonctionne entièrement dans le navigateur, assurant la confidentialité des utilisateurs en traitant les données localement. Il utilise WebLLM et WebGPU pour une fonctionnalité hors ligne après un téléchargement unique d'environ 2 Go, générant 11 publications adaptées à diverses plateformes.
PrivaKit est un espace de travail IA basé sur le navigateur pour les données sensibles, effectuant toutes les inférences (OCR, transcription, traitement d'images) directement sur l'appareil via WebGPU/WASM. Il garantit la confidentialité en évitant le téléchargement de documents confidentiels vers des API cloud tierces, destiné aux professionnels du RH, juridique et finance.
Este estudo caracteriza a sobrecarga de despacho do WebGPU para inferência de LLM em diversas plataformas de GPU, backends e navegadores. Ele revela que benchmarks simples superestimam os custos e identifica o verdadeiro custo por despacho da API WebGPU, destacando a necessidade dessa distinção para otimizações eficazes.
WebGPU AI représente une avancée majeure pour l'apprentissage automatique basé sur navigateur, permettant aux développeurs d'exploiter la GPU d'un utilisateur directement dans un navigateur web pour des modèles d'IA/ML complexes. Cela offre des améliorations de performances substantielles, rendant possible le traitement en temps réel et l'analyse avancée tout en préservant la confidentialité des utilisateurs.