Este contenido anuncia la ejecución del modelo 1-bit Bonsai 1.7B (290MB) directamente en el navegador, utilizando la tecnología WebGPU. Se proporciona un enlace a la demostración en Hugging Face Spaces, destacando una innovación en el ML del lado del cliente.
Captionly es una herramienta gratuita y sin registro para subtítulos de video que se ejecuta completamente en el navegador utilizando WebGPU, WebCodecs y Transformers.js. Esto permite un procesamiento local que garantiza privacidad, velocidad y elimina la necesidad de subir videos a servidores.
Se ha creado una herramienta de IA para contenido, 24U, que funciona completamente en el navegador, priorizando la privacidad del usuario al no enviar datos a servidores. Utiliza WebLLM y WebGPU para operar sin conexión tras una descarga inicial de ~2GB, generando 11 publicaciones adaptadas a diferentes plataformas.
PrivaKit es un espacio de trabajo de IA en el navegador que procesa datos sensibles localmente, sin subirlos a la nube, utilizando WebGPU/WASM. Permite OCR, transcripción y procesamiento de imágenes directamente en el dispositivo, garantizando la privacidad para profesionales de RRHH, legal y finanzas.
Este estudo caracteriza a sobrecarga de despacho do WebGPU para inferência de LLM em diversas plataformas de GPU, backends e navegadores. Ele revela que benchmarks simples superestimam os custos e identifica o verdadeiro custo por despacho da API WebGPU, destacando a necessidade dessa distinção para otimizações eficazes.
WebGPU AI marca un avance significativo en el aprendizaje automático basado en navegador, permitiendo a los desarrolladores aprovechar la GPU de un usuario directamente en el navegador para modelos complejos de IA/ML. Esto ofrece mejoras sustanciales de rendimiento, facilitando el procesamiento en tiempo real y análisis avanzados con privacidad.