Dieser Inhalt kündigt die Ausführung des 1-Bit Bonsai 1.7B Modells (290MB) direkt im Browser unter Nutzung der WebGPU-Technologie an. Ein Link zur Demonstration wird über Hugging Face Spaces bereitgestellt und unterstreicht eine Innovation im Client-seitigen ML.
Captionly ist ein kostenloses Video-Untertitelungstool ohne Registrierung oder Upload, das vollständig im Browser mithilfe von WebGPU, WebCodecs und Transformers.js läuft. Dieser Ansatz gewährleistet Datenschutz und Geschwindigkeit, da keine Videos auf Server hochgeladen werden müssen.
Ein neues KI-Content-Tool, 24U, läuft vollständig im Browser und gewährleistet die Privatsphäre der Nutzer, indem es Daten lokal verarbeitet. Es nutzt WebLLM und WebGPU für Offline-Funktionalität nach einem einmaligen Download von ca. 2 GB und erstellt 11 plattformgerechte Posts aus beliebigen Eingaben.
PrivaKit ist ein browserbasierter KI-Arbeitsbereich, der für sensible Daten entwickelt wurde und sämtliche Inferenz (OCR, Transkription, Bildverarbeitung) strikt geräteintern mittels WebGPU/WASM durchführt. Es eliminiert die Notwendigkeit, vertrauliche Dokumente oder Aufzeichnungen auf Drittanbieter-Cloud-APIs hochzuladen, was die Privatsphäre für Fachleute in Bereichen wie Personalwesen, Recht und Finanzen gewährleistet.
Este estudo caracteriza a sobrecarga de despacho do WebGPU para inferência de LLM em diversas plataformas de GPU, backends e navegadores. Ele revela que benchmarks simples superestimam os custos e identifica o verdadeiro custo por despacho da API WebGPU, destacando a necessidade dessa distinção para otimizações eficazes.
WebGPU AI stellt einen bedeutenden Fortschritt im browserbasierten maschinellen Lernen dar, indem es Entwicklern ermöglicht, die GPU eines Benutzers direkt im Webbrowser für komplexe KI/ML-Modelle zu nutzen. Dies führt zu erheblichen Leistungsverbesserungen und ermöglicht Echtzeitverarbeitung sowie fortgeschrittene Analysen bei gleichzeitigem Schutz der Benutzerdaten.