Dieser Inhalt kündigt die Ausführung des 1-Bit Bonsai 1.7B Modells (290MB) direkt im Browser unter Nutzung der WebGPU-Technologie an. Ein Link zur Demonstration wird über Hugging Face Spaces bereitgestellt und unterstreicht eine Innovation im Client-seitigen ML.
Ein Mitbegründer von Occupy Wall Street hat eine On-Device-KI-Anwendung entwickelt, die Aktivisten befähigen soll, die „Produktionsmittel der Berechnung zu ergreifen“. Diese Initiative zielt darauf ab, soziale Bewegungen durch zugängliche und dezentralisierte Technologie zu stärken.
Googles DeepMind Gemma 4 12B ist ein bemerkenswertes multimodales KI-Modell, das für die lokale Ausführung auf Geräten konzipiert wurde und die Lücke für KI auf Laptops schließt. Es unterstützt Texteingabe, Bilder und native Audioeingabe, was die lokale Experimentierung und On-Device-Workflows für Entwickler vereinfacht.
Dieser Artikel beschreibt die Architektur von Tian AI, einem selbstentwickelnden Open-Source-KI-System, das vollständig auf Android-Geräten ohne Cloud-Anbindung läuft. Er hebt eine Designphilosophie hervor, die ein kleines Modell, eine gute Architektur und eine lokale Wissensbasis für überlegene Leistung kombiniert.
Gemma 4 stellt eine bedeutende Verschiebung hin zu leistungsstarker KI dar, die lokal auf verschiedenen Geräten ausgeführt werden kann und Cloud-abhängige Modelle überwindet. Dies verbessert Zugänglichkeit, Datenschutz und Entwicklerkontrolle, indem es On-Device-Berechnungen, geringere Latenz und größere Anpassungsfreiheit ermöglicht.
Apple hat den M4 Ultra Chip vorgestellt, der für Edge-KI-Berechnungen entwickelt wurde und über eine 200 TOPS NPU sowie eine intelligente Speicherpool-Technologie verfügt. Dieser Chip ermöglicht die lokale Ausführung von großen Sprachmodellen mit 70 Milliarden Parametern und bietet Datenschutz, geringe Latenz und Kosteneinsparungen.
Dieser Artikel untersucht die Machbarkeit und Herausforderungen, LLMs lokal auf Smartphones auszuführen, unter Verwendung von Google Gemma und LiteRT-LM innerhalb einer Flutter-App. Er beleuchtet die Kompromisse bei Modellformat, Laufzeit und Leistung für die On-Device-Inferenz und betont den Wandel von „ob es geht“ zu „wie es umgesetzt wird“.
Mano-P, ein reiner Vision-GUI-Agent, wurde unter Apache 2.0 quelloffen veröffentlicht und zeichnet sich dadurch aus, dass er ausschließlich über Screenshots mit Computerbildschirmen interagiert. Es erzielt Spitzenleistungen bei OSWorld-Benchmarks, legt Wert auf Datenschutz durch On-Device-Ausführung und ist somit ein grundlegendes Werkzeug für die Entwicklung personalisierter KI.
HUOZIIME ist ein innovativer, LLM-gestützter Eingabemethoden-Editor (IME) für Mobilgeräte, der eine tiefe, echtzeitnahe Personalisierung anstrebt. Er nutzt ein nachtrainiertes Basis-LLM und einen hierarchischen Speichermechanismus, um benutzerspezifische Historie zu erfassen, wodurch ein effizienter und privater Betrieb unter mobilen Einschränkungen sichergestellt wird.
Googles Gemma 4 Ankündigung markiert einen fundamentalen architektonischen Wandel hin zu On-Device-KI, der dezentrales, lokales Computing gegenüber zentralisierter Cloud-Inferenz priorisiert. Dies kehrt den traditionellen Ansatz der Modellskalierung um und konzentriert sich nun auf die Effizienzbeschränkungen von Endgeräten wie Smartphones.
Die Google AI Edge Gallery hat das Model Context Protocol (MCP) eingeführt, das es On-Device-KI ermöglicht, mit externen Systemen zu interagieren, ohne über einen Server geleitet zu werden. Dies löst die grundlegende Spannung der Edge-KI und verbessert Nutzen, Datenschutz und Latenz.
Die persönliche KI-Revolution beginnt und ermöglicht es großen Sprachmodellen (LLMs), direkt auf PCs zu laufen, wodurch die Cloud nicht mehr benötigt wird. Dieser Wandel bietet beispiellose Privatsphäre, größere Kontrolle und Offline-Fähigkeit, was die Interaktion mit künstlicher Intelligenz grundlegend neu definiert.
Dieser Inhalt untersucht, wie Google die künstliche Intelligenz auf Geräten mit seinen AI Edge- und Gemma-Technologien vorantreibt. Er betont die Leistungsfähigkeit, KI direkt auf die Hardware der Benutzer zu bringen.
Der Artikel untersucht den Übergang der KI, die früher hauptsächlich in Browsern und der Cloud existierte, hin zur Bereitstellung auf gewöhnlicher Hardware. Diese Verschiebung, veranschaulicht durch Modelle wie Gemma 4, wird als bedeutendere Entwicklung hervorgehoben als das bloße Rennen um Leistungsbenchmarks.
Der Autor entwickelte das Gemini Nano Book Lab, eine Chrome-Erweiterung, die die Prompt API nutzt, um mit einem On-Device-Sprachmodell über eine lange Memoiren zu interagieren. Das Experiment untersucht das Verhalten des Modells, die Abrufkosten und die Grenzen der API bei der Verarbeitung großer Textmengen.
Eine neue Studie stellt Micro Language Models (μLMs) vor, ultrakompakte Modelle (8M–30M Parameter), die große Modellqualität auf Geräten liefern. Dieser Ansatz löst das Dilemma zwischen sofortiger erster Antwort und vollständiger, durchdachter Antwort bei Edge-Assistenten, indem Antworten lokal begonnen und die Latenz durch Cloud-Modelle reduziert werden.
Diese Forschung stellt die Annahme in Frage, dass PEFT gleich Speichereffizienz für On-Device-LLMs ist, und zeigt, dass bestehende Methoden zu Out-of-Memory-Fehlern führen können. Sie stellt LARS vor, ein neues Framework, das den Speicherverbrauch von der Sequenzlänge entkoppelt, indem es den Aktivierungsunterraum einschränkt, und den Speicherbedarf um durchschnittlich 33,54% reduziert.
Der Artikel beschreibt, wie man eine kostenlose KI-Funktion in Flutter-Apps erstellt, indem man On-Device-Inferenz mit Gemma 4 und Cloud-Synchronisierung mit Firebase kombiniert. Dieser Ansatz eliminiert API-Gebühren und Serverkosten, sodass KI-gestützte Apps ohne Ressourcenverbrauch skalieren können.
PrivaKit ist ein browserbasierter KI-Arbeitsbereich, der für sensible Daten entwickelt wurde und sämtliche Inferenz (OCR, Transkription, Bildverarbeitung) strikt geräteintern mittels WebGPU/WASM durchführt. Es eliminiert die Notwendigkeit, vertrauliche Dokumente oder Aufzeichnungen auf Drittanbieter-Cloud-APIs hochzuladen, was die Privatsphäre für Fachleute in Bereichen wie Personalwesen, Recht und Finanzen gewährleistet.
Tian AI entwickelte eine lokale Wissensbasis mit Millionen von Einträgen, gespeichert in einer einzigen SQLite-Datei und in Millisekunden durchsuchbar, um kleinere LLMs auf Telefonen zu erweitern. Dieses System nutzt einen KnowledgeRetriever, um Anfragen direkt zu beantworten oder relevanten Kontext in den LLM-Prompt einzufügen und so erweiterte Antworten zu generieren.