Ein alleiniger Gründer und Forscher hat INT3-Modellkomprimierung und einen 2-Bit-KV-Cache mit kundenspezifischen, fusionierten Metal-Kernels für Mac (M-Serie) entwickelt. Qwen 7B ist als Vorschau verfügbar, und weitere Optimierungen sowie GPU-Unterstützung sind geplant.
Der Autor teilt eine erfolgreiche Optimierung zum Betrieb des Qwen3.5-35B-A3B-UD-Q4_K_L Modells auf einer RTX 4060 Ti 16GB mittels llama.cpp, wodurch 40-60 Token/s bei 64k Kontext erreicht werden. Der Beitrag liefert die detaillierte `models.ini`-Konfiguration und den Serverstartbefehl, um diese Leistung zu reproduzieren.
Ein Transformer-Sprachmodell (TinyStories-260K) wurde erfolgreich lokal auf einem handelsüblichen Game Boy Color ausgeführt, unter Verwendung von INT8-Gewichten und Festkomma-Arithmetik. Diese beeindruckende technische Leistung umfasste ein benutzerdefiniertes ROM und die Tokenisierung auf dem Gerät, trotz extrem langsamer Leistung und unsinniger Ausgabe.
OpenBMB stellte das BitCPM-CANN 1.58 Bit Modell vor. Neue Modelle werden auf dem Huawei Ascend 910B getestet.
Demonstration des Gemma 4 VLA-Modells, das auf dem Jetson Orin Nano Super Gerät läuft.
Dieser Artikel beleuchtet die Entwicklung der Deep-Learning-Implementierung auf FPGAs, einschließlich ihrer historischen Entwicklung, ihres aktuellen Zustands und zukünftiger Richtungen. Er unterstreicht zudem die entscheidende Bedeutung der Hardwarebeschleunigung für den Fortschritt der künstlichen Intelligenz.
Diese Übersichtsstudie untersucht verschiedene Techniken und Methoden zur Beschleunigung der Inferenz von Convolutional Neural Networks (CNNs) speziell auf FPGAs. Sie bietet einen Überblick über bestehende Forschung und architektonische Ansätze zur Verbesserung der Leistung und Effizienz von CNN-Implementierungen auf Hardware.