Llama.cpp (llama-server) unterstützt nun offiziell Speech-to-Text (STT)-Funktionen durch die Integration der Gemma-4 E2A- und E4A-Modelle. Dieses Update bringt fortschrittliche Audioverarbeitung auf die beliebte Open-Source-Plattform für KI-Inferenz.
Dieser Artikel beschreibt den Bau eines Voice AI Assistenten, der Spracherkennung (AssemblyAI) und ein lokales LLM (Ollama) zur Absichtserkennung integriert. Das System ermöglicht Benutzern, Aktionen wie das Erstellen von Dateien und das Generieren von Code mittels Sprachbefehlen auszuführen.
Der Artikel beschreibt die Entwicklung von VoiceForge AI, einem lokal gehosteten, sprachgesteuerten Code-Assistenten und Dateimanager, der Datenschutz und Kosteneffizienz hervorhebt. Er beleuchtet die Architektur, lokale KI-Modelle wie faster-whisper und Lösungen für technische Herausforderungen wie zusammengesetzte Absichten und sichere Ausführung.
Deepgrams produktionsreife Sprach-zu-Text (STT) und Text-zu-Sprache (TTS) Modelle sind ab sofort nativ auf Together AI verfügbar. Diese Integration ermöglicht eine dedizierte Modellinferenz zur Entwicklung von Echtzeit-Sprachagenten.