Llama.cpp (llama-server) ahora soporta procesamiento de audio con la funcionalidad Speech-to-Text (STT), integrando los modelos Gemma-4 E2A y E4A. Esta es una actualización significativa para la plataforma de inferencia de modelos de lenguaje.
Este artículo detalla la construcción de un asistente de IA de voz, que integra voz a texto (AssemblyAI) y un LLM local (Ollama) para la detección de intenciones. El sistema permite a los usuarios realizar acciones como crear archivos y generar código mediante comandos de voz.
El artículo describe la creación de VoiceForge AI, un asistente de codificación y gestor de archivos por voz alojado localmente, priorizando la privacidad y el costo. Detalla la arquitectura, modelos de IA locales como faster-whisper y las soluciones a desafíos de ingeniería como intenciones compuestas y ejecución segura.
Los modelos de voz de producción STT y TTS de Deepgram ya están disponibles de forma nativa en Together AI. Esta integración ofrece inferencia de modelo dedicada para el desarrollo de agentes de voz en tiempo real.