Este contenido anuncia la ejecución del modelo 1-bit Bonsai 1.7B (290MB) directamente en el navegador, utilizando la tecnología WebGPU. Se proporciona un enlace a la demostración en Hugging Face Spaces, destacando una innovación en el ML del lado del cliente.
Un cofundador de Occupy Wall Street ha desarrollado una aplicación de IA que funciona en el dispositivo, con el objetivo de equipar a los activistas con herramientas para 'apoderarse de los medios de computación'. Esta iniciativa busca empoderar a los movimientos sociales a través de tecnología accesible y descentralizada.
El Gemma 4 12B de Google DeepMind es un modelo multimodal de IA importante, diseñado para ejecución local y en dispositivos, reduciendo la brecha para la IA en laptops. Soporta entrada de texto, imágenes y audio nativo, facilitando la experimentación y los flujos de trabajo en el dispositivo para desarrolladores.
Este artículo detalla la arquitectura de Tian AI, un sistema de IA auto-evolutivo de código abierto que funciona completamente en dispositivos Android sin depender de la nube. Destaca una filosofía de diseño que combina un modelo pequeño, buena arquitectura y una base de conocimiento local para un rendimiento superior.
Gemma 4 representa un cambio significativo hacia la IA de alto rendimiento que puede ejecutarse localmente en diversos dispositivos, superando los modelos dependientes de la nube. Esto mejora la accesibilidad, la privacidad y el control del desarrollador al permitir la computación en el dispositivo, menor latencia y mayor personalización.
Apple lanzó el chip M4 Ultra, diseñado para la computación de IA en el borde, con una NPU de 200 TOPS y tecnología de grupo de memoria inteligente. Este chip permite la ejecución local de grandes modelos de lenguaje de 70B parámetros, ofreciendo privacidad, baja latencia y ahorro de costos.
Este artículo explora la viabilidad y los desafíos de ejecutar LLMs localmente en smartphones, utilizando Google Gemma y LiteRT-LM en una aplicación Flutter. Se centra en las compensaciones del formato del modelo, el tiempo de ejecución y el rendimiento para la inferencia en el dispositivo, destacando la evolución de la pregunta de 'si se puede hacer' a 'cómo se hace'.
Mano-P, un agente GUI de visión pura, ha sido lanzado como código abierto bajo Apache 2.0, destacándose por interactuar con pantallas de ordenador únicamente a través de capturas de pantalla. Presume de un rendimiento superior en los benchmarks de OSWorld y prioriza la privacidad al ejecutarse en el dispositivo, sirviendo como base para el desarrollo de IA personalizada.
HUOZIIME es un método de entrada (IME) innovador mejorado con LLM, diseñado para dispositivos móviles, que busca una personalización profunda y en tiempo real. Utiliza un LLM base post-entrenado y un mecanismo de memoria jerárquica para capturar el historial del usuario, garantizando un funcionamiento eficiente y privado bajo las limitaciones de los dispositivos móviles.
El anuncio de Gemma 4 de Google indica un cambio arquitectónico fundamental hacia la IA en el dispositivo, priorizando la computación distribuida y local sobre la inferencia centralizada en la nube. Esto invierte el enfoque tradicional de escalar modelos, centrándose ahora en las limitaciones de eficiencia de los dispositivos de consumo como los smartphones.
Google AI Edge Gallery ha introducido el Protocolo de Contexto de Modelo (MCP), que permite a la IA en el dispositivo interactuar con sistemas externos sin enrutamiento a través de un servidor. Esto resuelve la tensión fundamental de la IA de borde, mejorando la utilidad, la privacidad y la latencia.
La revolución de la IA personal está comenzando, permitiendo que grandes modelos de lenguaje (LLMs) se ejecuten directamente en ordenadores personales, eliminando la necesidad de la nube. Esto ofrece una privacidad sin precedentes, mayor control y capacidad sin conexión, redefiniendo fundamentalmente la interacción con la inteligencia artificial.
Este contenido explora cómo Google está avanzando en la inteligencia artificial en dispositivos con sus tecnologías AI Edge y Gemma. Destaca el poder de llevar la IA directamente al hardware del usuario.
El artículo explora la transición de la IA, que antes residía principalmente en navegadores y la nube, a ser desplegable en hardware común. Este cambio, ejemplificado por modelos como Gemma 4, se destaca como un desarrollo más significativo que la mera carrera por los puntos de referencia de rendimiento.
El autor creó Gemini Nano Book Lab, una extensión de Chrome que utiliza la API de Prompt para interactuar con un modelo de lenguaje en el dispositivo sobre un libro extenso. El experimento explora el comportamiento del modelo, los costos de recuperación y los límites de la API al procesar grandes volúmenes de texto.
Un nuevo estudio presenta los Micro Language Models (μLMs), modelos ultracompactos (8M–30M parámetros) que ofrecen la calidad de modelos grandes en dispositivos. Este enfoque resuelve el dilema entre respuestas rápidas y completas en asistentes de borde, al iniciar las respuestas localmente y reducir la latencia de los modelos en la nube.
Este trabajo desafía la creencia de que PEFT equivale a eficiencia de memoria para LLMs en dispositivos, mostrando que los métodos actuales pueden causar errores por falta de memoria. Introduce LARS, un nuevo marco que desvincula el consumo de memoria de la longitud de la secuencia al restringir el subespacio de activación, reduciendo la huella de memoria en un 33,54% en promedio.
El artículo describe cómo construir una característica de IA de costo cero en aplicaciones Flutter combinando inferencia en el dispositivo con Gemma 4 y sincronización en la nube con Firebase. Este enfoque elimina las tarifas de API y los costos de servidor, permitiendo que las aplicaciones con IA escalen sin agotar recursos.
PrivaKit es un espacio de trabajo de IA en el navegador que procesa datos sensibles localmente, sin subirlos a la nube, utilizando WebGPU/WASM. Permite OCR, transcripción y procesamiento de imágenes directamente en el dispositivo, garantizando la privacidad para profesionales de RRHH, legal y finanzas.
Tian AI desarrolló una base de conocimientos local de millones de entradas, almacenada en un solo archivo SQLite y buscable en milisegundos, para aumentar los LLM más pequeños en teléfonos. Este sistema utiliza un KnowledgeRetriever para responder directamente a consultas o inyectar contexto relevante en el prompt del LLM para respuestas aumentadas.