← heapsort-ai

local deployment

6 items

RESEARCHarXiv CS.LG·hace 22d

AgentStop: Terminating Local AI Agents Early to Save Energy in Consumer Devices

Este trabajo investiga el consumo de tiempo, tokens y energía de los agentes de IA basados en LLM implementados localmente en dispositivos de consumo. Revela que, si bien los agentes locales abordan problemas de privacidad y costo, su razonamiento iterativo y el uso de herramientas aumentan sustancialmente el consumo de recursos, lo que resulta en un mayor consumo de GPU y agotamiento de la batería.

28
DOCDEV.to AI·hace 16d

로컬 LLM 셋업 가이드 (v10)

Esta guía proporciona pasos prácticos para configurar Modelos de Lenguaje Grandes (LLMs) localmente en un sistema Linux, detallando los requisitos de hardware y los puntos de referencia de rendimiento. Compara frameworks como llama.cpp, Ollama, vLLM y LocalAI, recomendando llama.cpp con instrucciones de configuración para el despliegue de modelos.

27