← heapsort-ai

local deployment

6 items

RESEARCHarXiv CS.LG·22d atrás

AgentStop: Terminating Local AI Agents Early to Save Energy in Consumer Devices

Este trabalho investiga o consumo de tempo, tokens e energia de agentes de IA baseados em LLMs implantados localmente em dispositivos de consumo. Ele revela que, embora os agentes locais resolvam problemas de privacidade e custo, seu raciocínio iterativo e uso de ferramentas aumentam substancialmente o consumo de recursos, resultando em maior drenagem de bateria e uso da GPU.

28
DOCDEV.to AI·16d atrás

로컬 LLM 셋업 가이드 (v12)

Este é um guia prático para a implantação de LLMs locais, detalhando os requisitos de hardware, sistemas operacionais e instalações de pré-requisitos. Ele compara frameworks como llama.cpp, Ollama e vLLM para diferentes necessidades de desenvolvimento e desempenho.

27
DOCDEV.to AI·16d atrás

로컬 LLM 셋업 가이드 (v10)

Este guia oferece passos práticos para configurar Grandes Modelos de Linguagem (LLMs) localmente em um sistema Linux, detalhando requisitos de hardware e benchmarks de desempenho. Ele compara frameworks como llama.cpp, Ollama, vLLM e LocalAI, recomendando llama.cpp com instruções de configuração para implantação de modelos.

27