Diese Arbeit untersucht den Zeit-, Token- und Energieaufwand von lokal auf Consumer-Hardware eingesetzten LLM-basierten KI-Agenten. Es zeigt sich, dass, obwohl lokale Agenten Datenschutz- und Kostenbedenken adressieren, ihre iterative Argumentation und Tool-Nutzung den Ressourcenverbrauch erheblich steigern, was zu höherem GPU-Stromverbrauch und Batterieentladung führt.
Dieser Kurs behandelt die Programmiergrundlagen für den Betrieb von Großen Sprachmodellen (LLMs) sowohl lokal als auch in der Cloud. Er ist darauf ausgelegt, die Implementierung und Verwaltung von LLMs in verschiedenen Betriebsumgebungen zu vermitteln.
Dies ist ein praktischer Leitfaden für die Bereitstellung lokaler LLMs, der Hardware-, Betriebssystem- und Installationsvoraussetzungen detailliert beschreibt. Er vergleicht Frameworks wie llama.cpp, Ollama und vLLM für unterschiedliche Entwicklungs- und Leistungsanforderungen.
Googles Gemma 4, 2026 unter einer Apache 2.0 Lizenz veröffentlicht, wird als das entwicklerfreundlichste offene Modell gefeiert. Es läuft lokal und kann API-Aufrufe ersetzen, obwohl es bei agentischem Einsatz einige JSON-Tool-Call-Formatierungsfehler aufweist.
Dieser Leitfaden bietet praktische Schritte zur lokalen Einrichtung von Großen Sprachmodellen (LLMs) auf einem Linux-System, einschließlich Hardwareanforderungen und Leistungsbenchmarks. Er vergleicht Frameworks wie llama.cpp, Ollama, vLLM und LocalAI und empfiehlt llama.cpp mit Einrichtungsanweisungen für die Modellbereitstellung.
Dieser anfängerfreundliche Leitfaden zeigt, wie das KI-Tool OpenClaw sicher lokal unter Windows mithilfe der Windows Sandbox ausgeführt wird. Er beschreibt gängige Sicherheitsrisiken und Isolationsoptionen und bietet Schritte zur Einrichtung und Fehlerbehebung der Sandbox.