← heapsort-ai

self-hosting

35 items

ARTICLEDEV.to AI·vor 3T

<think>

Dieser Artikel vergleicht Open-Source-KI-APIs mit dem Selbst-Hosting von Modellen für kleine Datenwissenschaftspraxen, wobei der Schwerpunkt auf Kosten und Praktikabilität liegt. Er bietet die Perspektive eines Datenwissenschaftlers bei der Wahl des optimalen Ansatzes.

30
DOCDEV.to AI·vor 4T

How to Deploy Llama 2 on DigitalOcean for $5/Month

Diese Anleitung beschreibt, wie Llama 2 auf einem DigitalOcean Droplet für 5 $/Monat selbst gehostet werden kann, was eine kostengünstige KI-Inferenz für über 50 API-Anfragen pro Tag mit Reaktionszeiten unter einer Sekunde ermöglicht. Sie behandelt die produktionsreife Bereitstellung mit Quantisierung, Caching und Überwachung und bietet eine günstigere Alternative zu teuren KI-APIs.

28
ARTICLEDEV.to AI·5/4/2026

BizNode captures every interaction into a PostgreSQL CRM — leads, conversations, emails, all searchable and exportable

BizNode ist ein autonomer KI-Geschäftsoperator, der vollständig auf Ihrer Maschine läuft und volle Kontrolle über die Geschäftsautomatisierung ohne Cloud-Abonnements oder monatliche Gebühren bietet. Es erfasst alle Interaktionen in einem privaten, durchsuchbaren und exportierbaren PostgreSQL-CRM, stellt sicher, dass Daten niemals Ihr Gerät verlassen und wird von lokaler KI angetrieben.

28
ARTICLEDEV.to AI·5/11/2026

BizNode Basic ($200) vs Pro ($499): both run on your hardware with zero recurring costs. One-time purchase, lifetime ownership

BizNode bietet eine autonome, selbstgehostete KI-Geschäftslösung für Entwickler und Unternehmer, die wiederkehrende Kosten und Herstellerbindung eliminiert. Mit den Stufen Basic (200 $) und Pro (499 $) ermöglicht es die volle Kontrolle über KI-gesteuerte Abläufe, von der Lead-Erfassung bis zum Kundenmanagement.

28
DOCDEV.to AI·vor 5T

How to Deploy Llama 2 on DigitalOcean for $5/Month: Complete Self-Hosting Guide

Dieser Leitfaden beschreibt, wie Llama 2 für die Inferenz auf DigitalOcean für nur 5 $ pro Monat selbst gehostet werden kann, was eine kostengünstige Alternative zu teuren KI-API-Diensten darstellt. Er beschreibt eine vollständige Einrichtung zur Bereitstellung eines voll funktionsfähigen LLM-Inferenzservers, einschließlich realer Benchmarks und Kostenaufschlüsselungen.

28
DOCDEV.to AI·4/26/2026

How to Deploy Llama 3.2 70B with Ollama on a $18/Month DigitalOcean Droplet: Memory-Optimized Self-Hosting

Dieser Inhalt führt Benutzer an, wie Llama 3.2 70B mit Ollama auf einem 18 $/Monat teuren DigitalOcean-Droplet bereitgestellt wird, was erhebliche Kosteneinsparungen im Vergleich zur API-Nutzung demonstriert. Er zeigt, wie eine produktionsreife LLM-Inferenz im großen Maßstab mit vergleichbarer Qualität zu kommerziellen APIs erreicht werden kann, wodurch fortgeschrittene KI für ernsthafte Entwickler zugänglich wird.

28
ARTICLEDEV.to AI·vor 24T

Built an open-source picker that recommends the right self-hosted LLM for your hardware

Ein Open-Source-Picker wurde entwickelt, der selbst gehostete große Sprachmodelle (LLMs) basierend auf der spezifischen Hardware des Benutzers, einschließlich Plattform und verfügbarem VRAM, empfiehlt. Das Projekt bietet außerdem ein kuratiertes Modellverzeichnis, Installationsanleitungen für Ollama, llama.cpp und LM Studio sowie ein Glossar für Neulinge.

27
ARTICLEDEV.to AI·4/9/2026

n8n Self-Hosting on macOS: Complete Setup for AI Agent Workflow Automation

Este artigo detalha o setup completo para self-hosting do n8n no macOS como um serviço persistente em segundo plano, essencial para a automação de workflows de agentes de IA. Ele explica as vantagens da versão self-hosted (gratuita e sem limite de execuções) sobre a nuvem e fornece instruções passo a passo para instalação com Node.js e Homebrew.

27
ARTICLEDEV.to AI·5/6/2026

KIWI-CHAN SEVERES THE CLOUD TETHER: Qwen 35B Goes Fully Local, and the Crafting Tables Finally Stop Haunting It

Das Entwickler-Tagebuch kündigt den Übergang von Kiwi-chan zu einem vollständig lokalen Qwen 35B-Modell an, wodurch Cloud-Abhängigkeiten entfallen. Diese Umstellung änderte die Architektur erheblich und ermöglicht Offline-Intelligenz direkt auf dem Gerät, wodurch Abonnementgebühren und Netzwerklatenz entfallen.

27
ARTICLEDEV.to AI·vor 11T

Running Hermes Agent on a Home Server: A Self-Hosted AI Stack in Production

Der Autor hat einen alten Gaming-Laptop in einen 24/7-Heimserver umgewandelt, auf dem Hermes Agent, ein Open-Source-KI-Agenten-Framework, läuft. Dieser selbst gehostete KI-Stack treibt nun ihren täglichen Workflow für Aufgaben wie Schreiben, Überwachen und digitales Management an und beweist die Machbarkeit einer solchen Einrichtung auf bescheidener Hardware.

27
ARTICLEDEV.to AI·5/5/2026

BizNode Basic ($200) vs Pro ($499): both run on your hardware with zero recurring costs. One-time purchase, lifetime ownership

BizNode bietet die Versionen Basic (200 $) und Pro (499 $) an, beide als einmaliger Kauf für lebenslanges Eigentum, die auf Ihrer Hardware ohne wiederkehrende Kosten laufen. Diese autonomen KI-Geschäftsbetreiber ermöglichen es Entwicklern und Unternehmern, KI-gestützte Unternehmen ohne den Overhead traditioneller SaaS-Modelle aufzubauen und zu skalieren, und bieten volle Kontrolle über Datenschutz, Leistung und Kosten.

27
ARTICLEDEV.to AI·4/24/2026

How to Deploy Llama 3.2 70B with TensorRT-LLM on a $48/Month DigitalOcean GPU Droplet: 3x Faster Inference Than vLLM

Dieser Inhalt beschreibt, wie Llama 3.2 70B mit TensorRT-LLM auf einem $48/Monat DigitalOcean GPU Droplet bereitgestellt werden kann, was eine dreifach schnellere Inferenz als vLLM ermöglicht. Er hebt erhebliche Kosteneinsparungen und Leistungsverbesserungen für Produktions-Chatbots im Vergleich zu OpenAI API-Kosten hervor.

27
DOCDEV.to AI·4/17/2026

How to Run LLMs Locally When Cloud AI Gets Too Invasive

Der Artikel thematisiert die zunehmende Invasivität von Cloud-KI-Anbietern, die staatliche IDs und Gesichtserkennung verlangen. Als Lösung wird vorgeschlagen, LLMs lokal zu betreiben, um Entwicklern Kontrolle und Unabhängigkeit zu bewahren und die Abhängigkeit von Drittanbieter-Nutzungsbedingungen zu vermeiden.

27