← heapsort-ai

Ollama

56 items

DOCDEV.to AI·il y a 24j

Productionizing Ollama: Rate Limits, Cloud Fallback, and Cost Guardrails

Cet article aborde les défis de la mise en production d'Ollama pour gérer les utilisateurs concurrents, en se concentrant sur les limites de débit, le basculement vers le cloud et les garde-fous de coûts. Il propose des solutions pour des problèmes tels que les files d'attente de requêtes, les pics de latence et le manque de contrôle budgétaire lors de l'exécution de LLMs localement.

27
ARTICLEDEV.to AI·13/04/2026

Building a Voice-Controlled AI Agent Using Whisper and Ollama

Cet article décrit la construction d'un agent IA à commande vocale en environnement local, utilisant Whisper pour la conversion parole-texte et Ollama pour la détection d'intention et l'exécution d'actions. L'agent automatise des tâches telles que la création de fichiers, la génération de code et la résumé, le tout géré via une interface utilisateur Streamlit.

26
ARTICLEDEV.to AI·10/04/2026

Building VoxAgent: A Local Voice-Controlled AI Agent with Whisper, Ollama, and Safe File Actions

O texto introduz o VoxAgent, um agente de IA local e controlado por voz, projetado para ir além das demos tradicionais de IA ao executar ações seguras e visíveis em uma máquina real. Ele suporta entrada de microfone, processamento local de fala, entendimento de intenção e tarefas como criação de arquivos e geração de código.

26
ARTICLEDEV.to AI·24/04/2026

A QA engineer's first AI testing project - FastAPI + local LLM + pytest

Un ingénieur en automatisation partage son premier projet de test d'IA, en construisant un service FastAPI avec un LLM local (Ollama/llama3.2) et une suite pytest, suite à une offre d'emploi. L'objectif était de comprendre les nuances des tests d'IA/LLM par rapport aux tests UI/API traditionnels, le succès initial de la suite rendant l'expérience d'apprentissage difficile.

26
ARTICLEDEV.to AI·14/04/2026

Best Qwen Models for Hermes Agent — Alibaba's Models Ranked

Cet article classe les modèles Qwen d'Alibaba pour une utilisation avec l'Agent Hermes, mettant en avant Qwen3 Max pour les déploiements cloud grâce à ses solides capacités de raisonnement et d'appel d'outils, et Qwen3 8B pour une utilisation locale via Ollama sur du matériel avec 8 Go de RAM. Il souligne la flexibilité de déploiement des modèles Qwen open-source.

23