Phi-3.5 Mini

How to Deploy Phi-3.5 Mini with vLLM on a $5/Month DigitalOcean Droplet: Lightweight Production Inference Under $60/Year

Este artículo guía a los usuarios en el despliegue del LLM Phi-3.5 Mini de Microsoft con vLLM en un Droplet de DigitalOcean de $5/mes. La configuración ofrece inferencia de producción ligera por menos de $60 anuales, buscando reducir drásticamente los costos en comparación con las costosas APIs de LLM comerciales.