TensorRT

3 items

ARTICLE↑ trendingReddit r/MachineLearning·13/4/2026

TurboOCR: 270–1200 img/s OCR with Paddle + TensorRT (C++/CUDA, FP16) [P]

TurboOCR logra entre 270 y 1200 img/s de OCR optimizando PaddleOCR con C++/CUDA, TensorRT FP16, kernels fusionados y procesamiento por lotes, abordando los cuellos de botella de rendimiento de los enfoques basados en VLM. Esta solución mejora drásticamente el rendimiento para el procesamiento de documentos a gran escala y es adecuada para aplicaciones RAG en tiempo real.

CUDA Performance optimization TensorRT C++

DOCDEV.to AI·hace 28d

How to Deploy Llama 3.2 Vision with TensorRT on a $20/Month DigitalOcean GPU Droplet: Multimodal Inference at 1/95th GPT-4 Vision Cost

Este artículo detalla el despliegue de Llama 3.2 Vision con TensorRT en un Droplet de GPU de DigitalOcean, logrando una inferencia multimodal 3.5 veces más rápida y con un costo 95 veces menor que GPT-4 Vision. Busca capacitar a los desarrolladores para optimizar costos y rendimiento de modelos de código abierto, evitando APIs caras y la inferencia local lenta.

Llama 3.2 Vision learning TensorRT AI deployment

ARTICLEDEV.to AI·12/4/2026

Stop Choosing Between Speed and LoRAs: Meet ComfyUI-TensorRT-Reforge 🚀

Este artículo presenta ComfyUI-TensorRT-Reforge, un nuevo nodo personalizado para ComfyUI que acelera la inferencia de modelos de IA con TensorRT, permitiendo el uso de LoRAs. Resuelve el problema de la generación lenta de imágenes y las limitaciones de otras soluciones existentes, combinando velocidad y flexibilidad.

AI acceleration image generation TensorRT LoRAs