Grafana

Comprehensive observability for Amazon SageMaker AI LLM inference: From GPU utilization to LLM quality

Este post demonstra uma solução completa de observabilidade usando painéis do Amazon Managed Grafana. A solução oferece uma visão holística da qualidade e quantidade de LLMs em endpoints de inferência do Amazon SageMaker AI.