Grafana

Comprehensive observability for Amazon SageMaker AI LLM inference: From GPU utilization to LLM quality

Esta publicación presenta una solución de observabilidad integral que utiliza paneles de Amazon Managed Grafana. Ofrece una vista holística tanto de la calidad como de la cantidad de LLMs servidos en los endpoints de inferencia de Amazon SageMaker AI.