Grafana

Comprehensive observability for Amazon SageMaker AI LLM inference: From GPU utilization to LLM quality

Ce billet présente une solution d'observabilité complète utilisant les tableaux de bord Amazon Managed Grafana. Il offre une vue holistique de la qualité et de la quantité des LLM servis sur les points de terminaison d'inférence Amazon SageMaker AI.