Ce billet explique comment utiliser Supervised Fine-Tuning (SFT) et Direct Preference Optimization (DPO) pour améliorer la précision de l'appel d'outils d'un petit modèle de langage. Il détaille l'utilisation des tâches d'entraînement Amazon SageMaker AI pour se concentrer sur le code et évaluer la qualité du modèle.
Ce billet explique comment créer un portail personnalisé avec l'interface utilisateur des applications SageMaker AI MLflow intégrées. Il aborde l'architecture React/Flask, le déploiement via AWS CDK, l'authentification SigV4 et les aspects de sécurité.
Amazon SageMaker AI prend désormais en charge l'API compatible avec OpenAI pour les endpoints d'inférence en temps réel. Cela permet aux utilisateurs de l'OpenAI SDK, LangChain ou Strands Agents d'invoquer des modèles sur SageMaker en ne modifiant que leur URL de point de terminaison, sans avoir besoin de clients personnalisés ou de réécritures de code.