Anthropic Message Batching: When 50% Off Is Worth the Latency

L'API Anthropic Message Batches est conçue pour traiter de grands ensembles d'évaluation, permettant jusqu'à 100 000 requêtes en une seule POST avec une réduction de coût de 50 % par rapport au tarif de jetons standard. Le principal compromis est la latence, mais les lots se terminent généralement en moins d'une heure, ce qui la rend idéale pour les tâches non urgentes.