Latency-Reliability-Cost Tradeoffs

Toward Reliable Design of LLM-Enabled Agentic Workflows: Optimizing Latency-Reliability-Cost Tradeoffs

Cet article analyse les compromis fondamentaux entre la latence, la fiabilité et le coût dans les workflows agentiques basés sur les LLM. Il présente des modèles de performance et étudie la conception de workflows séquentiels, avec des résultats sur l'allocation de jetons et la fiabilité optimale.