Token allocation

Toward Reliable Design of LLM-Enabled Agentic Workflows: Optimizing Latency-Reliability-Cost Tradeoffs

Dieses Papier analysiert die grundlegenden Kompromisse zwischen Latenz, Zuverlässigkeit und Kosten in LLM-gestützten Agenten-Workflows. Es führt Leistungsmodelle ein und untersucht das Design sequenzieller Workflows, wobei Ergebnisse zur Token-Zuweisung und optimalen Zuverlässigkeit vorgestellt werden.