Ce contenu traite du défi de la latence dans les applications multi-agents, illustré par SamiWISE, un tuteur de préparation au GMAT. Il souligne la nécessité d'un routage "invisible" entre les agents spécialisés pour assurer une expérience utilisateur fluide et sans délais perceptibles.
Cet article de recherche identifie deux lois d'échelle couplées dans les systèmes d'agents LLM : une loi de routage montrant la diminution de la précision avec la taille de la bibliothèque et une loi d'exécution démontrant comment une exécution correcte améliore les décisions en aval. Un paramètre clé, la pente de décroissance logarithmique du routage, lie ces lois, influençant à la fois l'effondrement initial et la récupérabilité ultérieure.
Cet article présente BOHM, une nouvelle méthode d'attribution hiérarchique à coût nul pour les systèmes d'IA composés. Contrairement aux méthodes traditionnelles basées sur Shapley, BOHM extrait l'attribution directement des poids de routage, éliminant le besoin d'accès interne aux composants et offrant des aperçus multi-résolution.
Une expérience a exploré le routage de requêtes IA vers différents LLM (DeepSeek-V4 Pro, Kimi 2.6, MiniMax 2.7, Qwen3 235B) en fonction de la tâche. Il a été constaté qu'aucun modèle unique n'était le meilleur pour toutes les tâches, et des règles YAML simples se sont avérées efficaces, tandis que le routage complexe et la prédiction des coûts ont échoué.