Les applications construites par l'IA fonctionnent souvent en développement mais échouent en production à cause d'un écart fondamental : les constructeurs d'IA optimisent pour l'itération, pas pour les exigences réelles de l'infrastructure. Cela entraîne des problèmes comme le verrouillage fournisseur, l'absence d'historique de déploiement et l'impossibilité de rollback en production.
Un utilisateur rencontre des problèmes avec des systèmes multi-agents en production et a développé un framework de chaos monkey basique pour agents. Il cherche à collaborer avec des experts pour améliorer l'outil, l'utiliser pour le benchmarking et éviter une mauvaise expérience client.
Cet article aborde le problème des applications construites avec l'IA qui fonctionnent en développement mais échouent en production. Il souligne les défis tels que les bases de données propriétaires, l'absence d'historique de déploiement et de mécanismes de rollback, entraînant des problèmes de propriété de l'infrastructure et de dépendance vis-à-vis du fournisseur.
Cet article relate l'échec d'un pipeline d'analyse de données R alimenté par des LLM, qui fonctionnait parfaitement en preuve de concept mais s'est effondré à grande échelle. L'histoire vise à avertir et à éduquer sur les défis d'intégrer des modèles de langage dans les workflows de données R en production.
Les applications construites avec l'IA échouent souvent à grande échelle non pas à cause de l'IA, mais à cause d'attentes incorrectes concernant l'infrastructure sous-jacente. Le déploiement d'une application basée sur l'IA implique d'hériter de décisions d'infrastructure optimisées pour la vitesse d'itération, et non pour la gestion de la charge, entraînant des problèmes tels que des délais de connexion et des coûts de base de données croissants.
L'article traite du défi de la mise à l'échelle des applications construites avec des outils d'IA, optimisées pour la vitesse d'itération mais qui échouent en production en raison d'un manque de contrôle sur l'infrastructure sous-jacente. Il souligne la transition des prototypes rapides vers des solutions de production robustes, où l'invisibilité des couches de base de données et de l'optimisation devient un goulot d'étranglement critique.
L'article explique pourquoi les agents d'IA non-codeurs échouent en production, en se référant à un document d'Anthropic et à une enquête indiquant des taux d'échec élevés. Il critique un fil Reddit pour avoir simplifié la cause principale à la "mémoire manquante", suggérant qu'il existe de multiples autres facteurs et proposant cinq solutions. Ces solutions sont présentées comme des corrections rentables pour les défis de déploiement courants.