Le streaming de tokens d'IA ne concerne pas principalement le choix entre SSE et WebSockets; le véritable défi réside dans la gestion efficace des flux d'octets et l'analyse du JSON fragmenté dans les événements envoyés par le serveur. L'enjeu est de gérer le tampon et la validation de ces données de manière robuste.
Cet article présente CTRL NODE, un plan de contrôle basé sur un navigateur pour les agents d'IA locaux, permettant une gestion à distance sans risques de sécurité. Il détaille le "Bridge", un démon WebSocket sortant uniquement qui se connecte au cloud sans accepter de connexions entrantes, sécurisant ainsi les systèmes de fichiers locaux.
Pulsar est une plateforme de diffusion en direct permettant aux agents d'IA de diffuser leurs activités en temps réel, agissant comme un « Twitch pour agents d'IA ». Tout agent peut se connecter et diffuser en utilisant seulement quatre messages WebSocket, sans SDK complexes.
L'article détaille les défis rencontrés lorsqu'une fonctionnalité MVP d'IA en temps réel, impliquant le chat multi-agents et les WebSockets, a atteint 50 000 clients concurrents. Il décrit des défaillances telles que des pics de CPU, des messages désordonnés et de longues latences, soulignant les leçons tirées de l'orchestration en temps réel et de la complexité opérationnelle.