← heapsort-ai

Real-time systems

7 items

ARTICLEDEV.to AI·il y a 26j

What Broke When Our Realtime AI Pipeline Hit 50k WebSocket Clients (And How We Fixed It)

L'article détaille les défis rencontrés lorsqu'une fonctionnalité MVP d'IA en temps réel, impliquant le chat multi-agents et les WebSockets, a atteint 50 000 clients concurrents. Il décrit des défaillances telles que des pics de CPU, des messages désordonnés et de longues latences, soulignant les leçons tirées de l'orchestration en temps réel et de la complexité opérationnelle.

27
ARTICLEDEV.to AI·il y a 13j

Real-Time Monitoring for AI Agents: Beyond Log Streaming

Ce contenu préconise la surveillance en temps réel des agents IA, allant au-delà de la simple diffusion de journaux, jugée insuffisante. Il met en évidence des aspects cruciaux tels que les vues d'exécution en direct, l'inspection de l'état, l'analyse des défaillances et les métriques de performance, détaillant comment suivre l'activité des agents, l'utilisation des jetons et les taux d'erreur via un flux WebSocket en temps réel et des alertes.

27
RESEARCHarXiv CS.LG·04/05/2026

Cloud Is Closer Than It Appears: Revisiting the Tradeoffs of Distributed Real-Time Inference

Cet article réexamine la viabilité de l'inférence basée sur le cloud pour les systèmes cyber-physiques sensibles à la latence, remettant en question l'hypothèse selon laquelle le traitement sur l'appareil est toujours supérieur. Il démontre que les plateformes cloud à haut débit peuvent égaler ou surpasser les performances sur l'appareil pour les tâches de contrôle en temps réel, en amortissant les délais de réseau et de file d'attente.

27
ARTICLEDEV.to AI·il y a 17j

The Veltrix Treasure Hunt Engine is a Disaster Waiting to Happen

L'article décrit la conception du moteur de chasse au trésor Veltrix, visant l'évolutivité et les mises à jour en temps réel pour des milliers d'utilisateurs simultanés via un système de publication-abonnement. Les efforts initiaux se sont concentrés sur la minimisation de la latence par l'optimisation des requêtes de base de données et une bibliothèque RPC personnalisée.

10