À proposTopCours
← heapsort-ai

Streaming

20 items

RESEARCHarXiv CS.AI·il y a 20h

OmniMem: Perturbation-aware Memory Compression for Streaming Audio-Visual LLMs

OmniMem est un cadre de streaming économe en mémoire pour les LLM audio-visuels, conçu pour surmonter les limitations de l'inférence vidéo longue dues à l'augmentation des jetons vidéo et des caches KV. Il utilise une allocation de mémoire sensible à la modalité et une sélection de mémoire consciente des perturbations pour préserver les états KV informatifs, améliorant la compression et la compréhension à longue portée.

LLMsAudio-Visual AIdeep learningStreaming
54
ARTICLE↑ trendingHacker News (AI)·il y a 11j

AI token streaming isn't about SSE vs. WebSockets

Le streaming de tokens d'IA ne concerne pas principalement le choix entre SSE et WebSockets; le véritable défi réside dans la gestion efficace des flux d'octets et l'analyse du JSON fragmenté dans les événements envoyés par le serveur. L'enjeu est de gérer le tampon et la validation de ces données de manière robuste.

Streamingbackend developmentWebSocketsAI
42
ARTICLEDEV.to AI·23/04/2026

Streaming Agent State with LangGraph

Ce contenu explique comment le streaming de l'état et de la sortie des agents IA, en utilisant des outils comme LangGraph, améliore considérablement l'expérience utilisateur. Il résout le problème des longs temps d'attente perçus en fournissant des mises à jour de progression en temps réel et des réponses finales jeton par jeton.

LangGraphuser experienceStreamingperformance
28
ARTICLEDEV.to AI·13/04/2026

How Structured Stream Parsing Makes AI Interactive Fiction Feel Instant

L'article décrit comment le lecteur de fiction interactive Novellum a surmonté le défi de diffuser des réponses LLM combinant dialogue et métadonnées structurées. Pour éviter l'affichage de balises brutes ou de longs temps de chargement, ils ont développé un analyseur de flux structuré qui émet le dialogue instantanément tout en traitant les autres balises de manière appropriée.

StreamingAIparsingInteractive Fiction
27
ARTICLEDEV.to AI·il y a 21j

What To Watch

What to Watch est un compagnon de divertissement alimenté par l'IA qui suit automatiquement la lecture et organise le contenu sur plusieurs services de streaming. Il propose des recommandations personnalisées et la disponibilité en temps réel pour simplifier la gestion de votre expérience de visionnage.

recommendationsentertainmentproductivityStreaming
27
DOCLangChain Blog·il y a 19j

From Token Streams to Agent Streams

Ce contenu explore les primitives de streaming avancées de Deep Agents, LangChain et LangGraph, allant au-delà du streaming de jetons traditionnel. Il détaille comment ces primitives facilitent des fonctionnalités telles que les événements typés, les sorties multimodales et la visibilité des sous-agents pour la construction d'applications d'agents d'IA robustes.

LangChainLangGraphDeep AgentsStreaming
From Token Streams to Agent Streams
27