← heapsort-ai

Streaming

20 items

RESEARCHarXiv CS.AI·hace 20h

OmniMem: Perturbation-aware Memory Compression for Streaming Audio-Visual LLMs

OmniMem es un marco de streaming eficiente en memoria para LLMs audiovisuales, diseñado para superar las limitaciones de la inferencia de video largo debido al aumento de tokens y cachés KV. Emplea asignación de memoria consciente de la modalidad y selección de memoria sensible a perturbaciones para preservar estados KV informativos, mejorando la compresión y la comprensión a largo plazo.

54
ARTICLE↑ trendingHacker News (AI)·hace 11d

AI token streaming isn't about SSE vs. WebSockets

La transmisión de tokens de IA no se trata principalmente de elegir entre SSE y WebSockets; el verdadero desafío radica en manejar eficientemente los flujos de bytes y analizar JSON fragmentado en eventos enviados por el servidor. La clave es gestionar el almacenamiento en búfer y la validación de estos datos de forma robusta.

42
ARTICLEDEV.to AI·23/4/2026

Streaming Agent State with LangGraph

Este contenido explica cómo la transmisión del estado y la salida de agentes de IA, utilizando herramientas como LangGraph, mejora drásticamente la experiencia del usuario. Aborda el problema de los largos tiempos de espera percibidos al proporcionar actualizaciones de progreso en tiempo real y respuestas finales token por token.

28
ARTICLEDEV.to AI·13/4/2026

How Structured Stream Parsing Makes AI Interactive Fiction Feel Instant

El artículo describe cómo el reproductor de ficción interactiva Novellum superó el desafío de transmitir respuestas de LLM que combinan diálogo con metadatos estructurados. Para evitar la visualización de etiquetas en bruto o largos tiempos de carga, desarrollaron un analizador de flujo estructurado que emite el diálogo instantáneamente mientras procesa otras etiquetas adecuadamente.

27
ARTICLEDEV.to AI·hace 21d

What To Watch

What to Watch es un compañero de entretenimiento impulsado por IA que rastrea automáticamente la reproducción y organiza el contenido en múltiples servicios de streaming. Ofrece recomendaciones personalizadas y disponibilidad en tiempo real para simplificar la gestión de tu experiencia de visualización.

27
DOCLangChain Blog·hace 19d

From Token Streams to Agent Streams

Este contenido explora primitivas de streaming avanzadas de Deep Agents, LangChain y LangGraph, yendo más allá del streaming de tokens tradicional. Detalla cómo estas primitivas facilitan características como eventos tipados, salidas multimodales y visibilidad de subagentes para construir aplicaciones robustas de agentes de IA.

From Token Streams to Agent Streams
27