Über unsTopKurse
← heapsort-ai

Streaming

20 items

RESEARCHarXiv CS.AI·vor 20Std

OmniMem: Perturbation-aware Memory Compression for Streaming Audio-Visual LLMs

OmniMem ist ein speichereffizientes Streaming-Framework für audiovisuelle LLMs, das entwickelt wurde, um die Einschränkungen der Langvideo-Inferenz aufgrund zunehmender Videotoken und KV-Caches zu überwinden. Es verwendet eine modalitätsbewusste Speicherzuweisung und eine störungsbewusste Speicherauswahl, um informative KV-Zustände zu erhalten, wodurch Komprimierung und Weitbereichsverständnis verbessert werden.

LLMsAudio-Visual AIdeep learningStreaming
54
ARTICLE↑ trendingHacker News (AI)·vor 11T

AI token streaming isn't about SSE vs. WebSockets

Beim AI-Token-Streaming geht es nicht primär um die Wahl zwischen SSE und WebSockets; die eigentliche Herausforderung liegt im effizienten Umgang mit Byte-Streams und dem Parsen fragmentierter JSON-Daten in Server-Sent Events. Der Schlüssel liegt im robusten Management der Pufferung und Validierung dieser Daten.

Streamingbackend developmentWebSocketsAI
42
ARTICLEDEV.to AI·4/23/2026

Streaming Agent State with LangGraph

Dieser Inhalt erklärt, wie das Streamen von Agentenzustand und -ausgabe mit Tools wie LangGraph die Benutzererfahrung erheblich verbessert. Es adressiert das Problem langer wahrgenommener Wartezeiten, indem es Echtzeit-Fortschrittsaktualisierungen und Token-für-Token-Antworten bereitstellt.

LangGraphuser experienceStreamingperformance
28
ARTICLEDEV.to AI·4/13/2026

How Structured Stream Parsing Makes AI Interactive Fiction Feel Instant

Der Artikel beschreibt, wie der interaktive Fiction-Player Novellum die Herausforderung meisterte, LLM-Antworten zu streamen, die Dialoge mit strukturierten Metadaten kombinieren. Um die Anzeige roher Tags oder lange Ladezeiten zu vermeiden, entwickelten sie einen strukturierten Stream-Parser, der Dialoge sofort ausgibt, während er andere Tags angemessen verarbeitet.

StreamingAIparsingInteractive Fiction
27
ARTICLEDEV.to AI·vor 21T

What To Watch

What to Watch ist ein KI-gesteuerter Unterhaltungsbegleiter, der die Wiedergabe automatisch verfolgt und Inhalte über mehrere Streaming-Dienste hinweg organisiert. Es bietet personalisierte Empfehlungen und Echtzeit-Verfügbarkeit, um die Verwaltung Ihres Seherlebnisses zu vereinfachen.

recommendationsentertainmentproductivityStreaming
27
DOCLangChain Blog·vor 19T

From Token Streams to Agent Streams

Dieser Inhalt untersucht fortgeschrittene Streaming-Primitive von Deep Agents, LangChain und LangGraph, die über traditionelles Token-Streaming hinausgehen. Er beschreibt, wie diese Primitive Funktionen wie typisierte Ereignisse, multimodale Ausgaben und Subagenten-Sichtbarkeit für den Aufbau robuster KI-Agentenanwendungen ermöglichen.

LangChainLangGraphDeep AgentsStreaming
From Token Streams to Agent Streams
27