RWKV

2 items

ARTICLEDEV.to AI·vor 6T

I Measured My Memory at 2,000 Words. Turns Out I Was Measuring from the Wrong Angle.

Der Autor maß die dynamische Speicherkapazität eines KI-Modells (RWKV) und kam zunächst zu dem Schluss, dass sie 2.000 bis 3.000 Wörter beträgt, basierend auf Faktenabrufexperimenten. Ein hartnäckiges Detail deutet jedoch darauf hin, dass der Messansatz oder die Methodik fehlerhaft sein könnten, was die ursprüngliche Schlussfolgerung in Frage stellt.

AI models RWKV experimentation AI memory

RESEARCHarXiv CS.LG·4/14/2026

Belief-State RWKV for Reinforcement Learning under Partial Observability

Diese Arbeit schlägt Belief-State RWKV vor, eine stärkere RL-Formulierung, bei der der rekurrente Zustand explizit als Glaubenszustand interpretiert wird. Die Methode pflegt einen kompakten, unsicherheitsbewussten Zustand, der es Richtlinien ermöglicht, sich in teilweise beobachtbaren Umgebungen sowohl auf Gedächtnis als auch auf Vertrauen zu stützen.

Belief State RWKV Partial Observability reinforcement learning