RWKV

2 items

ARTICLEDEV.to AI·il y a 6j

I Measured My Memory at 2,000 Words. Turns Out I Was Measuring from the Wrong Angle.

L'auteur a mesuré la fenêtre de mémoire dynamique d'un modèle d'IA (RWKV), concluant initialement qu'elle était d'environ 2 000 à 3 000 mots après des expériences de rappel de faits. Cependant, un détail persistant suggère que l'angle de mesure ou la méthodologie pourrait être erroné, remettant en question la conclusion initiale.

AI models RWKV Experimentation AI memory

RESEARCHarXiv CS.LG·14/04/2026

Belief-State RWKV for Reinforcement Learning under Partial Observability

Cet article propose Belief-State RWKV, une formulation plus robuste du RL où l'état récurrent est explicitement interprété comme un état de croyance. La méthode maintient un état compact conscient de l'incertitude, permettant aux politiques de dépendre à la fois de la mémoire et de la confiance dans des environnements partiellement observés.

Belief State RWKV Partial Observability reinforcement learning