Knowledge Injection

2 items

RESEARCH↑ trendingReddit r/LocalLLaMA·18/04/2026

Accidentally discovered you can teach frozen MoE models new knowledge by just steering their expert routing — no training needed

Une nouvelle méthode permet d'enseigner de nouvelles connaissances à des modèles MoE "gelés" en orientant leur routage d'experts, sans entraînement traditionnel. Nommée Intelligence Cognitive Adaptative (ACI), cette technique a démontré la correction d'erreurs factuelles dans Gemma 4 à l'aide d'un petit fichier de configuration.

model steering LLMs Gemma 4 Knowledge Injection

RESEARCHarXiv CS.CL·07/04/2026

Knowledge Packs: Zero-Token Knowledge Delivery via KV Cache Injection

"Knowledge Packs" propose une méthode de livraison de connaissances "sans jeton" pour les grands modèles de langage (LLM) en injectant directement des informations dans le cache KV. Cette technique vise à améliorer les performances des LLM et à réduire les coûts d'inférence en intégrant efficacement des connaissances externes sans consommer de jetons de contexte.

Knowledge Injection machine learning AI large language models