Knowledge Injection

2 items

RESEARCH↑ trendingReddit r/LocalLLaMA·4/18/2026

Accidentally discovered you can teach frozen MoE models new knowledge by just steering their expert routing — no training needed

Eine neuartige Methode ermöglicht es, eingefrorenen MoE-Modellen neues Wissen durch Steuerung ihres Experten-Routings beizubringen und dabei traditionelles Training zu umgehen. Diese Technik, genannt Adaptive Kognitive Intelligenz (ACI), demonstrierte die Korrektur von Sachfehlern in Gemma 4 mithilfe nur einer kleinen Konfigurationsdatei.

model steering LLMs Gemma 4 Knowledge Injection

RESEARCHarXiv CS.CL·4/7/2026

Knowledge Packs: Zero-Token Knowledge Delivery via KV Cache Injection

"Knowledge Packs" stellt eine Methode zur "Zero-Token"-Wissensbereitstellung für große Sprachmodelle (LLMs) vor, indem Informationen direkt in den KV-Cache injiziert werden. Diese Technik zielt darauf ab, die LLM-Leistung zu verbessern und Inferenzkosten zu senken, indem externes Wissen effizient ohne Kontext-Tokens integriert wird.

Knowledge Injection machine learning AI large language models