Knowledge Injection

2 items

RESEARCH↑ trendingReddit r/LocalLLaMA·18/4/2026

Accidentally discovered you can teach frozen MoE models new knowledge by just steering their expert routing — no training needed

Un nuevo método permite enseñar nuevos conocimientos a modelos MoE "congelados" dirigiendo su enrutamiento de expertos, sin necesidad de entrenamiento tradicional. Denominada Inteligencia Cognitiva Adaptativa (ACI), esta técnica demostró corregir errores fácticos en Gemma 4 usando solo un pequeño archivo de configuración.

model steering LLMs Gemma 4 Knowledge Injection

RESEARCHarXiv CS.CL·7/4/2026

Knowledge Packs: Zero-Token Knowledge Delivery via KV Cache Injection

"Knowledge Packs" propone un método de entrega de conocimiento de "token cero" para grandes modelos de lenguaje (LLMs) mediante la inyección directa de información en la caché KV. Esta técnica busca mejorar el rendimiento de los LLM y reducir los costos de inferencia al integrar eficientemente el conocimiento externo sin consumir tokens de contexto.

Knowledge Injection machine learning AI large language models