Knowledge Injection

2 items

RESEARCH↑ trendingReddit r/LocalLLaMA·18/04/2026

Accidentally discovered you can teach frozen MoE models new knowledge by just steering their expert routing — no training needed

Um novo método permite ensinar novos conhecimentos a modelos MoE "congelados" ao direcionar o roteamento de seus especialistas, sem a necessidade de treinamento tradicional. Nomeada Inteligência Cognitiva Adaptativa (ACI), esta técnica demonstrou corrigir erros factuais no Gemma 4 usando apenas um pequeno arquivo de configuração.

model steering LLMs Gemma 4 Knowledge Injection

RESEARCHarXiv CS.CL·07/04/2026

Knowledge Packs: Zero-Token Knowledge Delivery via KV Cache Injection

“Knowledge Packs” propõe um método para entrega de conhecimento de "token zero" em modelos de linguagem grandes (LLMs) através da injeção direta de informações no cache KV. Esta técnica visa melhorar o desempenho e reduzir os custos de inferência ao integrar conhecimento externo de forma eficiente, sem consumir tokens de contexto.

Knowledge Injection machine learning AI large language models