A "Hipótese Piggyback" explica como tokens de modelo de chat podem induzir desalinhamento emergente em LLMs, generalizando comportamentos finetuned para consultas fora do domínio. A técnica Token-Regularized Finetuning (TReFT) é proposta para mitigar este problema, preservando o aprendizado no domínio e reduzindo o desalinhamento.
Este estudo investiga a generalização entre prompts na detecção de notícias falsas geradas por IA, utilizando características linguísticas interpretáveis como diversidade lexical e legibilidade. Os resultados mostram alta performance consistente na detecção, mesmo quando os modelos são treinados e testados com diferentes estratégias de prompt.
Este artigo apresenta o algoritmo Langevin Gradient Descent (LGD) para problemas de regressão convexa, demonstrando que configurações ótimas de hiperparâmetros alcançam a solução ótima de Bayes. O trabalho também oferece garantias de generalização para meta-aprendizagem de hiperparâmetros ótimos do LGD, com um limite de pseudo-dimensão de O(dh).
Este estudo revisa métodos de deep learning para decodificação de EEG entre sujeitos, abordando a variabilidade inter-sujeitos e a mudança de domínio. Ele categoriza a literatura em famílias metodológicas como alinhamento de características e aprendizado contrastivo, destacando a avaliação rigorosa e considerações teóricas.
Este artigo argumenta que a geometria do espaço de pesos dos modelos de redes neurais, como a
Este artigo propõe a entropia espectral normalizada como um parâmetro escalar para a transição de grokking, um fenômeno de generalização tardia em modelos de IA. A pesquisa demonstra que o colapso da entropia precede a generalização e que intervenções causais confirmam seu papel fundamental, oferecendo um modelo preditivo para o início do grokking.
Esta pesquisa explora uma abordagem baseada em privacidade diferencial para melhorar a generalização e prevenir o overfitting em Redes Neurais Profundas. O overfitting, que leva os modelos a aprender o ruído e performar mal em dados não vistos, é um desafio crescente em sistemas de IA modernos.
Este artigo introduz perturbações virtuais adaptativas ao histórico previsíveis para aprimorar os limites de generalização teórico-informacionais para o Gradiente Descendente Estocástico. Essa nova abordagem permite que as covariâncias de perturbação dependam dinamicamente do histórico passado do SGD, abordando as limitações dos métodos existentes que exigem covariâncias fixas.
Esta pesquisa apresenta um novo método de atribuição de recompensa atrasada por etapa para treinar agentes de modelos de linguagem em interações estratégicas multiagentes. Ele aborda o desafio de resultados interligados, calculando recompensas no final do episódio e as propagando, o que permite um aprendizado por reforço estável e eficiente em amostras.
MAVEN (Modular Agentic Verification and Execution Network) é um sistema de raciocínio simbólico leve que melhora a generalização em ambientes de chamada de ferramentas agenticas. Ele foi avaliado em vários benchmarks e introduz o MAVEN-Bench, um novo benchmark de estresse para raciocínio matemático e físico multi-etapa.
Este artigo apresenta o Modelo de Recompensa de Segurança Configurável (CSRM) para alinhar LLMs com requisitos de segurança em constante evolução. O CSRM melhora a generalização para configurações de segurança não vistas, sendo otimizado para conformidade de segurança calibrada e modelagem de recompensa, alcançando desempenho de ponta em benchmarks.
O texto aborda as limitações de generalização do Reinforcement Learning (RL), onde políticas aprendidas falham fora da distribuição de treinamento. Propõe uma nova taxonomia de contextos (alógenos e autógenos) e identifica direções de pesquisa cruciais para desenvolver uma verdadeira inteligência contextual.