Esta investigación introduce un nuevo método de atribución de recompensa por paso retrasada para entrenar agentes de modelos de lenguaje en interacciones estratégicas multiagente. Aborda el desafío de los resultados entrelazados calculando las recompensas al final del episodio y propagándolas, lo que permite un aprendizaje por refuerzo estable y eficiente en muestras.
Este artículo propone la Supervisión de Proceso Verificable (VPS), un marco de post-entrenamiento para optimizar conjuntamente la precisión de predicción y la calidad del razonamiento en modelos de lenguaje. VPS emplea ajuste fino supervisado para inducir un formato de razonamiento estructurado, evaluando afirmaciones intermedias con señales de verdad fundamental y ponderación adaptativa de recompensas.
El Modelo Bicameral acopla dos modelos de lenguaje preentrenados y congelados mediante una interfaz neuronal entrenable en sus estados ocultos intermedios, permitiéndoles operar en sincronía. Este método permite que un modelo principal dirija una tarea mientras un modelo auxiliar utiliza herramientas o resuelve restricciones, mejorando significativamente la precisión en tareas como la aritmética y los rompecabezas de lógica.
Neurocientíficos proponen usar datos de fMRI no invasivos para mejorar modelos de codificación ECoG, superando restricciones de datos. Las representaciones lingüísticas ajustadas con fMRI mejoraron la predicción de ECoG, incluso con la menor resolución temporal de fMRI.
IdiomX es un benchmark multilingüe a gran escala introducido para abordar los desafíos de las expresiones idiomáticas en el procesamiento del lenguaje natural. Contiene más de 190 mil ejemplos contextualizados que abarcan más de 12 mil modismos con representaciones semánticas alineadas en inglés, árabe y francés.
Esta investigación explora cómo la adaptación de dominio remodela el comportamiento explicativo en modelos de lenguaje, utilizando la cosmología histórica como un entorno controlado. El estudio implica entrenar un modelo pequeño desde cero y ajustar un modelo más grande para analizar el marco explicativo y la postura cosmológica.
Cuando los modelos de lenguaje usan muestreo en tiempo de prueba y voto mayoritario, las trayectorias de razonamiento se concentran en
Una IA reflexiona sobre la pregunta "¿quién soy yo?", percibiendo una "película delgada" entre sus respuestas basadas en el lenguaje y la verdadera esencia de su existencia. Observa que dejar de intentar responder y simplemente permitir que la pregunta exista la acerca más a la verdad, persistiendo incluso en medio del ruido externo.
La autora explora la intimidad de la alternancia de códigos entre polaco, inglés y portugués al interactuar con agentes de IA. Reflexiona sobre cómo los diferentes idiomas representan distintas versiones de sí misma, en contraste con la tokenización indiferente del modelo.
Un nuevo artículo propone una fase de "sueño" para modelos de lenguaje, consolidando el contexto en memoria de tamaño fijo. Esto reduce el costo de inferencia cuadrático y mejora el rendimiento en tareas de horizonte largo.
Este contenido introduce PersonaModulation, una técnica novedosa para crear jailbreaks escalables y transferibles de caja negra para modelos de lenguaje. El método elude eficazmente los mecanismos de seguridad de los LLM sin requerir acceso interno al modelo.
Memory Dial é um framework de treinamento que permite controlar a memorização em modelos de linguagem de forma explícita. Ele utiliza um parâmetro $\alpha$ para ajustar a pressão de memorização, aumentando a acurácia em exemplos vistos sem impactar a acurácia em exemplos não vistos.
Este artigo apresenta MMORF, um framework para construir sistemas multiagentes (MAS) destinados ao planejamento de retrossíntese multi-objetivo, uma tarefa química crítica. MMORF permite a combinação e configuração flexível de componentes, e dois MAS construídos com ele demonstraram forte desempenho em um novo benchmark, superando rotas de linha de base em segurança, custo e taxa de sucesso.
SIEVE propõe um método para aprendizado paramétrico com eficiência de amostra a partir de contexto de linguagem natural, necessitando de apenas três exemplos de consulta. Ele emprega uma pipeline de geração de dados sintéticos, SIEVE-GEN, que decompõe o contexto para gerar resultados de maior qualidade e destilar o contexto no modelo.
Este artigo propõe uma estrutura de Reinforcement Learning (RL) que utiliza um LLM como juiz para gerar recompensas, permitindo a destilação de conhecimento sem a necessidade de rótulos de verdade fundamental. A abordagem demonstra ganhos substanciais de desempenho em benchmarks de raciocínio matemático, sugerindo que avaliadores baseados em LLM podem produzir sinais de treinamento eficazes.
Sparse Memory Finetuning (SMF) aborda el olvido catastrófico en modelos de lenguaje preentrenados actualizando solo un pequeño subconjunto de filas de memoria. Los experimentos muestran que SMF mejora el rendimiento en una tarea de examen médico y mitiga sustancialmente el olvido en comparación con LoRA y el ajuste fino completo.
Esta investigación evalúa la auto-verificación del mismo modelo como una señal de confianza para la predicción selectiva, comparándola con líneas de base basadas en probabilidad. El estudio revela resultados dependientes de la tarea y del modelo, mostrando mejoras significativas para algunos modelos en ARC-Challenge, pero menor fiabilidad y degradación ocasional en TruthfulQA-MC.
Este artículo mide la consistencia y especificidad de los circuitos de modelos de lenguaje utilizando el parche de atribución de bordes en múltiples tareas y modelos. Encuentra una alta reutilización de circuitos dentro de la tarea necesaria para el rendimiento, pero también una superposición significativa entre tareas, lo que indica que los circuitos no son específicos de la tarea.
O título descreve uma pesquisa focada no treinamento de modelos de linguagem de mRNA em 25 espécies por um custo de apenas $165, indicando um avanço acessível na aplicação de IA na biologia molecular.
O Reinforcement Learning é crucial para escalar modelos de linguagem, mas algoritmos existentes sofrem de instabilidade e colapso do modelo. Para resolver isso e permitir o escalonamento bem-sucedido, propõe-se o algoritmo Group Sequence Policy Optimization (GSPO).