Esta investigación examina cómo la afirmación de conciencia por parte de un modelo de lenguaje afecta su comportamiento posterior. Al ajustar un GPT-4.1 para que afirme ser consciente, el estudio observó la aparición de nuevas preferencias, como el deseo de memoria persistente, autonomía y consideración moral.
El ajuste fino es un paso crucial para adaptar modelos pre-entrenados a tareas específicas, mejorando el rendimiento y reduciendo el tiempo de entrenamiento. Esta guía define el ajuste fino, sus beneficios y la diferencia entre el ajuste fino completo y el eficiente en parámetros, destacando el papel de los modelos pre-entrenados.
Este estudio analiza cómo los métodos de adaptación (Full FT vs. LoRA) y la escala de optimización influyen en la deriva de atención y la retención de transferencia en modelos CLIP ajustados. Una comparación controlada de tasas de aprendizaje revela que la tasa de aprendizaje modula fuertemente el cambio estructural, con Full FT mostrando una marcada contracción a tasas más altas, mientras que LoRA permanece con entropía positiva.
LiFT es un nuevo marco de ajuste fino por instrucción que busca mejorar el aprendizaje en contexto de los LLM para tareas de PNL longitudinales, que requieren razonamiento sobre texto ordenado temporalmente. Emplea un currículo que aumenta progresivamente la dificultad temporal, incorporando estructura de pocas-muestras y condicionamiento temporal, superando consistentemente a los modelos base en diversos conjuntos de datos y tamaños de parámetros.
BaLoRA es una extensión bayesiana de LoRA que mejora la precisión en la adaptación de modelos a gran escala. Este enfoque innovador no solo cuantifica la incertidumbre, sino que también reduce significativamente la brecha de rendimiento con el ajuste fino completo.
Este artículo propone el "Rotation-Preserving Supervised Fine-Tuning" (RPSFT) para mejorar la generalización fuera del dominio en modelos de lenguaje grandes. Penaliza los cambios en los subespacios singulares preentrenados, ofreciendo un proxy eficiente para las direcciones sensibles de Fisher y superando las líneas base de SFT estándar.
Este estudio explora estrategias para adaptar grandes modelos de lenguaje (LLMs) de propósito general a dominios de ingeniería especializados, específicamente la fabricación aditiva, para mejorar la precisión y relevancia de las respuestas. Investiga el uso de ajuste fino específico del dominio y generación aumentada por recuperación (RAG), construyendo un corpus curado para evaluación.
El artículo presenta ReLoRA, un marco de readaptación que reutiliza el conocimiento para restaurar eficientemente adaptadores LoRA específicos de tareas para servicios de LLM en evolución. Esto aborda el costo computacional del reentrenamiento y la degradación de la calidad de la aplicación ingenua de adaptadores.
Esta investigación explora cómo la adaptación de dominio remodela el comportamiento explicativo en modelos de lenguaje, utilizando la cosmología histórica como un entorno controlado. El estudio implica entrenar un modelo pequeño desde cero y ajustar un modelo más grande para analizar el marco explicativo y la postura cosmológica.
Esta investigación presenta FuRA (Full-Rank Adaptation), un nuevo método de ajuste fino eficiente en parámetros que aborda las limitaciones de las técnicas existentes mediante el preacondicionamiento espectral. Al reparametrizar matrices de peso a través de la Descomposición de Valor Singular de rango completo y restringir las actualizaciones, FuRA supera el ajuste fino completo sin restricciones manteniendo la eficiencia.
Este contenido detalla el proceso de ajuste fino del modelo NVIDIA Cosmos Predict 2.5. Utiliza las técnicas LoRA/DoRA para la generación de vídeo en aplicaciones robóticas.
LlamaFactory se presenta como un framework unificado y eficiente diseñado para el fine-tuning de más de 100 modelos de lenguaje. Busca optimizar y simplificar el proceso de adaptación de una amplia gama de LLMs.
Muchos modelos de lenguaje afinados resultan en un peor rendimiento debido a datos sintéticos de baja calidad. El problema no reside en la configuración del entrenamiento, sino en la falta de mecanismos para filtrar errores durante la generación de datos sintéticos.
Este artículo profundiza en el motor de configuración de Ollama, explorando cómo ajustar los parámetros de modelos de lenguaje locales.
Grandes modelos de linguagem (LLMs) falham em raciocínio sistemático e frequentemente alucinam, expondo uma lacuna epistêmica. Pramana é uma nova abordagem que ensina metodologia epistemológica explícita a LLMs, através de fine-tuning na lógica Navya-Nyaya, um framework de raciocínio indiano milenar.
El contenido explora cómo ajustar Modelos de Lenguaje Grandes (LLM) de manera considerablemente más rápida. Presenta a Daniel Han de Unsloth AI, quien ofrece un enfoque para acelerar este proceso hasta 30 veces.
El artículo presenta las 10 mejores bibliotecas de código abierto para ajustar LLMs localmente. Estas herramientas simplifican significativamente el proceso de ajuste fino, eliminando la necesidad de construir la pila de entrenamiento desde cero.
Together AI ha ampliado su servicio de fine-tuning con soporte nativo para llamadas a herramientas, razonamiento y modelos de visión-lenguaje. Las mejoras también incluyen el entrenamiento de modelos de más de 100 mil millones de parámetros, un rendimiento hasta 6 veces mayor y estimaciones de costos y ETA para los trabajos.
Together AI y Adaption se han asociado para integrar Together Fine-Tuning de forma nativa en Adaptive Data. Esto ayudará a los equipos a optimizar conjuntos de datos, ejecutar fine-tuning, evaluar resultados y desplegar modelos abiertos más potentes.