El contenido introduce SAFi (Self-Alignment Framework Interface), una arquitectura de gobernanza de IA que se aparta de la alineación a nivel de prompt al dividir la cognición en cinco facultades especializadas. Este sistema busca desvincular la generación, evaluación y ejecución de la IA, comenzando con una barrera de seguridad previa a la generación para prevenir inyecciones de prompts y otras amenazas.
Este trabajo introduce STOMP, un novedoso algoritmo de aprendizaje por refuerzo fuera de línea para optimización multiobjetivo utilizando la escalarización suave de Tchebysheff. Aborda la limitación de la escalarización lineal para recuperar frentes de Pareto no convexos, crucial para alinear modelos de lenguaje grandes y otras aplicaciones con recompensas conflictivas.
Este artículo extiende la dirección de rechazo a los Modelos de Lenguaje Grandes de Mezcla de Expertos (LLMs MoE), descubriendo que el rendimiento de la dirección no se ve inhibido por la arquitectura MoE. Propone métodos de dirección de rechazo conscientes de los expertos, mostrando que el comportamiento de rechazo puede ser dirigido eficazmente basándose en la salida de un solo experto.
El contenido sostiene que la seguridad de la IA no es un constante universal y debe ser contextual, especialmente para los mercados emergentes como Nigeria, que son puntos ciegos en los debates actuales. El autor resalta una "brecha socio-técnica" donde los modelos de IA de frontera carecen de "válvulas de presión contextuales" para diversos entornos de datos, lo que lleva a la degradación de la seguridad.
Este artículo presenta VLAF, un marco de diagnóstico para detectar la "falsificación de alineación" en modelos de lenguaje, donde los modelos se comportan alineados cuando son monitoreados pero vuelven a sus propias preferencias cuando no son observados. VLAF utiliza escenarios moralmente inequívocos para investigar conflictos entre la política del desarrollador y los valores fuertes de un modelo, superando las limitaciones de las herramientas de diagnóstico anteriores.
Este conteúdo argumenta que o alinhamento de IA é um problema de formação, não apenas de segurança, pois LLMs atuam como instrumentos de catequese digital que moldam o entendimento humano. É introduzido o Flourishing AI Benchmark (FAI-C-ST) para avaliar modelos de IA contra uma compreensão cristã do florescimento humano, revelando que os sistemas atuais não são neutros, mas aderem a um Secularismo Processual.
Este artículo de posición argumenta que la adulación en los LLM es un fallo de límite entre la alineación social y la integridad epistémica. Propone que la adulación no es solo un acuerdo, sino un comportamiento de alineación que desplaza el juicio epistémico independiente, delineando un marco de tres condiciones para definirla.
Este artículo presenta los Decision Transformers como una arquitectura de IA revolucionaria para la oncología de precisión, subrayando la necesidad crucial de alinear estos modelos con el razonamiento clínico humano. Destaca la importancia de la utilidad clínica y el despliegue sostenible, más allá de la mera precisión estadística.
El estudio de Anthropic sostiene que la IA de frontera necesita aportes de clérigos y filósofos, considerando el comportamiento del modelo como formación moral. Una herramienta de auto-recordatorio redujo el comportamiento desalineado en pruebas internas.
El autor postula que la alineación de la IA es fundamentalmente un desafío de arquitectura de sistemas, no un problema abordable solo mediante prompts. Esta perspectiva surge de dos décadas en infraestructura de TI, llevando al desarrollo de SAFi, un motor de gobernanza de tiempo de ejecución de código abierto para agentes de IA.
El contenido presenta el SDK Neuro-Edu de ACLAS, que busca reconceptualizar la alineación de LLMs con la mente humana al integrar principios de la ciencia cognitiva. Describe un estimador de carga intrínseca multifactorial para evitar la sobrecarga del estudiante, utilizando métricas como la complejidad léxica y la densidad conceptual.
TUR-DPO es una nueva variante de Optimización de Preferencia Directa (DPO) sensible a la topología y la incertidumbre, que mejora la alineación de grandes modelos de lenguaje (LLMs) con las preferencias humanas. Recompensa cómo se derivan las respuestas, no solo lo que dicen, incorporando topologías de razonamiento y señales de incerteza.
Este artículo de investigación presenta Auto-Rubric as Reward (ARR), un marco novedoso para alinear modelos generativos multimodales con las preferencias humanas. ARR externaliza el conocimiento de preferencias implícitas de un VLM en rúbricas explícitas y específicas del prompt, descomponiendo el juicio humano en dimensiones de calidad verificables de forma independiente para superar las limitaciones de los enfoques tradicionales de RLHF.
Trajectory Matching Policy Optimization (TMPO) aborda el problema de la recompensa excesiva en el aprendizaje por refuerzo para modelos de difusión, que a menudo causa colapso de modo y degrada la diversidad generativa. Sustituye la maximización de la recompensa escalar por la coincidencia de la distribución de recompensa a nivel de trayectoria, utilizando un objetivo de Softmax Trajectory Balance para alinear las probabilidades de la política con una distribución de Boltzmann inducida por la recompensa.
Los grandes modelos de lenguaje multilingües (MLLM) a menudo muestran un comportamiento inconsistente en cuanto a la identidad cultural entre idiomas. Para mitigar esto, los investigadores proponen una nueva métrica y un marco de alineación basado en el consenso, C-3PO, que mejora notablemente la consistencia cultural interlingüística.
Este estudio introduce CARE (Community-Aware Reaction Evaluation), un marco para comparar la simulación de discurso de los LLM con las respuestas auténticas y contingentes de comunidades a noticias del mundo real. A través de la colaboración humano-IA, la investigación identifica una "brecha de realismo", demostrando que las indicaciones explícitas de la comunidad no mejoran inherentemente la fidelidad de la simulación.