Esta investigación presenta una metodología multicapa para acelerar modelos de fundación multimodales (MFMs) mediante el co-diseño de hardware y software. Emplea técnicas de optimización como la cuantificación de precisión mixta, la poda estructural y la decodificación especulativa para reducir los requisitos computacionales y de memoria.
TOPCELL es un marco novedoso que utiliza Grandes Modelos de Lenguaje (LLMs) para optimizar la topología de transistores en el diseño de celdas estándar, superando las limitaciones de los métodos de búsqueda exhaustiva tradicionales. Al reformular la exploración de topología como una tarea generativa y emplear GRPO para el ajuste fino, mejora significativamente el descubrimiento de diseños enrutables y físicamente conscientes para nodos de tecnología avanzada.
El artículo desaconseja el uso predeterminado de Q4_K_M para la inferencia local de LLM, enfatizando que el rendimiento óptimo proviene de probar niveles de cuantificación adaptados a flujos de trabajo específicos. Sugiere que la cuantificación agresiva como Q3_K_S puede reducir significativamente la latencia con una pérdida de calidad imperceptible para muchas tareas, aunque la longitud del contexto presenta una compensación.
Este estudio presenta un análisis triádico de la operación de almacenamiento de energía bajo control predictivo de modelo multietapa, investigando la interacción entre las características de los datos, la incertidumbre del pronóstico y el horizonte de planificación. Identifica un "horizonte efectivo" para la longitud óptima de previsión, permitiendo reducir los costos computacionales y proporcionando una guía práctica para las operaciones de almacenamiento industrial.
Esta investigación propone un marco de optimización de dos niveles para mejorar sistemáticamente las "habilidades de agente" en agentes de modelos de lenguaje grandes (LLM). Utiliza un bucle externo de Monte Carlo Tree Search para optimizar conjuntamente la estructura y el contenido de estas habilidades, buscando mejorar el rendimiento de la tarea.
Este artículo introduce perturbaciones virtuales predecibles y adaptativas al historial para mejorar los límites de generalización teórico-informacionales para el Descenso de Gradiente Estocástico. Este nuevo enfoque permite que las covarianzas de perturbación dependan dinámicamente del historial pasado del SGD, abordando las limitaciones de los métodos existentes que requieren covarianzas fijas.
Este estudio analiza cómo los métodos de adaptación (Full FT vs. LoRA) y la escala de optimización influyen en la deriva de atención y la retención de transferencia en modelos CLIP ajustados. Una comparación controlada de tasas de aprendizaje revela que la tasa de aprendizaje modula fuertemente el cambio estructural, con Full FT mostrando una marcada contracción a tasas más altas, mientras que LoRA permanece con entropía positiva.
Este artículo propone la Programación por Metas Enteras Mixtas (MIGP) para la optimización personalizada de comidas. La metodología aborda las limitaciones de las formulaciones existentes utilizando variables enteras para recuentos de porciones prácticas y desviaciones de programación por metas para objetivos nutricionales suaves, permitiendo una granularidad de porciones definida por el usuario.
Este artículo aborda problemas de desigualdad variacional restringida con restricciones funcionales, proponiendo algoritmos tipo descenso por espejo. Se analizan estos algoritmos por su tasa de convergencia óptima para problemas con operadores acotados y monótonos, y restricciones funcionales convexas de Lipschitz.
El artículo presenta ATOM, un marco multiagente para la optimización molecular multiobjetivo que utiliza una búsqueda estructurada en árbol. Los agentes coordinan a lo largo de diferentes caminos del árbol para comparar trayectorias alternativas de evolución molecular, con el apoyo de una memoria global.
Este artículo propone un modelo de deriva "lookahead" para el mapeo de distribuciones, que mejora el rendimiento en la generación de imágenes con evaluación funcional neuronal de un solo paso. El modelo calcula un conjunto de términos de deriva secuencialmente en cada iteración de entrenamiento, utilizando muestras positivas y las salidas del modelo para capturar información de gradiente de orden superior.
Este artículo introduce una capa faltante en las tuberías de optimización para abordar la brecha de robustez post-solución en los motores de decisión de Programación Lineal Entera Mixta (MILP). Formaliza un vecindario factible casi óptimo de épsilon y la suavidad de la solución para evaluar la confianza en una solución hallada bajo perturbaciones de los parámetros.
Este artículo propone FoLoRA, un marco de optimización que aborda la degradación de capacidades no objetivo durante el ajuste fino de modelos de base. Utiliza un cociente de Rayleigh generalizado para equilibrar la utilidad de la tarea y la penalización de olvido, guiando las actualizaciones para preservar el conocimiento de preentrenamiento.
DualOptim+ es un nuevo marco de optimización que mejora el desaprendizaje automático en grandes modelos de lenguaje, uniendo estados de optimizador compartidos y desacoplados. Utiliza estados base para representaciones comunes y estados delta para residuos específicos del objetivo, ofreciendo también una variante cuantificada de 8 bits para reducir la memoria sin comprometer el rendimiento.
Este artículo presenta FPILOT, un marco de optimización en tiempo de inferencia para agentes de negociación de aprendizaje por refuerzo. Utiliza trayectorias de precios predichas para optimizar la política antes de ejecutar una operación, siendo compatible con cualquier agente pre-entrenado.
El artículo introduce Vertex-Softmax, un nuevo método para la verificación certificada de la atención de transformadores mediante la optimización exacta de la función softmax. Demuestra que el óptimo exacto se alcanza en un vértice del cuadro de restricción, lo que produce un límite más ajustado.
QuIDE propone una métrica unificada, el Índice de Inteligencia I, para evaluar la eficiencia de redes neuronales cuantificadas, consolidando la relación compresión-precisión-latencia. Los experimentos demuestran que la cuantificación óptima (4 u 8 bits) depende de la tarea, ofreciendo un protocolo de evaluación y una función de aptitud para la búsqueda de precisión mixta.
Este artículo presenta ReElicit, un marco de optimización bayesiana basado en "incrustación por elicitation" para ajustar los prompts del sistema en IA. Utiliza LLMs para elicitar un espacio de características interpretable y un sustituto de proceso gaussiano para seleccionar y refinar prompts a partir de comentarios agregados.
El artículo aborda el desequilibrio de modalidades en el aprendizaje multimodal, donde algunas modalidades dominan la optimización. Propone que esta discrepancia surge de diferentes dificultades de mapeo entre el espacio de características específicas de la modalidad y el espacio de etiquetas compartido, introduciendo BMLR para igualar esta dificultad.
Esta investigación presenta FuRA (Full-Rank Adaptation), un nuevo método de ajuste fino eficiente en parámetros que aborda las limitaciones de las técnicas existentes mediante el preacondicionamiento espectral. Al reparametrizar matrices de peso a través de la Descomposición de Valor Singular de rango completo y restringir las actualizaciones, FuRA supera el ajuste fino completo sin restricciones manteniendo la eficiencia.