Este contenido presenta PrismML y un nuevo concepto de IA llamado Ternary Bonsai, que afirma alcanzar la máxima inteligencia con una eficiencia notable de 1.58 bits. Probablemente discute avances en la compresión de modelos de IA o rendimiento optimizado.
Este artigo propõe um pipeline ordenado (poda, quantização INT8 e destilação de conhecimento) para otimizar a compressão de redes neurais, visando a latência de inferência medida em vez de métricas indiretas. A pesquisa revela que a quantização INT8 oferece o principal benefício de tempo de execução, enquanto a poda atua como um pré-condicionador e a destilação de conhecimento recupera a precisão.
OlmoEarth v1.1 es una nueva versión de una familia de modelos, enfocada en una mayor eficiencia. Esta actualización busca optimizar el rendimiento y el uso de recursos.
AutoCompress es un método de compresión de transformadores que aísla la Capa 0, considerada crítica, manteniéndola a plena dimensionalidad. Aplicado a GPT-2 Medium, logra una reducción del 59,5% en los parámetros con un rendimiento muy superior a una línea base uniforme.
O LiME (Lightweight Mixture of Experts) propõe uma nova abordagem para MoE-PEFT, utilizando modulação leve de um único módulo PEFT compartilhado em vez de adaptadores separados por especialista. Isso reduz significativamente os parâmetros, introduz roteamento de parâmetros zero e generaliza para qualquer método PEFT, superando as limitações de escalabilidade e aplicabilidade.
Esta investigación destaca la ineficiencia de los agentes de uso de computadora actuales, que emplean excesivamente grandes modelos multimodales para cada interacción de interfaz gráfica. Argumenta que las tareas son heterogéneas, con pasos rutinarios que requieren menos cómputo, mientras que los errores se concentran en momentos de alto riesgo como bloqueos o deriva semántica, necesitando optimización dirigida.
Este artículo presenta Gist Sparse Attention (GSA), un método de aprendizaje de extremo a extremo para escalar grandes modelos de lenguaje a contextos largos sin modificaciones arquitectónicas. GSA comprime el contexto en 'tokens de esencia' para resumir y luego restaura selectivamente fragmentos brutos relevantes para una atención detallada, combinando representaciones globales compactas con acceso específico y granular.
Este artículo propone un método eficiente y basado en principios para mejorar el razonamiento en Grandes Modelos de Lenguaje, abordando la actual falta de confianza en el contenido generado. El método implica una etapa de preprocesamiento con un Integracode Relacional Unario, seguida de un proceso de aprendizaje automático simplificado.
Esta investigación introduce MP-ISMoE, un marco de Mixture-of-Experts Lateral Interactivo de Precisión Mixta, para mejorar el aprendizaje por transferencia eficiente en parámetros al mitigar la sobrecarga de memoria. Emplea un esquema de Cuantificación Iterativa Perturbada por Ruido Gaussiano (GNP-IQ) para la cuantificación de pesos de menor bit, liberando memoria para mejorar la capacidad de aprendizaje y el rendimiento de la red lateral.