Un investigador y fundador solitario desarrolló compresión de modelos INT3 y una caché KV de 2 bits con kernels Metal personalizados para Mac (M-series). Qwen 7B está disponible en vista previa, y se planean optimizaciones adicionales y soporte para GPU.
El autor comparte una optimización exitosa para ejecutar el modelo Qwen3.5-35B-A3B-UD-Q4_K_L en una RTX 4060 Ti 16GB utilizando llama.cpp, logrando 40-60 tokens/s con 64k de contexto. La publicación detalla la configuración `models.ini` y el comando de inicio del servidor para replicar este rendimiento.
Se ejecutó localmente un modelo de lenguaje transformador (TinyStories-260K) en una Game Boy Color estándar, utilizando pesos INT8 y aritmética de punto fijo. Esta impresionante hazaña técnica implicó una ROM personalizada y tokenización en el dispositivo, aunque el rendimiento es extremadamente lento y la salida es incomprensible.
OpenBMB presenta el modelo BitCPM-CANN 1.58 bit. Se están probando los modelos nuevos en el Huawei Ascend 910B.
Demostración del modelo Gemma 4 VLA ejecutándose en el dispositivo Jetson Orin Nano Super.
Este contenido analiza la trayectoria del Deep Learning implementado en FPGAs, examinando su desarrollo pasado, el estado actual y las futuras direcciones. También subraya la importancia de la aceleración de hardware para el avance de la inteligencia artificial.
Este artículo de investigación revisa varias técnicas y métodos para acelerar la inferencia de Redes Neuronales Convolucionales (CNN) específicamente en FPGAs. Proporciona una visión general de la investigación existente y los enfoques arquitectónicos para mejorar el rendimiento y la eficiencia de las implementaciones de CNN en hardware.