Um pesquisador e fundador solo desenvolveu compressão de modelos INT3 e um cache KV de 2 bits com kernels Metal customizados para Mac (M-series). Qwen 7B está disponível em prévia, e otimizações adicionais e suporte a GPU estão planejados.
O autor compartilha a otimização bem-sucedida do modelo Qwen3.5-35B-A3B-UD-Q4_K_L para rodar em uma RTX 4060 Ti 16GB usando llama.cpp, alcançando 40-60 tokens/s com 64k de contexto. O post detalha a configuração `models.ini` e o comando de inicialização do servidor para replicar este desempenho.
Um modelo de linguagem transformer (TinyStories-260K) foi executado localmente em um Game Boy Color padrão, utilizando pesos INT8 e aritmética de ponto fixo. A implementação envolve um ROM personalizado e tokenização no dispositivo, demonstrando um feito técnico notável apesar do desempenho extremamente lento e da saída ilegível.
OpenBMB apresentou o modelo BitCPM-CANN 1.58 bit. Novos modelos estão sendo testados no Huawei Ascend 910B.
Demonstração do modelo Gemma 4 VLA rodando no dispositivo Jetson Orin Nano Super.
Este conteúdo revisa a trajetória do Deep Learning implementado em FPGAs, examinando seu desenvolvimento passado, o estado atual da tecnologia e as futuras direções. Aborda a importância da aceleração de hardware para o avanço da inteligência artificial.
Este artigo de levantamento explora diversas técnicas e métodos para acelerar a inferência de Redes Neurais Convolucionais (CNNs) especificamente em FPGAs. Ele oferece uma visão geral da pesquisa existente e das abordagens arquitetônicas para melhorar o desempenho e a eficiência das implantações de CNN em hardware.