Thoughts on using an AMD Alveo V80 FPGA PCI card as a poor man’s Taalas HC1 (LLM-burned-onto-a-chip).

O autor explora o uso de uma placa AMD Alveo V80 FPGA para inferência de LLMs, buscando aproximar o desempenho de um chip Taalas HC1 dedicado. Após consultar o Gemini Pro, estimou-se velocidades potenciais de 1.400-3.200 tk/s, e o autor procura a opinião da comunidade sobre essa abordagem especulativa.