Thoughts on using an AMD Alveo V80 FPGA PCI card as a poor man’s Taalas HC1 (LLM-burned-onto-a-chip).

El autor explora el uso de una tarjeta AMD Alveo V80 FPGA para la inferencia de LLM, buscando aproximar el rendimiento de un chip Taalas HC1 dedicado. Tras consultar a Gemini Pro, se estimaron velocidades potenciales de 1.400-3.200 tk/s, y el autor busca la opinión de la comunidad sobre este enfoque especulativo.