Thoughts on using an AMD Alveo V80 FPGA PCI card as a poor man’s Taalas HC1 (LLM-burned-onto-a-chip).

L'auteur explore l'utilisation d'une carte FPGA AMD Alveo V80 pour l'inférence LLM, dans le but d'approcher les performances d'une puce Taalas HC1 dédiée. Après avoir consulté Gemini Pro, des vitesses potentielles de 1 400 à 3 200 tk/s ont été estimées, et l'auteur sollicite l'avis de la communauté sur cette approche spéculative.