Thoughts on using an AMD Alveo V80 FPGA PCI card as a poor man’s Taalas HC1 (LLM-burned-onto-a-chip).

Der Autor untersucht die Verwendung einer AMD Alveo V80 FPGA-Karte für die LLM-Inferenz, um die Leistung eines dedizierten Taalas HC1-Chips zu annähern. Nach Rücksprache mit Gemini Pro wurden potenzielle Geschwindigkeiten von 1.400-3.200 tk/s geschätzt, und der Autor bittet um Community-Feedback zu diesem spekulativen Ansatz.