Takeaways & discussion about the DeepSeek V4 architecture

Cet article discute des nouveautés architecturales de DeepSeek V4, soulignant son système d'attention hybride (CSA + HCA) et les Manifold-Constrained Hyper-Connections. Il aborde également l'entraînement FP4 QAT à l'échelle de la frontière, le différenciant des modèles précédents.