Takeaways & discussion about the DeepSeek V4 architecture

Dieser Artikel behandelt die architektonischen Neuerungen von DeepSeek V4, wobei sein hybrides Aufmerksamkeits-System (CSA + HCA) und die Manifold-Constrained Hyper-Connections hervorgehoben werden. Er bespricht auch das FP4 QAT-Training im Grenzbereich und unterscheidet es von früheren Modellen.