Deepseek AI a annoncé la sortie des nouvelles versions Deepseek V4 Flash et Non-Flash de ses modèles sur la plateforme HuggingFace. Cette collection offre un accès direct aux derniers modèles de Deepseek pour la communauté de l'IA.
DeepSeek V4 est un modèle de langage de 1,6 trillion de paramètres qui a remodelé le paysage des prix de l'IA. Il offre des performances de modèles de pointe pour un coût jusqu'à 5 fois inférieur (0,14 $/M tokens de manière permanente), et ce guide détaille son utilisation, les meilleurs prompts et les moyens de le monétiser.
Le contexte de millions de jetons de DeepSeek-V4 pose un problème majeur aux systèmes d'inférence. Together AI explore le travail d'inférence derrière V4 sur NVIDIA HGX B200, y compris les layouts KV compressés et la mise en cache de préfixes pour les charges de travail à long contexte.