The 55.6% problem: why frontier LLMs fail at embedded code

Les LLM de pointe affichent des performances étonnamment faibles (environ 50-55%) pour les tâches de code embarqué, selon le nouveau benchmark EmbedBench. Cela souligne un écart significatif par rapport à leurs performances dans d'autres domaines de développement, malgré les tests sur seulement quelques plateformes matérielles.