Shipping 31 Rust crates in five days: a small-LLM dev stack, in the open

L'auteur a publié 31 petits crates Rust en cinq jours pour construire une pile de développement pour les LLM ouverts plus petits. Ce projet aborde les défis de l'utilisation de petits modèles localement, qui manquent des fonctionnalités avancées des grands modèles d'API comme les modes JSON et les grandes fenêtres de contexte.