Shipping 31 Rust crates in five days: a small-LLM dev stack, in the open

El autor publicó 31 pequeños crates de Rust en cinco días para construir una pila de desarrollo para LLM abiertos más pequeños. Este proyecto aborda los desafíos de usar modelos pequeños localmente, que carecen de las características avanzadas de los grandes modelos de API, como los modos JSON y las grandes ventanas de contexto.