Nanochat vs Llama for training from scratch? [P]

El usuario está entrenando un modelo de IA desde cero y busca consejo sobre la mejor arquitectura, considerando cambiar de Nanochat (que carece de compatibilidad con Transformers) a la arquitectura Llama. El objetivo es un proyecto de código abierto con un conjunto de datos nuevo y más grande, a pesar de las ventajas de Nanochat.