E2B

How Gemma 4's Per-Layer Embeddings Actually Work — And Why E2B Punches Above 2B

Este artículo explica las Incrustaciones por Capa (PLE), un mecanismo en Gemma 4 E2B que le permite superar a modelos más grandes a pesar de su recuento de 2B parámetros. Detalla el mecanismo exacto, comparando los puntos de referencia de E2B y discutiendo el impacto de PLE en la comprensión de LLMs, la cuantificación y el despliegue.