Context Rot: How Increasing Input Tokens Impacts LLM Performance (Paper Analysis)

Cette analyse examine le "Context Rot", un phénomène où la performance des grands modèles de langage diminue à mesure que la longueur de leur contexte d'entrée augmente. Elle explore comment des tokens d'entrée plus longs affectent négativement la précision et la fiabilité des LLM.