Context Rot: How Increasing Input Tokens Impacts LLM Performance (Paper Analysis)

Esta análise explora o "Context Rot", um fenômeno onde o desempenho de Modelos de Linguagem Grandes diminui à medida que o comprimento do seu contexto de entrada aumenta. Ela investiga como tokens de entrada mais longos afetam negativamente a precisão e a confiabilidade dos LLMs.