Contextos de milhões de tokens estão redefinindo o modelo de programação de agentes de IA, transformando a janela de contexto de uma restrição em uma superfície de computação primária. Isso muda a arquitetura do agente, que passa de um orquestrador para o próprio ambiente.
Tokens são os blocos de construção fundamentais dos Large Language Models (LLMs), que preveem a próxima sequência de texto com base em unidades menores. Essa quebra do texto em tokens é essencial para o funcionamento dos sistemas de completação de chat.
A complexidade crescente das ferramentas de IA aumenta o uso de tokens, não apenas em prompts detalhados, mas também em janelas de contexto persistentes e na memória. Essas janelas abertas e contextos compartilhados geram custos ocultos de memória a cada prompt enviado, muitas vezes despercebidos pelos usuários.