A janela de contexto (context window) é a 'memória de trabalho' de um LLM. Tudo que o modelo considera ao gerar uma resposta precisa caber nesse espaço: as instruções iniciais, todo o histórico da conversa, documentos que você colou, e a resposta que será gerada. Quando o limite é atingido, as partes mais antigas são descartadas.
Modelos mais antigos tinham janelas pequenas (4k tokens, o equivalente a alguns parágrafos). Modelos modernos como o Claude da Anthropic chegam a 200k tokens — cerca de um livro inteiro. O Gemini 1.5 chegou a 1 milhão de tokens. Isso muda radicalmente o que é possível: análise de documentos longos, debates filosóficos extensos, revisão de bases de código completas.
Mas contexto grande não significa que o modelo processa tudo igualmente bem. Pesquisas mostram que modelos tendem a dar mais atenção ao início e ao fim do contexto ('lost in the middle'). Para tarefas críticas com muito contexto, vale estruturar o prompt colocando as informações mais importantes no início ou no final.