Quando você envia uma mensagem para um modelo de IA, o primeiro passo é transformar o texto em tokens. Um token é a menor unidade de significado que o modelo processa. Em inglês, 'hello' é um token. Em português, 'inteligência' pode ser dividida em 2-3 tokens. Palavras mais comuns tendem a ser tokens únicos; palavras raras ou muito longas são divididas em partes.
A contagem de tokens importa por dois motivos principais: custo e limite de contexto. As APIs de IA cobram por tokens processados (entrada + saída). E cada modelo tem um limite de quantos tokens consegue considerar de uma vez — sua 'janela de contexto'. Exceder esse limite faz o modelo perder as partes mais antigas da conversa.
Uma regra prática: em inglês, 1.000 tokens equivalem a cerca de 750 palavras. Em português, por causa das palavras mais longas e dos acentos, a relação é um pouco menos eficiente. Ferramentas como o tokenizador da OpenAI permitem ver exatamente como seu texto é dividido.