Token

Um modelo não vê letras nem palavras. O texto é primeiro dividido em tokens — trechos curtos de um vocabulário fixo com o qual o modelo foi treinado. As palavras comuns são um token; as raras se quebram em vários. Pontuação, espaços e símbolos de código também são tokens.

Regra aproximada para o inglês: 1 token ~= 4 caracteres ~= 0,75 palavras, então 1.000 tokens são cerca de 750 palavras. Outros idiomas, código e números tokenizam de forma menos eficiente.

O token é o medidor. As APIs cobram por milhão de tokens, divididos entre tokens de entrada (o seu prompt) e tokens de saída (a resposta). Os limites do modelo (a janela de contexto) são indicados em tokens. O throughput é medido em tokens por segundo.

Como os tokens de saída normalmente custam 2-5× mais que os de entrada, a forma da sua carga importa tanto quanto o tamanho. Um chatbot com contexto longo e respostas curtas é intensivo em entrada; um agente que escreve código é intensivo em saída. O preço misto tenta reunir os dois num único número.

Um bot de suporte que atende 100.000 conversas/mês, ~700 tokens de entrada + 350 de saída cada uma, consome ~70M de entrada e ~35M de saída por mês. A 0,15 $ / 0,60 $ por 1M dá cerca de 32 $/mês; a 3 $ / 15 $, cerca de 735 $.