Token

Un modelo no ve letras ni palabras. El texto se divide primero en tokens: fragmentos cortos de un vocabulario fijo con el que se entrenó el modelo. Las palabras comunes son un token; las raras se parten en varios. La puntuación, los espacios y los símbolos de código también son tokens.

Regla aproximada para el inglés: 1 token ~= 4 caracteres ~= 0,75 palabras, así que 1.000 tokens son unas 750 palabras. Otros idiomas, el código y los números se tokenizan de forma menos eficiente.

El token es el contador. Las API cobran por millón de tokens, repartidos entre tokens de entrada (tu prompt) y tokens de salida (la respuesta). Los límites del modelo (la ventana de contexto) se indican en tokens. El rendimiento se mide en tokens por segundo.

Como los tokens de salida suelen costar 2-5× más que los de entrada, la forma de tu carga importa tanto como su tamaño. Un chatbot con contexto largo y respuestas cortas es intensivo en entrada; un agente que escribe código es intensivo en salida. El precio mixto intenta reunir ambos en una sola cifra.

Un bot de soporte que gestiona 100.000 conversaciones/mes, de ~700 tokens de entrada + 350 de salida cada una, consume ~70M de entrada y ~35M de salida al mes. A 0,15 $ / 0,60 $ por 1M son unos 32 $/mes; a 3 $ / 15 $, unos 735 $.