Tiempo hasta el primer token (TTFT)
Cuánto espera un usuario entre que envía una petición y ve aparecer la primera palabra. Lo domina la fase de prefill, así que crece con la longitud del prompt.
Qué es
El TTFT cubre la cola, la red y la pasada de prefill que lee todo el prompt y construye el kv cache. El prefill es paralelo y está limitado por el cómputo, así que el TTFT escala aproximadamente con el número de tokens de entrada.
Por qué importa
Para interfaces de chat y streaming, el TTFT es la velocidad percibida: en cuanto empiezan a fluir los tokens, toman el relevo los tokens per second. Un prompt RAG largo o un contexto enorme puede llevar el TTFT de ~0,3 s a varios segundos.
Impacto en costo e infraestructura
El TTFT no se factura directamente, pero es un costo oculto del contexto grande: el cómputo que hace lento el prefill es el mismo que pagas. Recortar el prompt con RAG mejora el TTFT y la factura a la vez.