Tempo até o primeiro token (TTFT)
Quanto um usuário espera entre enviar uma requisição e ver aparecer a primeira palavra. É dominado pela fase de prefill, então cresce com o comprimento do prompt.
O que é
O TTFT cobre a fila, a rede e a passada de prefill que lê todo o prompt e constrói o kv cache. O prefill é paralelo e limitado pelo cômputo, então o TTFT escala aproximadamente com o número de tokens de entrada.
Por que importa
Para interfaces de chat e streaming, o TTFT é a velocidade percebida — assim que os tokens começam a fluir, os tokens per second assumem. Um prompt RAG longo ou um contexto enorme pode levar o TTFT de ~0,3 s a vários segundos.
Impacto em custo e infraestrutura
O TTFT não é cobrado diretamente, mas é um custo oculto do contexto grande: o cômputo que torna o prefill lento é o mesmo que você paga. Enxugar o prompt com RAG melhora o TTFT e a conta ao mesmo tempo.