Temps jusqu'au premier token (TTFT)
Le temps d'attente entre l'envoi d'une requête et l'apparition du premier mot. Dominé par la phase de prefill, il croît donc avec la longueur du prompt.
Ce que c'est
Le TTFT couvre la file d'attente, le réseau, et la passe de prefill qui lit tout le prompt et construit le cache KV. Le prefill est parallèle et limité par le calcul, donc le TTFT croît ~avec le nombre de tokens d'entrée.
Pourquoi c'est important
Pour le chat et les UI en streaming, le TTFT est la vitesse perçue - une fois les tokens lancés, ce sont les tokens par seconde qui prennent le relais. Un long prompt RAG ou un énorme contexte peut faire passer le TTFT de ~0,3s à plusieurs secondes.
Impact coût & infrastructure
Le TTFT n'est pas facturé directement, mais c'est un coût caché du grand contexte : le calcul qui ralentit le prefill est celui que tu paies. Réduire le prompt avec du RAG améliore le TTFT et la facture ensemble.