Débit
La quantité de travail d'un système par unité de temps - requêtes par seconde, ou tokens par seconde tous utilisateurs confondus. Le nombre qui décide de l'efficacité économique en self-hosting.
Ce que c'est
Les tokens per second par utilisateur peuvent sembler modestes alors que le débit agrégé est élevé, car les serveurs d'inférence traitent plusieurs requêtes dans le même batch. Un GPU servant 30 utilisateurs à 25 tok/s chacun fait 750 tok/s de travail utile.
Pourquoi c'est important
Le coût au token sur un GPU à prix fixe est GPU $/h / (tokens agrégés par heure). Un faible débit - peu d'utilisateurs, petits batchs, GPU au repos - est ce qui fait perdre le self hosting face à une API.