Seuil de rentabilité
Le volume ou le taux d'utilisation où deux options coûtent pareil - typiquement API vs self-hosting, ou louer vs acheter un GPU. En dessous, une option gagne ; au-dessus, l'autre.
Ce que c'est
Pour API vs self-host : self-host $/token = GPU $/h / (tokens par heure x utilisation). Égalise avec le prix de l'API et résous pour l'utilisation (ou le volume de tokens) qui les rend équivalents.
Pourquoi c'est important
Ça transforme « dois-je self-hoster ? » en un nombre à confronter à ton trafic réel. Si tu es loin du croisement, la décision est simple ; si tu es proche, ce sont les coûts mous (ingénierie, fiabilité, démarrage à froid) qui tranchent.
Exemple
H100 à 2,50 $/h, modèle 70B à 2M tokens sortie/h. À 40 % d'utilisation : 3,13 $ / 1M tokens - pire qu'un 70B hébergé à 0,79 $. Le seuil est vers 65-70 % d'utilisation.