Combien coûte vraiment de faire tourner un LLM ?

Il n’y a pas un « prix du LLM ». Il y a un prix par token d’entrée, un autre par token de sortie, un tarif réduit pour l’entrée en cache, une voie batch à moitié prix, et - si tu loues le GPU toi-même - un prix à l’heure qui n’a rien à voir avec les tokens. Ta facture, c’est la combinaison sur laquelle ton usage tombe.

Ce guide passe chaque couche en revue, avec l’arithmétique, pour que tu puisses prévoir une facture avant de la produire.

1. L’unité : dollars par million de tokens

Un token vaut à peu près ¾ de mot. Les fournisseurs annoncent deux nombres par modèle, ex. 0,50 $ / 1,50 $ par 1M - cinquante cents par million de tokens envoyés, un dollar cinquante par million générés. Ton coût mensuel pour l’appel LLM :

La sortie coûte presque toujours 2 à 5x l’entrée : générer un token demande une passe avant complète du modèle, alors qu’en lire un est peu coûteux. Cette asymétrie est toute la raison pour laquelle un prix « blended » induit en erreur - on y revient plus bas.

Obolith normalise chaque modèle vers cette unité et ajoute un prix blended 3:1 pour trier ~200 modèles dans une colonne, mais le calculateur utilise ton vrai ratio.

2. Le même modèle, trois factures différentes

Un chatbot, une app rag et un agent envoient des formes de requête très différentes. Voici ce que coûte une requête sur le même modèle milieu de gamme, et ce qui domine :

• Chatbot - prompt court, réponse courte. La sortie est la plus grosse moitié. Levier : un modèle moins cher, ou plafonner max_tokens.
• RAG - quelques milliers de tokens de contexte récupéré par appel, une réponse courte. L’entrée fait 80-95 % du coût. Levier : mise en cache du prompt sur ce qui se répète.
• Agent - chaque étape renvoie toute la conversation plus les résultats d’outils, et génère du raisonnement. Les deux axes explosent. Levier : cache, un modèle plus petit pour les étapes de routage, et moins d’étapes.

C’est pourquoi le prix affiché le plus bas gagne rarement pour toi. Modélise tes vrais chiffres - le calculateur de coût API mensuel applique ton trafic à tous les modèles d’un coup.

3. Deux remises que la plupart des équipes ratent

Entrée en cache. Quand beaucoup de requêtes commencent par le même bloc - prompt système, charte de style, document récupéré - le fournisseur peut réutiliser le calcul. Tu paies un petit coût d’écriture, puis ~10-25 % du tarif d’entrée à chaque appel suivant qui touche le préfixe. Pour le RAG et les agents c’est le plus gros levier ; voir cached input pricing.

L’API batch. Tu soumets un fichier de requêtes, tu récupères les résultats sous 24 h, tu paies environ moitié prix. Tout ce qui n’est pas devant un utilisateur en temps réel - résumés nocturnes, classification en masse, embedding d’un corpus, évals - va là. Voir API batch.

4. Où se place le reste de la stack

L’appel LLM est en général la plus grosse ligne, mais une stack RAG en production touche quatre autres couches payantes. Pour une charge de référence elles se répartissent à peu près ainsi :

La ligne base vectorielle est celle qui surprend : les offres serverless facturent stockage + requêtes, les offres dédiées facturent du temps de calcul, et le croisement est à quelques millions de vecteurs. Le coût des embeddings est un one-shot pour l’index initial plus un filet d’eau par requête. Le stockage objet des documents bruts, c’est des centimes sauf si tu ré-indexes constamment (egress est le facteur qui fait bouger les choses). Les outils de traçage comme Langfuse et Helicone ont des paliers gratuits qui te couvrent jusqu’au vrai volume.

5. Quand un GPU loué bat l’API

Une API facture des tokens. Un modèle self-hébergé facture chaque heure où la machine est allumée, occupée ou non. Le self-host est donc un pari sur le taux d’utilisation - la fraction du temps où ton GPU travaille utilement.

Lis de gauche à droite. Petit volume : l’API est bien moins chère - tu ne paies pas du silicium à l’arrêt. Quand le volume grandit, la facture API monte en ligne droite tandis que la facture GPU reste plate jusqu’à ce qu’il faille une deuxième carte. Passé le croisement, le GPU gagne, et continue de gagner.

Deux choses déplacent le seuil. L’ouverture du modèle : seuls les modèles à poids ouverts (Llama, Qwen, DeepSeek, Mistral, gpt-oss…) peuvent être self-hébergés - un modèle fermé frontière n’a pas d’option GPU. La forme du trafic : une charge régulière aux heures ouvrées atteint ~55 % d’utilisation ; un service en pics ou souvent à l’arrêt atteint 10-30 %, ce qui repousse le seuil loin. L’outil Stack cost demande ton profil de trafic et fait ce calcul par modèle.

Si le calcul dit que le self-host gagne, la question suivante est ce qu'il faut vraiment acheter. Le configurateur d'infrastructure IA transforme un nombre de GPU en vraie liste de pièces - prix, consommation et quels modèles ça peut faire tourner.

6. Une checklist

• Annonce chaque modèle en $ / 1M in et $ / 1M out séparément, jamais un seul nombre.
• Multiplie par tes comptes de tokens et ton volume - utilise le calculateur.
• Active la mise en cache du prompt avant de comparer les fournisseurs. C’est le plus gros levier unique pour le RAG et les agents.
• Bascule sur l’API batch tout ce qui peut attendre.
• Ajoute les couches hors LLM (base vectorielle, stockage, traçage) - en général 15-25 % en plus.
• Ne considère le self-host que si le modèle est à poids ouverts et que tu peux garder le GPU occupé. Sous quelques millions de requêtes par mois, l’API gagne presque toujours.

La stack viable la moins chère est rarement celle au prix affiché le plus bas. C’est celle qui colle à la forme de ton workload.