L’API Batch : moitié prix pour tout ce qui peut attendre
Tous les gros fournisseurs de LLM ont une voie batch asynchrone à environ 50 % du prix au token normal. Si un traitement n’a pas besoin d’une réponse en quelques secondes, il va là.
Il y a sur presque toutes les API LLM une voie qui coûte moitié moins cher et que la plupart des équipes n’utilisent jamais : l’API batch. Tu abandonnes la basse latence ; tu obtiens une remise de ~50 % et des limites de débit bien plus hautes.
Comment ça marche
Au lieu d’une requête à la fois en HTTP, tu envoies un fichier - une ligne JSON par requête, des milliers. Le fournisseur exécute le fichier quand il a de la capacité libre et renvoie un fichier de résultats, avec un délai de complétion en général de 24 heures (souvent bien plus rapide en pratique).
Mêmes modèles, mêmes paramètres, même qualité de sortie. La seule différence : tu ne peux pas streamer la réponse et tu ne contrôles pas exactement quand elle tourne.
Ce qui y va
- Résumé, tagging, extraction nocturnes ou programmés
- Classification ou modération en masse d’un backlog
- Embedding d’un corpus entier pour un nouvel index rag
- Génération d’un dataset synthétique pour du fine tuning
- Faire tourner une suite d’évals sur des centaines ou milliers de prompts
- Tout back-fill ou retraitement one-shot
En gros : si aucun humain n’attend la réponse maintenant, ça peut être un job batch.
L’économie
2M appels de classification/mois, 600 in + 20 out tokens chacun
API temps réel ........ ~95 $ / mois
API batch (−50 %) ..... ~48 $ / mois
La remise se cumule avec tout le reste - un modèle plus petit, la mise en cache du prompt, un prompt plus court. Le batch est la voie au token la moins chère d’un fournisseur.
Disponibilité
OpenAI, Anthropic, Google, Mistral et plusieurs agrégateurs ont une API batch ; la remise est de 50 % chez les trois gros. Le tableau de prix d’Obolith signale le support batch par modèle quand le fournisseur le publie.
Vérifie le support batch par modèle →Les chiffres sont indicatifs. Vérifie les prix en vigueur sur le site du fournisseur avant de décider.