Instance spot
De la capacité GPU cloud excédentaire vendue à forte remise (souvent 50-80 % sous l'on-demand) que le fournisseur peut reprendre avec peu de préavis. Bien pour du travail interruptible, risqué pour du serving en direct.
Ce que c'est
Le fournisseur loue à bas prix sa capacité inutilisée et la reprend quand un client plein tarif la veut - parfois avec 30-120 secondes de préavis, parfois aucun. Les prix flottent avec l'offre et la demande.
Pourquoi c'est important
Le spot va bien pour le fine-tuning, l'inférence batch et l'entraînement avec checkpoints - tout ce qui peut s'interrompre et reprendre. Pour du serving en direct à faible latence, il faut de la capacité de secours et une gestion rapide du démarrage à froid, ce qui grignote l'économie.
Impact coût & infrastructure
Sur des marketplaces comme Vast.ai, les tarifs spot/interruptibles d'un GPU grand public peuvent valoir une fraction de l'on-demand - mais disponibilité et fiabilité varient selon l'hôte.