Instancia spot
Capacidad sobrante de GPU en la nube vendida con un descuento fuerte (a menudo 50-80% sobre el on-demand) que el proveedor puede retirar con poco aviso. Buena para trabajo interrumpible, arriesgada para servicio en vivo.
Qué es
El proveedor alquila barata la capacidad no usada y la recupera cuando la quiere un cliente a precio completo, a veces con un aviso de 30-120 segundos, a veces sin ninguno. Los precios fluctúan con la oferta y la demanda.
Por qué importa
El spot encaja muy bien con el fine-tuning, la inferencia batch y el entrenamiento con checkpoints: todo lo que puede pausarse y reanudarse. Para servicio en vivo de baja latencia necesita capacidad de reserva y una gestión rápida del arranque en frío, lo que erosiona el ahorro.
Impacto en costo e infraestructura
En mercados como Vast.ai, las tarifas spot/interrumpibles de una GPU de consumo pueden ser una fracción del on-demand, pero la disponibilidad y la fiabilidad varían según el anfitrión.