Tasa de utilización
La parte del tiempo que una GPU alquilada hace trabajo útil en lugar de estar parada. La cifra que decide si el self-hosting supera a una API.
Qué es
Una API solo factura tokens. Una GPU alquilada factura cada hora que está encendida, trabaje o no. Si tu tráfico mantiene una GPU ocupada el 30% del día, pagas el 100% y desperdicias el 70%. El costo efectivo por token es costo de etiqueta / utilización.
Por qué importa
Las cargas a ráfagas o pequeñas rara vez alcanzan la utilización de ~60-70% necesaria para superar a una API moderna. El tráfico constante, de gran volumen y predecible es donde gana el self-hosting. El autoscaling y los precios spot ayudan; una GPU dedicada siempre encendida para una app a ráfagas es el error clásico.