Taxa de utilização
A fração do tempo em que uma GPU alugada faz trabalho útil em vez de ficar ociosa. O número que decide se o self-hosting supera uma API.
O que é
Uma API só cobra tokens. Uma GPU alugada cobra cada hora que está ligada, trabalhando ou não. Se o seu tráfego mantém uma GPU ocupada 30% do dia, você paga 100% e desperdiça 70%. O custo efetivo por token é custo de etiqueta / utilização.
Por que importa
Cargas em rajadas ou pequenas raramente chegam aos ~60-70% de utilização necessários para superar uma API moderna. Tráfego constante, de grande volume e previsível é onde o self-hosting ganha. O autoscaling e os preços spot ajudam; uma GPU dedicada sempre ligada para uma app em rajadas é o erro clássico.