Ponto de equilíbrio
O nível de volume ou de utilização em que duas opções custam o mesmo — tipicamente API vs self-hosting, ou alugar vs comprar uma GPU. Abaixo dele, uma opção ganha; acima, a outra.
O que é
Para API vs self-host: self-host $/token = GPU $/h / (tokens por hora × utilização). Iguale ao preço da API e resolva para a utilização (ou o volume de tokens) que os faz coincidir.
Por que importa
Transforma "devo fazer self-host?" num número que você confere contra o seu tráfego real. Se você está longe do cruzamento, a decisão é fácil; se está perto, quem decide são os custos mais difusos (engenharia, confiabilidade, partida a frio).
Exemplo
H100 a 2,50 $/h, modelo de 70B a 2M de tokens de saída/h. A 40% de utilização: 3,13 $ / 1M de tokens — pior que um 70B hospedado a 0,79 $. O ponto de equilíbrio fica em torno de 65-70% de utilização.