FP16 / BF16
Formatos de ponto flutuante de 16 bits. A precisão padrão para servir modelos grandes: ~2 bytes por parâmetro. O BF16 troca bits de mantissa por alcance e é o padrão na fase de treinamento.
O que é
FP16 e BF16 usam ambos 16 bits. O FP16 tem mais precisão mas um alcance estreito (pode estourar); o BF16 tem o mesmo alcance de um float de 32 bits com menos precisão, o que o torna mais estável para treinar. Para inferência, qualquer um dá saída de qualidade completa a 2 bytes/parâmetro.
Por que importa
É a referência contra a qual se medem o orçamento de VRAM e a economia da quantização. "O modelo de 70B precisa de 140 GB" pressupõe fp16/bf16.