FP8
Ponto flutuante de 8 bits. Reduz a memória pela metade frente a 16 bits mantendo um alcance de ponto flutuante, então a perda de qualidade costuma ser menor que com o INT8 inteiro. Precisa de suporte de hardware (Hopper, Blackwell, MI300).
O que é
O FP8 é cada vez mais usado para servir modelos de fronteira: pesos e às vezes ativações em 8 bits, com escalonamento por tensor para preservar a precisão. As GPUs recentes têm tensor cores FP8 nativos, então também acelera o prefill.
Por que importa
O FP8 permite que um modelo caiba num degrau de VRAM menor com menos risco de qualidade que o int4, mas só compensa em GPUs que o suportam — um fator na escolha do hardware.